Pandas를 사용하여 txt 파일 데이터를 쉽게 처리

Pandas를 사용하여 txt 파일 데이터를 쉽게 처리하세요

데이터 분석 및 처리 과정에서 txt 파일에서 읽은 데이터를 처리해야 하는 상황이 자주 발생합니다. 예를 들어, 데이터 형식이 혼란스러워서 정리해야 합니다. 일부 열은 유효하지 않아 삭제해야 하며, 일부 열은 유형 변환이 필요합니다. 이러한 작업에는 많은 작업과 시간이 필요할 수 있지만 Python 라이브러리 pandas를 통해 이러한 작업을 쉽게 완료할 수 있습니다.

이 기사에서는 코드 예제를 결합하여 팬더를 사용하여 txt 파일 데이터를 처리하는 방법을 알려줍니다.

1. pandas 라이브러리 소개

pandas 라이브러리를 사용하기 전에 먼저 소개해야 합니다. Python 스크립트에서는 후속 호출을 용이하게 하기 위해 pandas 라이브러리의 이름을 pd로 바꾸는 것이 일반적으로 동의됩니다.

import pandas as pd

2. txt 파일 읽기

먼저 txt 파일의 데이터를 읽어야 합니다. Pandas에서는 pd.read_csv() 함수를 사용하여 데이터를 읽습니다. 함수 이름에 csv가 포함되어 있지만 이 함수는 txt 파일을 읽는 데에도 적합합니다.

data = pd.read_csv('data.txt', sep='    ', header=None)

함수 매개변수는 다음과 같이 설명됩니다.

• 'data.txt': 읽어야 하는 txt 파일의 경로와 파일 이름을 나타냅니다.
• sep: 데이터 구분 기호를 나타냅니다. 여기서는 데이터가 탭으로 구분되어 있음을 나타내기 위해 사용되며 다른 기호로 대체할 수도 있습니다.
• header: 파일에 열 이름이 포함되어 있는지 여부를 나타내며, 그렇지 않은 경우 없음으로 설정됩니다.

데이터를 읽은 후 데이터를 인쇄하여 데이터의 내용과 형식을 볼 수 있습니다.

print(data)

출력 결과:

   0    1    2
0  A  123  1.0
1  B  321  2.0
2  C  231  NaN
3  D  213  4.0
4  E  132  3.0

읽은 데이터가 DataFrame 형태로 데이터에 저장되어 있는 것을 확인할 수 있습니다.

3. 데이터 정리

읽은 데이터에는 형식의 불규칙성이나 오류가 많이 있을 수 있으므로 데이터를 정리해야 합니다. 예를 들어 일부 행이나 열에 누락된 값이 있을 수 있으며 이를 채우거나 삭제해야 하는 일부 열의 데이터 유형이 우리의 요구 사항을 충족하지 못할 수 있으며 이를 숫자 또는 문자열 유형 등으로 변환해야 합니다. .

a. 누락된 값이 있는 행 삭제 ​

dropna() 함수를 사용하여 누락된 값이 있는 행을 삭제할 수 있습니다.

data_clean = data.dropna()

이 함수는 데이터에서 누락된 값이 포함된 행을 삭제하고 완전한 데이터만 포함된 DataFrame을 반환합니다.

b. 누락된 값 채우기 ​​

누락된 값이 포함된 행을 삭제할 수 없는 경우 이러한 누락된 값을 채우도록 선택할 수 있습니다. fillna() 함수를 사용하면 됩니다.

data_fill = data.fillna(0)

이 함수는 누락된 값을 0으로 채웁니다. 다른 값으로 채우려면 해당 값을 괄호 안에 전달하면 됩니다.

c. 데이터 유형 변환

데이터 분석에서 특정 데이터 유형은 후속 계산 또는 처리를 위해 숫자 또는 문자 유형으로 변환되어야 합니다. Pandas에서는 유형 변환을 위해 astype() 함수를 사용할 수 있습니다.

data_conversion = data_clean.astype({'1': 'int', '2': 'str'})

이 함수는 data_clean의 컬럼 1의 타입을 정수형(int)으로, 컬럼 2의 타입을 문자열 타입(str)으로 변환할 수 있습니다.

4. 새 데이터 저장

마지막으로 정리 및 처리된 데이터를 새 txt 파일로 저장해야 합니다. Pandas에서는 이를 달성하기 위해 to_csv() 함수를 사용할 수 있습니다.

data_clean.to_csv('data_clean.txt', index=False, header=False, sep='    ')

함수 매개변수에 대한 설명은 다음과 같습니다.

• 'data_clean.txt': 저장된 파일의 경로와 파일 이름을 나타냅니다.
• index: 행 인덱스를 유지할지 여부를 나타냅니다. 이를 유지하지 않으려면 여기에서 False를 선택하세요.
• header: 열 이름이 파일에 포함되어 있는지 여부를 나타냅니다. 제외하려면 여기에서 False를 선택하세요.
• sep: 구분 기호를 나타냅니다. ' '는 탭을 구분 기호로 사용함을 나타냅니다.

코드 예제

다음은 Python 스크립트에 복사하여 실행할 수 있는 전체 코드 예제입니다.

import pandas as pd

# 读入数据
data = pd.read_csv('data.txt', sep='    ', header=None)
print('原始数据：
', data)

# 删除含有缺失值的行
data_clean = data.dropna()
print('处理后数据（删除缺失值）：
', data_clean)

# 填充缺失值
data_fill = data.fillna(0)
print('处理后数据（填充缺失值）：
', data_fill)

# 转换数据类型
data_conversion = data_clean.astype({'1': 'int', '2': 'str'})
print('处理后数据（类型转换）：
', data_conversion)

# 保存新数据
data_clean.to_csv('data_clean.txt', index=False, header=False, sep='    ')

이 글에서는 팬더를 사용하여 데이터 읽기, 정리, 변환, 저장 등 txt 파일 데이터를 쉽게 처리하는 방법을 소개합니다. Python의 중요한 데이터 처리 도구 중 하나인 pandas는 데이터 마이닝 및 분석 작업을 보다 효율적으로 완료하는 데 도움이 될 수 있습니다.

위 내용은 Pandas를 사용하여 txt 파일 데이터를 쉽게 처리의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!