利用pandas輕鬆處理txt檔案數據

利用pandas輕鬆處理txt檔案資料

在資料分析與處理中，常遇到從txt檔案讀入的資料需要處理的情況。例如資料格式混亂，需要清洗；某些列無效，需要刪除；某些列需要轉換類型等。這些工作可能帶來很大的工作量和時間花費，但是我們可以透過pandas這個Python庫來輕鬆地完成這些操作。

本文將結合程式碼範例，教你如何使用pandas處理txt檔案資料。

1. 引入pandas函式庫

在使用pandas函式庫前，我們需要先引進它。在Python腳本中，一般約定將pandas函式庫重新命名為pd，方便後續呼叫。

import pandas as pd

2. 讀取txt檔案

首先，我們需要讀取txt檔案中的資料。在pandas中，我們使用pd.read_csv()函數來讀入資料。雖然函數名稱中包含了csv，但函數同樣適用於讀入txt檔案。

data = pd.read_csv('data.txt', sep='    ', header=None)

此函數參數解釋如下：

• 'data.txt': 表示我們需要讀取的txt檔案的路徑和檔案名稱。
• sep: 表示資料分隔符，此處使用' '表示資料之間由tab隔開，也可以換成其他符號。
• header: 表示檔案中是否包含列名，若不包含則設為None。

讀入資料後，我們可以透過列印輸出data來查看資料的內容和形式。

print(data)

輸出結果：

   0    1    2
0  A  123  1.0
1  B  321  2.0
2  C  231  NaN
3  D  213  4.0
4  E  132  3.0

可以看出，讀入的資料已經以DataFrame的形式儲存在data中了。

3. 清洗資料

讀入的資料可能存在許多格式不規範或錯誤的地方，需要我們進行資料清洗。例如，有些行或列中可能存在缺失值，我們需要將其填充或刪除；有些列的資料類型可能不符合我們的需求，我們需要將其轉換為數值或字串類型等。

a. 刪除含有缺失值的行

我們可以使用dropna()函數來刪除含有缺失值的行。

data_clean = data.dropna()

此函數會刪除資料中任意含有缺失值的行，傳回只有完整資料的DataFrame。

b. 填入缺失值

如果無法刪除含有缺失值的行，我們可以選擇填入這些缺失值。使用fillna()函數即可。

data_fill = data.fillna(0)

此函數將缺失值填入0，如果想以其他值進行填充，可以在括號內傳入對應的值。

c. 轉換資料型別

在資料分析中，需要將某些資料型別轉換為數值型或字元型以便後續計算或處理。在pandas中，可以使用astype()函數進行型別轉換。

data_conversion = data_clean.astype({'1': 'int', '2': 'str'})

此函數可以將data_clean中第1列的型別轉換為整數（int），第2列的型別轉換為字串型（str）。

4. 儲存新資料

最後，我們需要將經過清洗和處理後的資料儲存到新的txt檔案中。在pandas中，我們可以使用to_csv()函數來實作。

data_clean.to_csv('data_clean.txt', index=False, header=False, sep='    ')

此函數參數解釋如下：

• 'data_clean.txt': 表示儲存檔案的路徑和檔案名稱。
• index: 表示是否保留行索引，此處選擇False不保留。
• header: 表示檔案中是否包含列名，此處選擇False不包含。
• sep: 表示分隔符，此處使用' '表示以tab為分隔符號。

程式碼範例

以下是完整的程式碼範例，你可以將其複製到Python腳本中並執行。

import pandas as pd

# 读入数据
data = pd.read_csv('data.txt', sep='    ', header=None)
print('原始数据：
', data)

# 删除含有缺失值的行
data_clean = data.dropna()
print('处理后数据（删除缺失值）：
', data_clean)

# 填充缺失值
data_fill = data.fillna(0)
print('处理后数据（填充缺失值）：
', data_fill)

# 转换数据类型
data_conversion = data_clean.astype({'1': 'int', '2': 'str'})
print('处理后数据（类型转换）：
', data_conversion)

# 保存新数据
data_clean.to_csv('data_clean.txt', index=False, header=False, sep='    ')

本文介紹如何使用pandas輕鬆處理txt檔案數據，包括讀取、清洗、轉換和保存數據。 pandas作為Python中重要的資料處理工具之一，可以幫助我們更有效率地完成資料探勘和分析任務。

以上是利用pandas輕鬆處理txt檔案數據的詳細內容。更多資訊請關注PHP中文網其他相關文章！