Alat pemprosesan data yang cekap: kaedah pembersihan data panda-Tutorial Python-php.cn

Alat pemprosesan data yang cekap: kaedah pembersihan data panda

WBOY

Lepaskan： 2024-01-24 08:54:19

asal

696 orang telah melayarinya

Alat pemprosesan data yang cekap: kaedah pembersihan data panda

Alat pembersihan data: kaedah pemprosesan panda yang cekap

Pengenalan:
Dengan kemunculan era data besar, pemprosesan data menjadi semakin penting, terutamanya dalam bidang sains data dan analisis data. Dalam senario ini, data selalunya tidak kemas dan perlu dibersihkan dan disusun sebelum ia boleh dianalisis dan dimodelkan dengan berkesan. Sebagai pustaka pemprosesan dan analisis data yang berkuasa dalam Python, panda menyediakan pelbagai fungsi dan kaedah untuk menjadikan pembersihan dan pemprosesan data lebih cekap Artikel ini akan memperkenalkan beberapa kaedah pemprosesan panda yang cekap dan memberikan contoh kod khusus.

1. Import data dan pemprosesan asas
Sebelum menggunakan panda untuk pembersihan data, anda perlu mengimport data dahulu dan melakukan pemprosesan asas. panda menyokong import berbilang format data, termasuk CSV, Excel, pangkalan data SQL, dsb. Berikut ialah contoh mengimport data daripada fail CSV dan melakukan pemprosesan asas:

import pandas as pd

# 从CSV文件中导入数据
data = pd.read_csv('data.csv')

# 打印数据的前5行
print(data.head())

# 查看数据的基本信息
print(data.info())

# 删除缺失值
data.dropna(inplace=True)

# 重置索引
data.reset_index(drop=True, inplace=True)

Salin selepas log masuk

2. Pembersihan Data
Pembersihan data ialah bahagian penting dalam pemprosesan data, kerana selalunya terdapat masalah seperti kehilangan nilai, outlier dan nilai pendua dalam data, perlu diproses dengan sewajarnya. Pandas menyediakan satu siri fungsi dan kaedah yang boleh membersihkan data dengan cepat.

Mengendalikan Nilai Yang Hilang
Nilai yang hilang merujuk kepada nilai nol atau bahagian yang hilang dalam data. Dalam panda, anda boleh menggunakan fungsi isnull() dan fungsi fillna() untuk mengendalikan nilai yang tiada. Berikut ialah contoh pengendalian nilai yang hilang: isnull()函数和fillna()函数来处理缺失值。下面是一个处理缺失值的例子：

import pandas as pd

# 创建包含缺失值的数据
data = pd.DataFrame({'A': [1, 2, None, 4, 5],
                     'B': [None, 2, 3, 4, 5]})

# 查找缺失值
print(data.isnull())

# 填充缺失值
data.fillna(0, inplace=True)

Salin selepas log masuk

处理异常值
异常值是指与其它观测值相比明显不同的值。在pandas中，可以使用条件语句和loc函数来处理异常值。下面是一个处理异常值的例子：

import pandas as pd

# 创建包含异常值的数据
data = pd.DataFrame({'A': [1, 2, 3, 4, 5],
                     'B': [6, 7, 8, 9, 20]})

# 找出大于10的异常值，并替换为10
data.loc[data['B'] > 10, 'B'] = 10

Salin selepas log masuk

处理重复值
重复值是指在数据中存在多个相同的观测值。在pandas中，可以使用duplicated()函数和drop_duplicates()函数来处理重复值。下面是一个处理重复值的例子：

import pandas as pd

# 创建包含重复值的数据
data = pd.DataFrame({'A': [1, 2, 2, 3, 4, 5],
                     'B': [6, 7, 7, 8, 9, 10]})

# 查找重复值
print(data.duplicated())

# 删除重复值
data.drop_duplicates(inplace=True)

Salin selepas log masuk

三、数据转换和处理
除了数据清洗外，pandas还提供了丰富的函数和方法，用于数据转换和处理。

数据类型转换
数据类型转换是指将数据从一种类型转换为另一种类型。在pandas中，可以使用astype()函数和to_datetime()函数来进行数据类型转换。下面是一个数据类型转换的例子：

import pandas as pd

# 创建含有不同类型的数据
data = pd.DataFrame({'A': ['1', '2', '3', '4', '5'],
                     'B': ['2020-01-01', '2020-02-02', '2020-03-03', '2020-04-04', '2020-05-05']})

# 将A列转换为整数类型
data['A'] = data['A'].astype(int)

# 将B列转换为日期类型
data['B'] = pd.to_datetime(data['B'])

Salin selepas log masuk

数据排序和分组
数据排序和分组是指对数据进行排序和按照某个字段进行分组。在pandas中，可以使用sort_values()函数和groupby()

import pandas as pd

# 创建含有多列的数据
data = pd.DataFrame({'A': [1, 2, 3, 4, 5],
                     'B': ['a', 'b', 'c', 'd', 'e'],
                     'C': [6, 7, 8, 9, 10]})

# 按照A列进行升序排序
data.sort_values(by='A', inplace=True)

# 按照B列进行分组，并计算C列的平均值
result = data.groupby('B')['C'].mean()

Salin selepas log masuk

Outlier ialah nilai yang berbeza dengan ketara daripada pemerhatian lain. Dalam panda, anda boleh menggunakan pernyataan bersyarat dan fungsi loc untuk mengendalikan outlier. Berikut ialah contoh pengendalian outlier:

duplicated()

drop_duplicates()

astype()

to_datetime()

sort_values()

groupby()

Atas ialah kandungan terperinci Alat pemprosesan data yang cekap: kaedah pembersihan data panda. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!