Belajar menggunakan fungsi panda yang biasa digunakan untuk memproses data berskala besar dengan mudah

Kuasai fungsi biasa perpustakaan panda dan mudah memproses data besar diperlukan contoh kod khusus

Dengan kemunculan era data besar, pemprosesan data menjadi semakin penting, dan perpustakaan panda adalah yang paling penting. perpustakaan pemprosesan data yang biasa digunakan dalam Python One, fungsinya yang berkuasa dan kaedah pemprosesan yang fleksibel disukai oleh majoriti penganalisis dan saintis data. Artikel ini akan memperkenalkan beberapa fungsi yang biasa digunakan dalam perpustakaan panda dan menyediakan contoh kod khusus untuk membantu pembaca bermula dengan cepat dan memproses data besar dengan mudah.

1. Membaca dan menulis data

panda menyediakan pelbagai cara untuk membaca data, yang paling biasa digunakan ialah membaca fail csv. Gunakan fungsi pandas.read_csv() untuk membaca terus fail csv ke dalam objek DataFrame. pandas.read_csv()函数可以直接将csv文件读取为一个DataFrame对象。

import pandas as pd

# 读取csv文件
data = pd.read_csv('data.csv')

同样地，我们可以使用pandas.DataFrame.to_csv()函数将DataFrame对象写入到csv文件。

# 将DataFrame对象写入csv文件
data.to_csv('result.csv', index=False)

2. 查看数据

在处理大数据时，首先需要了解数据的整体情况。pandas提供了几个常用的函数，可以帮助我们查看数据的前几行、后几行以及整体的统计摘要信息。

• head()函数可以查看DataFrame的前几行，默认显示前5行。

# 查看前5行数据
print(data.head())

• tail()函数可以查看DataFrame的后几行，默认显示后5行。

# 查看后5行数据
print(data.tail())

• describe()函数可以查看DataFrame的统计摘要信息，包括计数、平均值、标准差、最小值、最大值等。

# 查看统计摘要信息
print(data.describe())

3. 数据筛选与过滤

在处理大数据时，我们常常需要根据特定条件对数据进行筛选与过滤。pandas提供了多个常用的函数，可以帮助我们实现这一功能。

• 使用loc[]函数可以通过标签筛选数据。

# 筛选某一列中值大于10的数据
filtered_data = data.loc[data['column'] > 10]

• 使用isin()函数可以根据一个列表中的值进行筛选。

# 筛选某一列中值在列表[1,2,3]中的数据
filtered_data = data[data['column'].isin([1, 2, 3])]

• 使用query()函数可以根据条件表达式进行筛选。

# 筛选某一列中值大于10且小于20的数据
filtered_data = data.query('10 < column < 20')

4. 数据排序与重排

处理大数据时，数据的排序和重排经常是必不可少的操作。pandas提供了多个函数，可以帮助我们实现这一功能。

• 使用sort_values()函数可以按照指定的列对数据进行排序。

# 按照某一列的值对数据进行升序排序
sorted_data = data.sort_values(by='column', ascending=True)

• 使用sort_index()函数可以按照索引对数据进行排序。

# 按照索引对数据进行升序排序
sorted_data = data.sort_index(ascending=True)

5. 数据分组与聚合

在处理大数据时，常常需要根据某些条件进行数据分组，并对每个组进行聚合计算。pandas提供了多个函数，可以帮助我们完成这个任务。

• 使用groupby()函数可以根据某一列进行分组。

# 根据某一列进行分组
grouped_data = data.groupby('column')

• 使用agg()函数可以对分组后的数据进行聚合计算。

# 对分组后的数据进行求和操作
sum_data = grouped_data.agg({'column': 'sum'})

6. 数据合并与连接

在处理大数据时，常常需要将多个数据集合并或连接在一起。pandas提供了多个函数，可以帮助我们实现这一功能。

• 使用merge()函数可以根据指定的列将两个数据集合并在一起。

# 按照某一列进行合并
merged_data = pd.merge(data1, data2, on='column')

• 使用concat()

  # 按行连接两个数据集
  concatenated_data = pd.concat([data1, data2], axis=0)

  Begitu juga, kita boleh menggunakan fungsi pandas.DataFrame.to_csv() untuk menulis objek DataFrame pada fail csv. rrreee

  Lihat data

  🎜🎜Apabila berurusan dengan data besar, anda perlu memahami situasi keseluruhan data terlebih dahulu. Panda menyediakan beberapa fungsi yang biasa digunakan yang boleh membantu kami melihat beberapa baris pertama, beberapa baris terakhir dan maklumat ringkasan statistik keseluruhan data. Fungsi 🎜
  🎜head() boleh melihat beberapa baris pertama DataFrame dan 5 baris pertama dipaparkan secara lalai. Fungsi 🎜🎜rrreee
  🎜tail() boleh melihat beberapa baris terakhir DataFrame dan 5 baris terakhir dipaparkan secara lalai. Fungsi 🎜🎜rrreee
  🎜describe() boleh melihat maklumat ringkasan statistik DataFrame, termasuk kiraan, min, sisihan piawai, nilai minimum, nilai maksimum, dsb. 🎜🎜rrreee
  🎜Penapisan dan penapisan data🎜🎜🎜Apabila memproses data besar, kita selalunya perlu menyaring dan menapis data berdasarkan syarat tertentu. Panda menyediakan beberapa fungsi yang biasa digunakan untuk membantu kami mencapai fungsi ini. 🎜
  🎜Gunakan fungsi loc[] untuk menapis data mengikut teg. 🎜🎜rrreee
  🎜Gunakan fungsi isin() untuk menapis berdasarkan nilai dalam senarai. 🎜🎜rrreee
  🎜Gunakan fungsi query() untuk menapis berdasarkan ungkapan bersyarat. 🎜🎜rrreee
  🎜Pengisihan dan penyusunan semula data🎜🎜🎜Apabila berurusan dengan data besar, pengisihan dan penyusunan semula data selalunya merupakan operasi yang penting. Pandas menyediakan pelbagai fungsi untuk membantu kami mencapai fungsi ini. 🎜
  🎜Gunakan fungsi sort_values() untuk mengisih data mengikut lajur yang ditentukan. 🎜🎜rrreee
  🎜Gunakan fungsi sort_index() untuk mengisih data mengikut indeks. 🎜🎜rrreee
  🎜Penghimpunan dan pengagregatan data🎜🎜🎜Apabila memproses data besar, selalunya perlu untuk mengumpulkan data mengikut syarat tertentu dan melakukan pengiraan pengagregatan pada setiap kumpulan. Panda menyediakan pelbagai fungsi untuk membantu kami menyelesaikan tugasan ini. 🎜
  🎜Gunakan fungsi groupby() untuk mengumpulkan mengikut lajur tertentu. 🎜🎜rrreee
  🎜Gunakan fungsi agg() untuk melaksanakan pengiraan pengagregatan pada data terkumpul. 🎜🎜rrreee
  🎜Penggabungan dan penggabungan data🎜🎜🎜Apabila berurusan dengan data besar, selalunya perlu untuk menggabungkan atau menyertai berbilang set data bersama-sama. Panda menyediakan pelbagai fungsi untuk membantu kami mencapai fungsi ini. 🎜
  🎜Gunakan fungsi merge() untuk menggabungkan dua set data bersama-sama berdasarkan lajur yang ditentukan. 🎜🎜rrreee
  🎜Gunakan fungsi concat() untuk menggabungkan berbilang set data bersama-sama dalam baris atau lajur. 🎜🎜rrreee🎜Di atas memperkenalkan beberapa fungsi yang biasa digunakan dan contoh kod khusus perpustakaan panda saya harap ia akan membantu pembaca semasa memproses data besar. Sudah tentu, perpustakaan panda mempunyai fungsi yang lebih berkuasa, dan anda boleh meneroka lebih lanjut dokumen rasmi dan bahan lain apabila ia melibatkan senario yang lebih kompleks. Saya harap pembaca dapat mengendalikan data besar dengan mudah dan mencapai hasil analisis yang lebih baik! 🎜

  Atas ialah kandungan terperinci Belajar menggunakan fungsi panda yang biasa digunakan untuk memproses data berskala besar dengan mudah. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!