Python-Datenbereinigung, Zusammenführen, Konvertieren, Filtern und Sortieren von Daten

Wir haben zuvor Pandas verwendet, um einige grundlegende Operationen durchzuführen.

Datenbereinigung war schon immer ein äußerst wichtiger Teil der Datenanalyse.

Datenzusammenführung

In Pandas können Daten durch Zusammenführen zusammengeführt werden.

import numpy as np
import pandas as pd
data1 = pd.DataFrame({'level':['a','b','c','d'],
         'numeber':[1,3,5,7]})

data2=pd.DataFrame({'level':['a','b','c','e'],
         'numeber':[2,3,6,10]})
print(data1)

Das Ergebnis ist:

print(data2)

Das Ergebnis ist:

print(pd.merge(data1,data2))

Das Ergebnis ist:

Sie können sehen, dass die Felder, die für dieselbe Beschriftung in Daten1 und Daten2 verwendet werden, angezeigt werden, während andere Felder verworfen werden, was dem inneren entspricht Join-Verbindungsvorgang in SQL.
Darüber hinaus gibt es Verbindungsmethoden wie „outer“, „ringt“, „left“ usw., die durch das Schlüsselwort „how“ dargestellt werden.

data3 = pd.DataFrame({'level1':['a','b','c','d'],
         'numeber1':[1,3,5,7]})
data4=pd.DataFrame({'level2':['a','b','c','e'],
         'numeber2':[2,3,6,10]})
print(pd.merge(data3,data4,left_on='level1',right_on='level2'))

Das Ergebnis ist:

In beiden Datenrahmen Wenn die Spaltennamen unterschiedlich sind, können wir die Daten miteinander verbinden, indem wir die beiden Parameter letf_on und right_on angeben

print(pd.merge(data3,data4,left_on='level1',right_on='level2',how='left'))

Das Ergebnis ist:

Weitere detaillierte Parameterbeschreibungen

Überlappende Datenzusammenführung

Manchmal stoßen wir auf überlappende Daten, die zusammengeführt werden müssen. In diesem Fall können wir die Funktion „comebine_first“ verwenden.

data3 = pd.DataFrame({'level':['a','b','c','d'],
         'numeber1':[1,3,5,np.nan]})
 data4=pd.DataFrame({'level':['a','b','c','e'],
         'numeber2':[2,np.nan,6,10]})
 print(data3.combine_first(data4))

Das Ergebnis ist:

Sie können das sehen gleiche Tags Der folgende Inhalt zeigt zuerst den Inhalt von data3 an. Wenn bestimmte Daten in einem Datenrahmen fehlen, werden die Elemente in einem anderen Datenrahmen ausgefüllt.

Die Verwendung hier ist ähnlich wie bei np .where(isnull(a),b,a)

Datenumformung und axiale Drehung

Wir haben diesen Inhalt im vorherigen Pandas-Artikel erwähnt. Bei der Datenumformung werden hauptsächlich die Umformungsfunktionen verwendet, und bei der Rotation werden hauptsächlich die Funktionen zum Entstapeln und Stapeln verwendet.

data=pd.DataFrame(np.arange(12).reshape(3,4),
       columns=['a','b','c','d'],
       index=['wang','li','zhang'])
print(data)

Das Ergebnis ist:

print(data.unstack())

Das Ergebnis ist:

Datenkonvertierung

Doppelte Zeilendaten löschen

data=pd.DataFrame({'a':[1,3,3,4],
       'b':[1,3,3,5]})
print(data)

Das Ergebnis ist:

print(data.duplicated())

Das Ergebnis ist:

Es ist zu erkennen, dass die dritte Zeile die Daten der zweiten Zeile wiederholt, also die angezeigten Ergebnis ist wahr

另外用drop_duplicates方法可以去除重复行

print(data.drop_duplicates())

结果为：

替换值

除了使用我们上一篇文章中提到的fillna的方法外，还可以用replace方法，而且更简单快捷

data=pd.DataFrame({'a':[1,3,3,4],
       'b':[1,3,3,5]})
print(data.replace(1,2))

结果为：

多个数据一起换

print(data.replace([1,4],np.nan))

数据分段

data=[11,15,18,20,25,26,27,24]
bins=[15,20,25]
print(data)
print(pd.cut(data,bins))

结果为：
[11, 15, 18, 20, 25, 26, 27, 24][NaN, NaN, (15, 20], (15, 20], (20, 25], NaN, NaN, (20, 25]]
Categories (2, object): [(15, 20] < (20, 25]]

可以看出分段后的结果，不在分段内的数据显示为na值，其他则显示数据所在的分段。

print(pd.cut(data,bins).labels)

结果为：

[-1 -1 0 0 1 -1 -1 1]

显示所在分段排序标签

print(pd.cut(data,bins).levels)

结果为：

Index([‘(15, 20]', ‘(20, 25]'], dtype='object')

显示所以分段标签

print(value_counts(pd.cut(data,bins)))

结果为：

显示每个分段值得个数

此外还有一个qcut的函数可以对数据进行4分位切割，用法和cut类似。

排列和采样

我们知道排序的方法有好几个，比如sort，order，rank等函数都能对数据进行排序
现在要说的这个是对数据进行随机排序（permutation）

data=np.random.permutation(5)
print(data)

结果为：

[1 0 4 2 3]

这里的peemutation函数对0-4的数据进行随机排序的结果。
也可以对数据进行采样

df=pd.DataFrame(np.arange(12).reshape(4,3))
samp=np.random.permutation(3)
print(df)

结果为：

print(samp)

结果为：
[1 0 2]

print(df.take(samp))

结果为：

这里使用take的结果是，按照samp的顺序从df中提取样本。

更多python 数据清洗之数据合并、转换、过滤、排序相关文章请关注PHP中文网！