So verwenden Sie Pandas zum Umgang mit doppelten Werten in Daten: eine umfassende Analyse der Deduplizierungsmethoden

Umfassende Analyse der Pandas-Deduplizierungsmethode: Einfache Handhabung doppelter Werte in Daten, spezifische Codebeispiele sind erforderlich

Einführung:
Bei der Datenanalyse und -verarbeitung kommt es häufig vor, dass die Daten doppelte Werte enthalten. Diese doppelten Werte können die Analyseergebnisse verfälschen oder die Genauigkeit der Daten beeinträchtigen. Daher ist die Deduplizierung ein wichtiger Bestandteil der Datenverarbeitung. Als weit verbreitete Datenverarbeitungsbibliothek in Python bietet Pandas eine Vielzahl von Deduplizierungsmethoden und kann problemlos mit doppelten Werten in den Daten umgehen. In diesem Artikel werden die häufig verwendeten Deduplizierungsmethoden in Pandas analysiert und spezifische Codebeispiele gegeben, um den Lesern zu helfen, diese Methoden besser zu verstehen und anzuwenden.

1. drop_duplicates-Methode
Die drop_duplicates-Methode ist eine der am häufigsten verwendeten Deduplizierungsmethoden in Pandas. Es entfernt doppelte Werte aus Daten basierend auf angegebenen Spalten oder Zeilen. Die spezifische Verwendung ist wie folgt:

df.drop_duplicates(subset=None, keep='first', inplace=False)

Unter diesen stellt df den zu deduplizierenden Datensatz dar, subset ist die angegebene Spalte oder Zeile und der Standardwert ist None, was bedeutet, dass alle Spalten dedupliziert werden. Der Keep-Parameter gibt an, welcher wiederholte Wert beibehalten werden soll. Der Standardwert ist „first“, was bedeutet, dass der erste angezeigte Wert beibehalten werden soll. Sie können auch „last“ wählen, was bedeutet, dass der zuletzt angezeigte Wert beibehalten werden soll. Der Inplace-Parameter gibt an, ob der ursprüngliche Datensatz geändert werden soll. Der Standardwert ist False, was bedeutet, dass ein neuer deduplizierter Datensatz zurückgegeben wird.

Spezifisches Beispiel:
Angenommen, wir haben einen Datensatz df, der doppelte Werte enthält:

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3, 1, 2, 3],
                   'B': ['a', 'b', 'c', 'a', 'b', 'c']})

print(df)

Die laufenden Ergebnisse lauten wie folgt:

   A  B
0  1  a
1  2  b
2  3  c
3  1  a
4  2  b
5  3  c

Wir können die Methode drop_duplicates verwenden, um doppelte Werte zu entfernen:

df_drop_duplicates = df.drop_duplicates()

print(df_drop_duplicates)

Die laufenden Ergebnisse lauten wie folgt :

   A  B
0  1  a
1  2  b
2  3  c

Aus den Ergebnissen geht hervor, dass die Methode drop_duplicates erfolgreich doppelte Werte im Datensatz entfernt.

2. Duplizierte Methode
Die duplizierte Methode ist eine weitere häufig verwendete Deduplizierungsmethode in Pandas. Im Gegensatz zur Methode „drop_duplicates“ gibt die Methode „duplicated“ eine boolesche Reihe zurück, um zu bestimmen, ob die Elemente in jeder Zeile oder Spalte dupliziert sind. Die spezifische Verwendung ist wie folgt:

df.duplicated(subset=None, keep='first')

Unter diesen stellt df den zu duplizierenden Datensatz dar, Teilmenge ist die angegebene Spalte oder Zeile und der Standardwert ist Keine, was bedeutet, dass alle Spalten beurteilt werden. Die Bedeutung des keep-Parameters ist dieselbe wie die der drop_duplicates-Methode.

Spezifisches Beispiel:
Angenommen, wir verwenden immer noch den obigen Datensatz df, können wir die duplizierte Methode verwenden, um zu bestimmen, ob jede Zeile wiederholt wird:

df_duplicated = df.duplicated()

print(df_duplicated)

Die laufenden Ergebnisse lauten wie folgt:

0    False
1    False
2    False
3     True
4     True
5     True
dtype: bool

Wie aus den Ergebnissen ersichtlich ist , die 0. und 0. in den zurückgegebenen Serienzeilen 1 und 2 sind falsch, was darauf hinweist, dass diese Zeilen nicht wiederholt werden; die Zeilen 3, 4 und 5 sind wahr, was darauf hinweist, dass diese Zeilen wiederholt werden.

3. Anwendungsszenarien von drop_duplicates und duplizierten Methoden
drop_duplicates und duplizierte Methoden werden häufig bei der Datenbereinigung und Datenanalyse verwendet:

1. Datendeduplizierung: Löschen Sie Duplikate in den Daten basierend auf angegebenen Spalten- oder Zeilenwerten Gewährleistung der Datengenauigkeit.
2. Datenanalyse: Durch Deduplizierung können doppelte Proben oder Beobachtungen entfernt werden, um die Genauigkeit der Ergebnisse der Datenanalyse sicherzustellen.

Spezifisches Beispiel:
Angenommen, wir haben einen Verkaufsdatensatz df, der Verkaufsdatensätze in mehreren Städten enthält. Wir möchten die Gesamtverkäufe in jeder Stadt zählen und doppelte Städte entfernen. Um dies zu erreichen, können wir den folgenden Code verwenden:

import pandas as pd

df = pd.DataFrame({'City': ['Beijing', 'Shanghai', 'Guangzhou', 'Shanghai', 'Beijing'],
                   'Sales': [1000, 2000, 3000, 1500, 1200]})

df_drop_duplicates = df.drop_duplicates(subset='City')
df_total_sales = df.groupby('City')['Sales'].sum()

print(df_drop_duplicates)
print(df_total_sales)

Die laufenden Ergebnisse lauten wie folgt:

        City  Sales
0    Beijing   1000
1   Shanghai   2000
2  Guangzhou   3000
       Sales
City        
Beijing  2200
Guangzhou  3000
Shanghai  3500

Wie aus den Ergebnissen ersichtlich ist, haben wir zuerst die Methode drop_duplicates verwendet, um doppelte Städte zu entfernen, und dann die Methoden groupby und sum verwendet um den Gesamtumsatz jeder Stadt zu berechnen.

Fazit:
Durch die Analyse dieses Artikels verstehen wir die Verwendungs- und Anwendungsszenarien der häufig verwendeten Deduplizierungsmethoden drop_duplicates und dupliziert in Pandas. Diese Methoden können uns dabei helfen, doppelte Werte in den Daten problemlos zu verarbeiten und die Genauigkeit der Datenanalyse und -verarbeitung sicherzustellen. In praktischen Anwendungen können wir je nach Problem geeignete Methoden auswählen und diese mit anderen Pandas-Methoden zur Datenbereinigung und -analyse kombinieren.

Codebeispiel:

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3, 1, 2, 3],
                   'B': ['a', 'b', 'c', 'a', 'b', 'c']})

# 使用drop_duplicates方法去重
df_drop_duplicates = df.drop_duplicates()
print(df_drop_duplicates)

# 使用duplicated方法判断重复值
df_duplicated = df.duplicated()
print(df_duplicated)

# 应用场景示例
df = pd.DataFrame({'City': ['Beijing', 'Shanghai', 'Guangzhou', 'Shanghai', 'Beijing'],
                   'Sales': [1000, 2000, 3000, 1500, 1200]})

df_drop_duplicates = df.drop_duplicates(subset='City')
df_total_sales = df.groupby('City')['Sales'].sum()

print(df_drop_duplicates)
print(df_total_sales)

Der obige Code wird in der Python-Umgebung ausgeführt und das Ergebnis gibt den deduplizierten Datensatz und die Gesamtverkaufsstatistik aus.

Referenzen:

1. Pandas offizielle Dokumentation: https://pandas.pydata.org/docs/
2. "Using Python for Data Analysis" (Zweite Ausgabe), Autor: Wes McKinney, People's Posts and Telecommunications Press, Jahr 2019 .

Das obige ist der detaillierte Inhalt vonSo verwenden Sie Pandas zum Umgang mit doppelten Werten in Daten: eine umfassende Analyse der Deduplizierungsmethoden. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!