Ausführliche Erläuterung von Beispielen zum Bereinigen von Zeichenfolgen in Python

In diesem Artikel werden hauptsächlich relevante Informationen zur String-Verarbeitung der Python-Datenbereinigung vorgestellt.

Vorwort

Die Datenbereinigung ist ein Komplex und mühsame (kubi) Arbeit, es ist auch das wichtigste Glied im gesamten Datenanalyseprozess. Manche Leute sagen, dass 80 % der Zeit eines Analyseprojekts darin besteht, Daten zu bereinigen. Das klingt seltsam, trifft aber auf die tatsächliche Arbeit zu. Es gibt zwei Zwecke der Datenbereinigung. Der erste besteht darin, die Daten durch die Bereinigung verfügbar zu machen. Die zweite besteht darin, die Daten für die spätere Analyse besser geeignet zu machen. Mit anderen Worten: Es gibt „schmutzige“ Daten, die gelöscht werden müssen, und saubere Daten, die ebenfalls gelöscht werden müssen.

Bei der Datenanalyse, insbesondere bei der Textanalyse, erfordert die Zeichenverarbeitung viel Energie, daher ist das Verständnis der Zeichenverarbeitung auch eine sehr wichtige Fähigkeit für die Datenanalyse.

String-Verarbeitungsmethoden

Lassen Sie uns zunächst die grundlegenden Methoden verstehen.

Zuerst Alle, lasst es uns verstehen. Die folgende String-Aufteilungsmethode

str='i like apple,i like bananer'
print(str.split(','))

führt zur Aufteilung der Zeichenkette durch Kommas:

['i like apple', 'i like bananer']

print(str.split(' '))

Das Ergebnis der Aufteilung nach Leerzeichen:

['i', 'like', 'apple,i', 'like', 'bananer']

print(str.index(','))
print(str.find(','))

Beide Suchergebnisse sind:

12

Wenn nicht gefunden, gibt der Index einen Fehler zurück und die Suche gibt -1 zurück

print(str.count('i'))

Das Ergebnis ist:

4

connt wird verwendet, um die Häufigkeit der Zielzeichenfolge zu zählen

print(str.replace(',', ' ').split(' '))

Das Ergebnis ist:

['i', 'like', 'apple', 'i', 'like', 'bananer']

Hier ersetzt ersetzen Kommas durch Leerzeichen, Verwenden Sie Leerzeichen, um die Zeichenfolge aufzuteilen, gerade genug, um jedes Wort herauszunehmen.

Zusätzlich zu herkömmlichen Methoden ist das leistungsfähigere Zeichenverarbeitungstool Regulärer Ausdruck nichts anderes als.

Reguläre Ausdrücke

Bevor wir reguläre Ausdrücke verwenden, müssen wir die vielen Methoden in regulären Ausdrücken verstehen.

Lassen Sie mich die Verwendung der nächsten Methode betrachten. Verstehen Sie zunächst den Unterschied zwischen den Übereinstimmungs- und Suchmethoden

str = "Cats are smarter than dogs"
pattern=re.compile(r'(.*) are (.*?) .*')
result=re.match(pattern,str)

for i in range(len(result.groups())+1):
 print(result.group(i))

Das Ergebnis ist:

Katzen sind schlauer als Hunde
Katzen
schlauer

Bei dieser Form der Pettern-Matching-Regel sind die Rückgabeergebnisse der Match- und Suchmethoden die gleich

Wenn Sie zu diesem Zeitpunkt das Muster in

pattern=re.compile(r'are (.*?) .*')

ändern, wird keine Übereinstimmung zurückgegeben und das Suchergebnis lautet:

sind schlauer als Hunde
klüger

Als nächstes lernen wir den Einsatz anderer Methoden kennen

str = "138-9592-5592 # number"
pattern=re.compile(r'#.*$')
number=re.sub(pattern,'',str)
print(number)

Das Ergebnis ist:

138- 9592-5592

Das Obige dient dazu, die Nummer zu extrahieren, indem der Inhalt nach dem #-Zeichen durch nichts ersetzt wird.

Wir können den Querstrich der Zahl weiter ersetzen

print(re.sub(r'-*','',number))

Das Ergebnis ist:

13895925592

Wir können auch die Suchmethode verwenden, um die gefundene Zeichenfolge auszudrucken

str = "138-9592-5592 # number"
pattern=re.compile(r'5')
print(pattern.findall(str))

Das Ergebnis ist:

['5', '5', '5']

Der Gesamtinhalt regulärer Ausdrücke ist relativ umfangreich und wir müssen die Regeln für den Abgleich von Zeichenfolgen ausreichend verstehen. Im Folgenden sind die spezifischen Abgleichsregeln aufgeführt.

Vektorisierte ZeichenfolgeFunktion

Beim Bereinigen der verstreuten Daten, die analysiert werden sollen, ist dies häufig erforderlich Führen Sie einige Arbeiten zur String-Normalisierung durch.

data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',
 'chen': '8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})
print(data)

Das Ergebnis ist:

Sie können durch einige Integrationsmethoden eine vorläufige Beurteilung der Daten vornehmen, z Die Daten enthalten die Schlüsselwörter

print(data.str.contains('@'))

. Das Ergebnis lautet:

Sie können die Zeichenfolge auch teilen und die erforderliche Zeichenfolge extrahieren

data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',
     'chen': '8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})
pattern=re.compile(r'(\d*)@([a-z]+)\.([a-z]{2,4})')
result=data.str.match(pattern) #这里用fillall的方法也可以result=data.str.findall(pattern)
print(result)

Das Ergebnis ist:

chen [(8622, xinlang, com)]
li [(120, qq, com)]
sun [(5243, gmail, com )]
wang [(5632, qq, com)]
zhao NaN
dtype: object

Um zu diesem Zeitpunkt beizutreten, müssen wir extrahieren die Vorderseite der E-Mail-Adresse. Der Name

print(result.str.get(0))

ergibt:

oder den Domainnamen, zu dem die E-Mail-Adresse gehört

print(result.str.get(1))

führt zu:

Natürlich können Sie es auch durch Slicing extrahieren, aber die Genauigkeit der extrahierten Daten ist nicht hoch

data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',
    'chen': '8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})
print(data.str[:6])

Das Ergebnis ist:

Endlich verstehen wir die vektorisierte String-Methode

Zusammenfassung

[Verwandte Empfehlungen ]

1. Python kostenloses Video-Tutorial

2 Python objektorientiertes Video-Tutorial

3 Grundlegendes Einführungs-Tutorial zu Python

Das obige ist der detaillierte Inhalt vonAusführliche Erläuterung von Beispielen zum Bereinigen von Zeichenfolgen in Python. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!