Webtext-Datenbereinigungsprozess und Beispiele (Beispielcode)

Der Inhalt dieses Artikels befasst sich mit dem Webtext-Datenbereinigungsprozess und Beispielen (Beispielcode). Ich hoffe, dass er für Sie hilfreich ist.

Heutzutage sind mehr als 80 % der Daten unstrukturiert. Die Vorverarbeitung von Textdaten ist der einzige Weg vor der Datenanalyse. Die meisten verfügbaren Textdaten sind von Natur aus stark unstrukturiert und verrauscht, was bessere Einblicke oder die Entwicklung besserer Algorithmen zur Verarbeitung der Daten erfordert.

Wir wissen, dass Social-Media-Daten aufgrund informeller Kommunikation, einschließlich Rechtschreibfehlern, schlechter Grammatik, Verwendung von Slang, Unregelmäßigkeiten wie URLs, Stoppwörtern, Ausdrücken usw., stark unstrukturiert sind. Erforderlicher Inhalt.

Eine typische Business-Frage, sofern Sie daran interessiert sind: Dies ist die Funktion, die das iPhone bei Fans beliebter macht. Unten haben Sie einen Tweet über iPhone-bezogene Verbrauchermeinungen extrahiert:

Das Folgende ist die Textvorverarbeitung für diesen Tweet:

1 HTML-Zeichen entfernen:

Aus dem Web erhaltene Daten enthalten normalerweise viele HTML-Entitäten wie

, die in die Originaldaten eingebettet sind. Daher ist es notwendig, diese Einheiten loszuwerden. Eine Möglichkeit besteht darin, sie direkt mithilfe bestimmter regulärer Ausdrücke zu entfernen. Ein anderer Ansatz besteht darin, geeignete Pakete und Module (z. B. HTMLPARSER von Python) zu verwenden, die diese Entitäten in Standard-HTML-Markup konvertieren können. Beispiel:

 

2. Daten dekodieren:

Dies ist der Prozess der Umwandlung von Informationen aus komplexen Symbolen in einfache und verständliche Zeichen. Textdaten können verschiedenen Formen der Dekodierung unterliegen, z. B. „Latein“, „UTF8“ usw. Für eine bessere Analyse ist es daher notwendig, die gesamten Daten in einem Standard-Kodierungsformat aufzubewahren. Die UTF-8-Kodierung wird allgemein akzeptiert und empfohlen.

 

3. Um Mehrdeutigkeiten der Wortbedeutung im Text zu vermeiden, wird empfohlen, eine ordnungsgemäße Struktur im Artikel beizubehalten und die Regeln des Kontexts zu befolgen. freie Grammatik. Wenn ein Apostroph verwendet wird, erhöht sich die Wahrscheinlichkeit einer Begriffsklärung.

Zum Beispiel „es ist eine Abkürzung für it is oder it has“.

Alle Apostrophe sollten in Standardwörterbücher umgewandelt werden. Eine Nachschlagetabelle aller möglichen Schlüsselwörter kann verwendet werden, um Mehrdeutigkeiten zu beseitigen.

 

4. Entfernung von Stoppwörtern: Wenn die Datenanalyse auf Zeichenebene datengesteuert erfolgen muss, sollten häufig vorkommende Wörter (Stoppwörter) gelöscht werden. Erstellen Sie eine lange Liste mit Stoppwörtern oder nutzen Sie vordefinierte sprachspezifische Bibliotheken.

5. Satzzeichen löschen: Alle Satzzeichen sollten nach Priorität verarbeitet werden. Zum Beispiel: ",", ",", "?" "Wichtige Satzzeichen sollten beibehalten werden, während andere Satzzeichen gelöscht werden müssen.

6. Ausdrücke löschen: Textdaten (normalerweise Sprachtranskriptionen) können menschliche Zeichen enthalten Ausdrücke wie [Lachen], [Publikumspause] sind normalerweise für den Sprachinhalt irrelevant und müssen daher entfernt werden. In diesem Fall können einfache reguläre Ausdrücke nützlich sein: Von Personen generierte Textdaten Soziale Foren, die völlig informeller Natur sind, werden von mehreren Zusätzen begleitet, wie z. B. PrimeCythOrth. Diese Entitäten können durch einfache Regeln dargestellt werden und reguläre Ausdrücke werden in ihre normalen Formen aufgeteilt > 8. Slang-Suche: In den sozialen Medien sind die meisten Slang-Wörter enthalten, und diese Wörter sollten in Freitext umgewandelt werden, um Freitext zu erhalten. Eine ähnliche Methode wie die Apostroph-Suche kann zum Konvertieren von Slang verwendet werden Wörter in Standardwörter umwandeln. Im Internet gibt es zahlreiche Informationsquellen, die als Nachschlagewörterbücher verwendet werden können.

9 . Zum Beispiel: „Ich liebe dich“ sollte „Ich liebe dich“ sein. Einfache Regeln und reguläre Ausdrücke können helfen, diese Situationen zu lösen: URLs und Hyperlinks in Textdaten sollten gelöscht werden. Kommentare und Tweets.

Das Obige ist eine vollständige Einführung in den Webtext-Datenbereinigungsprozess und Beispiele (Beispielcode). Wenn Sie mehr über das

HTML-Video-Tutorial

erfahren möchten, zahlen Sie bitte Aufmerksamkeit auf die chinesische PHP-Website.

Das obige ist der detaillierte Inhalt vonWebtext-Datenbereinigungsprozess und Beispiele (Beispielcode). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!