Konvertieren Sie Textdokumente in eine TF-IDF-Matrix mit TFIDFVectorizer

In diesem Artikel werden die TF-IDF-Technik (Frequenz-Inverse-Dokumentfrequenz) erläutert, ein entscheidendes Werkzeug in der natürlichen Sprachverarbeitung (NLP) zur Analyse von Textdaten. TF-IDF übertrifft die Einschränkungen der Basis-Wörter-Ansätze, indem sie Begriffe basierend auf ihrer Häufigkeit innerhalb eines Dokuments und ihrer Seltenheit über eine Sammlung von Dokumenten gewichtet werden. Diese verbesserte Gewichtung verbessert die Textklassifizierung und erhöht die analytischen Fähigkeiten von maschinellen Lernmodellen. Wir werden demonstrieren, wie ein TF-IDF-Modell in Python von Grund auf neu erstellt und numerische Berechnungen durchgeführt werden.

Inhaltsverzeichnis

• Schlüsselbegriffe in TF-IDF
• Term Frequenz (TF) erklärt
• Dokumentfrequenz (DF) erläutert
• Inverse Dokumentfrequenz (IDF) erläutert
• TF-IDF verstehen
  • Numerische TF-IDF-Berechnung
  • Schritt 1: Berechnung der Termfrequenz (TF)
  • Schritt 2: Berechnung der inversen Dokumentfrequenz (IDF)
  • Schritt 3: Berechnung von TF-IDF
• Python-Implementierung mit einem integrierten Datensatz
  • Schritt 1: Installation der erforderlichen Bibliotheken
  • Schritt 2: Bibliotheken importieren
  • Schritt 3: Laden des Datensatzes
  • Schritt 4: Initialisieren von TfidfVectorizer
  • Schritt 5: Anpassen und Transformieren von Dokumenten
  • Schritt 6: Untersuchung der TF-IDF-Matrix untersuchen
• Abschluss
• Häufig gestellte Fragen

Schlüsselbegriffe in TF-IDF

Definieren wir vor dem Fortfahren die wichtigsten Begriffe:

• T : Begriff (individuelles Wort)
• D : Dokument (eine Reihe von Wörtern)
• N : Gesamtzahl der Dokumente im Korpus
• Corpus : Die gesamte Sammlung von Dokumenten

Term Frequenz (TF) erklärt

Die Term Frequenz (TF) quantifiziert, wie oft ein Begriff in einem bestimmten Dokument erscheint. Ein höherer TF zeigt eine größere Bedeutung in diesem Dokument an. Die Formel lautet:

Dokumentfrequenz (DF) erläutert

Dokumentfrequenz (DF) misst die Anzahl der Dokumente innerhalb des Korpus, der einen bestimmten Term enthält. Im Gegensatz zu TF zählt es das Vorhandensein eines Begriffs und nicht des Vorkommens. Die Formel lautet:

Df (t) = Anzahl der Dokumente, die Begriff t enthalten

Inverse Dokumentfrequenz (IDF) erläutert

Die inverse Dokumentfrequenz (IDF) bewertet die Informativität eines Wortes. Während TF alle Begriffe gleich behandelt, sind IDF -Abfälle gemeinsame Wörter (wie Stoppwörter) und seltenere Begriffe. Die Formel lautet:

wobei n die Gesamtzahl der Dokumente ist und DF (t) die Anzahl der Dokumente, die Begriff t enthalten.

TF-IDF verstehen

TF-IDF kombiniert Term Häufigkeit und umgekehrte Dokumentfrequenz, um die Signifikanz eines Begriffs innerhalb eines Dokuments relativ zum gesamten Korpus zu bestimmen. Die Formel lautet:

Numerische TF-IDF-Berechnung

Veranschaulichen Sie die numerische TF-IDF-Berechnung mit Beispieldokumenten:

Unterlagen:

1. "Der Himmel ist blau."
2. "Die Sonne ist heute hell."
3. "Die Sonne am Himmel ist hell."
4. "Wir können die leuchtende Sonne sehen, die helle Sonne."

Befolgen Sie die im Originaltext beschriebenen Schritte, wir berechnen TF, IDF und dann TF-IDF für jeden Begriff in jedem Dokument. (Die detaillierten Berechnungen werden hier für die Kürze weggelassen, spiegeln jedoch das ursprüngliche Beispiel wider.)

Python-Implementierung mit einem integrierten Datensatz

In diesem Abschnitt wird die TF-IDF-Berechnung unter Verwendung von TfidfVectorizer von Scikit-Learn und dem 20 Newsgroups-Datensatz angezeigt.

Schritt 1: Installation der erforderlichen Bibliotheken

 PIP Installieren Sie Scikit-Learn

Schritt 2: Bibliotheken importieren

 Pandas als PD importieren
Aus sklearn.datasets importieren Sie Fetch_20newsgroups
von sklearn.feature_extraction.text import tfidfVectorizer

Schritt 3: Laden des Datensatzes

 Newsgroups = Fetch_20NewsGroups (Subset = 'Train')

Schritt 4: Initialisieren von TfidfVectorizer

 vectorizer = tfidfVectorizer (stop_words = 'englisch', max_features = 1000)

Schritt 5: Anpassen und Transformieren von Dokumenten

 tfidf_matrix = vectorizer.fit_transform (newsgroups.data)

Schritt 6: Untersuchung der TF-IDF-Matrix untersuchen

 df_tfidf = pd.dataframe (tfidf_matrix.toarray (), columns = vectorizer.get_feature_names_out ()))
df_tfidf.head () 

Abschluss

Unter Verwendung des 20 Newsgroups-Datensatzes und TfidfVectorizer transformieren wir Textdokumente effizient in eine TF-IDF-Matrix. Diese Matrix stellt die Bedeutung jedes Begriffs dar und ermöglicht verschiedene NLP -Aufgaben wie die Klassifizierung und Clusterbildung von Text. Der TfidfVectorizer von Scikit-Learn vereinfacht diesen Prozess erheblich.

Häufig gestellte Fragen

Der FAQS-Abschnitt bleibt weitgehend unverändert und adressiert die logarithmische Natur der IDF, die Skalierbarkeit großer Datensätze, Einschränkungen von TF-IDF (ignorierende Wortreihenfolge und Kontext ignorieren) und gemeinsame Anwendungen (Suchmaschinen, Textklassifizierung, Clustering, Zusammenfassung).

Das obige ist der detaillierte Inhalt vonKonvertieren Sie Textdokumente in eine TF-IDF-Matrix mit TFIDFVectorizer. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!