Verwendung von Python für die Segmentierung chinesischer Wörter

Zu den Partizipien, die ich derzeit häufig verwende, gehören Stotterpartizipien, NLPIR-Partizipien usw.

Ich verwende in letzter Zeit einige Empfehlungen und sie sind recht einfach zu verwenden.

1. Einführung in die Zhiba-Wortsegmentierung

Bei der Verwendung der Zhiba-Wortsegmentierung für die chinesische Wortsegmentierung gibt es drei grundlegende Implementierungsprinzipien:

Effizientes Wortdiagramm-Scannen basierend auf der Trie-Baumstruktur um chinesische Schriftzeichen in Sätzen zu generieren. Der gerichtete azyklische Graph (DAG), der aus allen möglichen Wortbildungssituationen besteht

, verwendet dynamische Programmierung, um den Pfad mit der maximalen Wahrscheinlichkeit zu finden, und findet die maximale Segmentierungskombination basierend auf der Worthäufigkeit

für nicht registrierte Wörter unter Verwendung des HMM-Modells basierend auf der Fähigkeit chinesischer Schriftzeichen, Wörter zu bilden, unter Verwendung des Viterbi-Algorithmus

2. Installation und Verwendung (Linux)

1. Laden Sie das Tool herunter Paket, entpacken Sie es und geben Sie das Verzeichnis ein, führen Sie Folgendes aus: python setup.py install

Hinweis: a. Es ist eine gute Angewohnheit, die Readme-Datei der heruntergeladenen Software zu lesen, bevor Sie fortfahren. (Wenn Sie die Readme-Datei nicht lesen, versuchen Sie es direkt mit Baidu. Sie werden viele Umwege machen.)

Beim Ausführen des Installationsbefehls ist ein Fehler aufgetreten: Keine Berechtigung! (Bei einigen Leuten kann dieses Problem aufgrund unzureichender Berechtigungen auftreten. Ausführung: sudo !!, wobei „!!“ den vorherigen Befehl bedeutet, hier bezieht es sich auf den Installationsbefehl oben). Nach Verwendung von sudo kann es normal ausgeführt werden.

2. Wenn Sie Jieba für die Wortsegmentierung verwenden, müssen Sie folgende Funktion verwenden: jieba.cut(arg1, arg2); Sie müssen nur die folgenden drei Punkte verstehen, um

verwenden zu können. Die a.cut-Methode akzeptiert zwei Eingabeparameter: Der erste Parameter (arg1) ist die Zeichenfolge, die segmentiert werden muss, und der Parameter arg2 wird zur Steuerung verwendet der Wortsegmentierungsmodus.

Der Wortsegmentierungsmodus ist in zwei Kategorien unterteilt: der Standardmodus, der versucht, den Satz in die genaueste Form zu schneiden, die für die Textanalyse geeignet ist; der vollständige Modus, der alle Wörter im Satz durchsucht das kann in Wörter umgewandelt werden, die für Suchmaschinen geeignet sind

b. Die zu segmentierende Zeichenfolge kann eine GBK-Zeichenfolge, eine UTF-8-Zeichenfolge oder Unicode sein

Personen, die Python verwenden, sollten darauf achten Codierungsprobleme. Wenn Zeichen auftauchen, die nicht zu ASCII gehören (z. B. bei der Verwendung chinesischer Zeichen im Code), wird eine Fehlermeldung angezeigt: „ASCII-Codec kann Zeichen nicht codieren“. um am Anfang der Datei eine Anweisung hinzuzufügen: #! -*- programming:utf- 8 -*- um dem Python-Compiler mitzuteilen: „Meine Datei ist in utf-8 codiert. Wenn Sie dekodieren möchten, verwenden Sie bitte utf- 8." (Denken Sie daran, dass dieser Befehl oben in der Datei hinzugefügt werden muss. Wenn er nicht oben steht, besteht das Codierungsproblem weiterhin und wird nicht gelöst.) Informationen zur Codierungskonvertierung finden Sie im Blog-Beitrag (ps : Persönliches Verständnis von „import sys reload( sys) sys.setdefaultencoding('utf-8')“ Diese Sätze entsprechen „#! -*- programming:utf-8 -*-“)

Das Von c.jieba.cut zurückgegebene Struktur Es handelt sich um einen iterierbaren Generator. Sie können eine for-Schleife verwenden, um jedes nach der Wortsegmentierung erhaltene Wort (Unicode) abzurufen, oder Sie können es mit list(jieba.cut(...)) konvertieren in eine Liste

3. Zum Beispiel eine in jieba bereitgestellte Verwendungsmethode zur Veranschaulichung:

#! -*- coding:utf-8 -*-
import jieba
seg_list = jieba.cut("我来到北京清华大学", cut_all = True)
print "Full Mode:", ' '.join(seg_list)
  
seg_list = jieba.cut("我来到北京清华大学")
print "Default Mode:", ' '.join(seg_list)

Das Ausgabeergebnis ist:

Full Mode: 我/ 来/ 来到/ 到/ 北/ 北京/ 京/ 清/ 清华/ 清华大学/ 华/ 华大/ 大/ 大学/ 学  
Default Mode: 我/ 来到/ 北京/ 清华大学

3. Weitere Funktionen der stotternden chinesischen Wortsegmentierung

1. Benutzerdefinierte Wörterbücher hinzufügen oder verwalten

Alle Wörterbuchinhalte von Stottern werden in dict.txt gespeichert, Sie können den Inhalt in dict.txt weiter verbessern.

2. Schlüsselwortextraktion

Extrahieren Sie Schlüsselwörter, indem Sie das TF/IDF-Gewicht der Schlüsselwörter nach der Wortsegmentierung berechnen.