Wie verwende ich die MySQL-Datenbank für die Textanalyse?

Wie verwende ich die MySQL-Datenbank für die Textanalyse?

Mit dem Aufkommen des Big-Data-Zeitalters ist die Textanalyse zu einer sehr wichtigen Technologie geworden. Als beliebte relationale Datenbank kann MySQL auch zur Textanalyse verwendet werden. In diesem Artikel wird die Verwendung der MySQL-Datenbank für die Textanalyse vorgestellt und entsprechende Codebeispiele bereitgestellt.

1. Datenbank und Tabellen erstellen

Zuerst müssen wir eine MySQL-Datenbank und Tabellen zum Speichern von Textdaten erstellen. Mit der folgenden SQL-Anweisung können Sie eine Datenbank mit dem Namen „analysis“ und eine Tabelle mit dem Namen „text_data“ erstellen.

CREATE DATABASE analysis;
USE analysis;
CREATE TABLE text_data (
    id INT PRIMARY KEY AUTO_INCREMENT,
    content TEXT
);

2. Textdaten importieren

Der nächste Schritt besteht darin, die zu analysierenden Textdaten in die MySQL-Datenbank zu importieren. Dies kann mit der Anweisung LOAD DATA INFILE oder der Anweisung INSERT INTO erreicht werden. LOAD DATA INFILE语句或INSERT INTO语句来实现。

如果文本数据保存在一个CSV文件中，可以使用如下的SQL语句导入数据：

LOAD DATA INFILE 'path/to/text_data.csv'
INTO TABLE text_data
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '
'
IGNORE 1 ROWS;

如果文本数据保存在一个其他类型的文件中，可以使用相应的方法将其读取到内存中，然后使用INSERT INTO

Wenn die Textdaten in einer CSV-Datei gespeichert sind, können Sie die folgende SQL-Anweisung verwenden, um die Daten zu importieren:

SELECT COUNT(*) FROM text_data;

3. Wenn die Textdaten in einer Datei anderen Typs gespeichert sind, können Sie sie mit der entsprechenden Methode lesen in den Speicher, und verwenden Sie dann die Anweisung INSERT INTO, um Daten in die Tabelle einzufügen.

Textanalyse

• Sobald die Daten in die MySQL-Datenbank importiert sind, können Sie SQL-Anweisungen zur Textanalyse verwenden. Im Folgenden sind einige häufig verwendete Textanalyseoperationen und entsprechende Beispiele für SQL-Anweisungen aufgeführt:

Zählen Sie die Anzahl der Texte:

SELECT SUM(LENGTH(content) - LENGTH(REPLACE(content, ' ', '')) + 1) FROM text_data;

Zählen Sie die Anzahl der Wörter:

SELECT * FROM text_data WHERE content LIKE '%keyword%';

Suchen Sie nach Text, der bestimmte Schlüsselwörter enthält:

SELECT word, COUNT(*) AS count FROM (
    SELECT DISTINCT SUBSTRING_INDEX(SUBSTRING_INDEX(content, ' ', n), ' ', -1) AS word
    FROM text_data
    JOIN (
        SELECT 1 AS n UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4
    ) AS numbers
    ON CHAR_LENGTH(content) - CHAR_LENGTH(REPLACE(content, ' ', '')) >= n - 1
) AS words
GROUP BY word
ORDER BY count DESC
LIMIT 10;

Finden Sie die am häufigsten vorkommenden Wörter:

SELECT CONCAT(word1, ' ', word2) AS phrase, COUNT(*) AS count FROM (
    SELECT DISTINCT
        SUBSTRING_INDEX(SUBSTRING_INDEX(content, ' ', n1), ' ', -1) AS word1,
        SUBSTRING_INDEX(SUBSTRING_INDEX(content, ' ', n2), ' ', -1) AS word2
    FROM text_data
    JOIN (
        SELECT a.n + b.n * 10 AS n1, a.n + b.n * 10 + 1 AS n2
        FROM (
            SELECT 1 AS n
            UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL SELECT 5
            UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL SELECT 9
        ) AS a
        CROSS JOIN (
            SELECT 0 AS n UNION ALL SELECT 1 UNION ALL SELECT 2 UNION ALL SELECT 3
        ) AS b
    ) AS numbers
    ON CHAR_LENGTH(content) - CHAR_LENGTH(REPLACE(content, ' ', '')) >= n2 - 1
) AS phrases
GROUP BY phrase
ORDER BY count DESC
LIMIT 10;

Finden Sie die am häufigsten vorkommenden Zwei-Wort-Kombinationen:

import matplotlib.pyplot as plt
import mysql.connector

cnx = mysql.connector.connect(user='your_username', password='your_password',
                              host='localhost',
                              database='analysis')
cursor = cnx.cursor()

query = ("SELECT word, COUNT(*) AS count FROM ("
         "SELECT DISTINCT SUBSTRING_INDEX(SUBSTRING_INDEX(content, ' ', n), ' ', -1) AS word "
         "FROM text_data "
         "JOIN ("
         "SELECT 1 AS n UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4"
         ") AS numbers "
         "ON CHAR_LENGTH(content) - CHAR_LENGTH(REPLACE(content, ' ', '')) >= n - 1"
         ") AS words "
         "GROUP BY word "
         "ORDER BY count DESC "
         "LIMIT 10")

cursor.execute(query)

words = []
counts = []

for (word, count) in cursor:
    words.append(word)
    counts.append(count)

plt.bar(words, counts)
plt.xlabel('Word')
plt.ylabel('Count')
plt.title('Frequency of Top 10 Words')
plt.xticks(rotation=45)
plt.show()

cursor.close()
cnx.close()

Ergebnisanzeige und -visualisierung

Schließlich können wir die Ergebnismenge von MySQL und andere Visualisierungstools wie Pythons Matplotlib verwenden , Tableau usw.), um die Analyseergebnisse anzuzeigen.
Zum Beispiel können Sie den folgenden Python-Code verwenden, um mit Matplotlib ein Histogramm zu erstellen, das die Häufigkeit jedes Wortes anzeigt: 🎜rrreee🎜Das Obige sind die grundlegenden Schritte und Beispielcode für die Textanalyse mithilfe einer MySQL-Datenbank. Ich hoffe, es kann Ihnen bei Ihrer Textanalysearbeit in tatsächlichen Projekten helfen. 🎜

Das obige ist der detaillierte Inhalt vonWie verwende ich die MySQL-Datenbank für die Textanalyse?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!