Python中的文字分類實例-Python教學-PHP中文網

Python中的文字分類實例

PHPz

發布： 2023-06-09 20:22:37

原創

1472 人瀏覽過

Python中的文字分類實例

隨著人工智慧和自然語言處理技術的發展，文字分類成為了廣泛應用的技術之一，它可以在自然語言處理任務中發揮重要作用。 Python作為一種流行的程式語言，其強大的自然語言處理庫和機器學習庫，如NLTK、Scikit-learn和Tensorflow等，使得文本分類在Python中變得非常容易實現。

本文將介紹Python文本分類的實例，並透過實例示範如何使用Python進行文字分類。

資料收集與預處理

在進行文字分類之前，需要收集、清洗和預處理資料。這裡我們將使用一個情感分析任務的資料集作為實例。此資料集包含兩個類別的電影評論，分別代表正面和負面情感。資料集來自電影評論網站IMDb，可在 http://ai.stanford.edu/~amaas/data/sentiment/ 中下載。

資料集中的每個評論都是一個文字文件，其中的標籤為文件名稱中的pos或neg。我們可以使用Python的os庫來讀取文件，然後將文字和標籤存入一個Pandas的DataFrame中，方便後續的處理。

import os
import pandas as pd

# 读取文件
def read_data(folder):
    files = os.listdir(folder)
    data = {'text': [], 'sentiment': []}
    for file in files:
        with open(os.path.join(folder, file), 'r') as f:
            data['text'].append(f.read())
            data['sentiment'].append(file.split('.')[0])
    return pd.DataFrame.from_dict(data)

# 读取数据集
train_folder = 'aclImdb/train'
test_folder = 'aclImdb/test'
train_data = read_data(train_folder)
test_data = read_data(test_folder)

登入後複製

然後，我們可以使用Pandas的groupby方法，統計資料集中文字長度和情緒標籤的佔比。

# 统计文本长度
train_data['text_len'] = train_data['text'].apply(len)
test_data['text_len'] = test_data['text'].apply(len)

# 统计情感标签比例
train_sentiment_pct = train_data.groupby('sentiment').size() / len(train_data)
test_sentiment_pct = test_data.groupby('sentiment').size() / len(test_data)
print('Train Sentiment Distribution: 
{}
'.format(train_sentiment_pct))
print('Test Sentiment Distribution: 
{}
'.format(test_sentiment_pct))

登入後複製

運行以上程式碼，我們可以看到資料集中正面和負面評論的數量大致相同，情緒標籤分佈均勻。

特徵提取

在進行文字分類之前，需要將文字轉換為電腦可以理解的形式。這裡我們將使用詞袋模型來進行特徵提取。

詞袋模型是基於一個假設：文本中的每個詞的重要性都是相等的，因此將文本中所有的單字都提取出來，形成一個詞彙表（vocabulary），然後將每個文字表示為一個向量，向量的每個元素代表該字在該文字中出現的次數。

在Scikit-learn中，可以使用CountVectorizer來進行特徵提取。

from sklearn.feature_extraction.text import CountVectorizer

# 创建CountVectorizer对象
vectorizer = CountVectorizer(stop_words='english')

# 将文本转换为向量
train_features = vectorizer.fit_transform(train_data['text'])
test_features = vectorizer.transform(test_data['text'])

# 打印特征维度
print('Train Feature Dimension: {}'.format(train_features.shape))
print('Test  Feature Dimension: {}'.format(test_features.shape))

登入後複製

以上程式碼將文字轉換為了向量，每個文字都是一個維度為詞彙表大小的稀疏向量。可以看到，該資料集中共有25萬個特徵，維度非常高。

模型訓練和評估

使用Scikit-learn中的多個分類器進行訓練和評估。這裡我們將使用邏輯迴歸分類器、樸素貝葉斯分類器、支援向量機分類器和隨機森林分類器，看看哪個分類器效能最好。

from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import MultinomialNB
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import f1_score, accuracy_score

# 训练和评估函数
def train_and_evalute(classifier, train_features, train_labels, test_features, test_labels):
    # 训练分类器
    classifier.fit(train_features, train_labels)

    # 在训练集和测试集上计算F1分数和准确率
    train_predictions = classifier.predict(train_features)
    test_predictions = classifier.predict(test_features)
    train_f1 = f1_score(train_labels, train_predictions, pos_label='pos')
    test_f1 = f1_score(test_labels, test_predictions, pos_label='pos')
    train_accuracy = accuracy_score(train_labels, train_predictions)
    test_accuracy = accuracy_score(test_labels, test_predictions)

    # 打印评估结果
    print('Train F1 Score: {0:.3f}'.format(train_f1))
    print('Test  F1 Score: {0:.3f}'.format(test_f1))
    print('Train Accuracy: {0:.3f}'.format(train_accuracy))
    print('Test  Accuracy: {0:.3f}'.format(test_accuracy))

# 训练和评估各个分类器
classifiers = [
    ('Logistic Regression', LogisticRegression(max_iter=1000)),
    ('Multinomial Naive Bayes', MultinomialNB()),
    ('Support Vector Machine', SVC(kernel='linear')),
    ('Random Forest', RandomForestClassifier(n_estimators=100))
]
for classifier_name, classifier in classifiers:
    print('
{}'.format(classifier_name))
    train_and_evalute(classifier, train_features, train_data['sentiment'], test_features, test_data['sentiment'])

登入後複製

以上程式碼使用了訓練集和測試集對各個分類器進行了評估。我們可以看到，樸素貝葉斯分類器在訓練集和測試集上表現都非常好，達到了0.87的F1分數和0.85的準確率。其他分類器的性能略遜一籌，但也都表現良好。