Java を使用したセンチメント分析に基づくインテリジェントなテキスト分類システムを作成する方法

インターネットやソーシャルメディアの発展に伴い、人々はさまざまなテキストデータを生成し続けています。膨大なテキストデータから有用な情報をいかに抽出するかが喫緊の課題となっている。テキスト分類技術としての感情分析は、テキストを自動的に分類し、テキストの感情情報を抽出するのに役立ちます。この記事では、Java を使用して感情分析に基づいたインテリジェントなテキスト分類システムを作成する方法を紹介します。

1. データの取得

まず、感情分析に適したデータをインターネットから取得する必要があります。一般に、クローラ技術により大量のテキストデータを取得できます。これらのテキスト データは、単語の分割、ストップワードの削除、品詞のタグ付けなどの前処理が必要です。この記事では、クローラーと前処理テクノロジについては説明しません。他の関連チュートリアルを参照して学習してください。

2. トレーニング モデル

処理されたテキスト データを取得した後、このデータを使用して感情分析モデルをトレーニングする必要があります。畳み込みニューラル ネットワーク (CNN) やリカレント ニューラル ネットワーク (RNN) などのアルゴリズムなどの深層学習技術の使用を選択できます。 Naive Bayes、サポート ベクター マシン (SVM)、その他のアルゴリズムなどの従来の機械学習手法も使用できます。この記事では、Naive Bayes アルゴリズムを選択します。

ナイーブ ベイズ アルゴリズムは、確率統計に基づく分類アルゴリズムです。すべての特徴が互いに独立しており、各特徴が分類に同じ影響を与えると仮定します (つまり、Naive Bayes の仮定を提示します)。 Java のオープンソース機械学習ライブラリ Weka を使用して、Naive Bayes アルゴリズムのトレーニングを実装できます。

以下は簡単な Java コード実装です:

// 加载训练数据
DataSource source = new DataSource("train.arff");
Instances train = source.getDataSet();
train.setClassIndex(train.numAttributes()-1);

// 构建模型
BayesNet classifier = new BayesNet();
classifier.buildClassifier(train);

// 保存模型
ObjectOutputStream oos = new ObjectOutputStream(
new FileOutputStream("model.bin"));
oos.writeObject(classifier);
oos.flush();
oos.close();

上記のコードでは、まず Weka の DataSource クラスを使用してトレーニング データ ファイルからデータをロードし、次に BayesNet クラスを使用してビルドします。素朴なBaye Siモデル。最後に、後で使用できるようにモデルをファイルに保存します。

3. 新しいテキストを分類する

モデルのトレーニングが完了したら、モデルを使用して新しいテキストを分類し、感情分析を実行できます。以下は、単純な Java コード実装です。

// 加载模型
ObjectInputStream ois = new ObjectInputStream(
new FileInputStream("model.bin"));
BayesNet classifier = (BayesNet) ois.readObject();

// 构建待分类的实例
Instance instance = new DenseInstance(2);
instance.setValue(0, "这个电影真是太好看了！");
instance.setValue(1, "正片太赞，恶评都是骗点击的！");

// 进行分类
double label = classifier.classifyInstance(instance);
System.out.println("分类标签：" + train.classAttribute().value((int)label));

上記のコードでは、まず Java の逆シリアル化テクノロジを使用してモデル ファイルからモデルをロードし、次に分類するインスタンスを構築します。分類されるインスタンスはトレーニング データと同じ属性構造を持つ必要があり、そうでない場合はエラーが発生することに注意してください。最後に、モデルが分類に使用され、分類結果が出力されます。

4. Web アプリケーションへの統合

センチメント分析モデルを Web アプリケーションに統合する場合は、上記のコードを API にカプセル化し、他のコードに Web インターフェイスを提供する必要があります。プログラムは使用できます。

Java は、サーブレット、JAX-RS、Spark など、多くのネットワーク プログラミング ライブラリを提供します。この記事では、Spring Boot と Spring Web によって提供されるテクノロジを使用して、完全な Web アプリケーションを迅速に構築することを選択します。

まず、Spring Boot の Maven プラグインを使用して Web アプリケーションのスケルトンを生成する必要があります。コマンドは次のとおりです。

mvn archetype:generate -DgroupId=com.example -DartifactId=myproject -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false

次に、前述の感情分析モデルを Web アプリケーションに統合します。以下は、単純な Java コードの実装です。

@RestController
public class SentimentAnalysisController {

  private BayesNet classifier;

  public SentimentAnalysisController() {
    // 加载模型
    try {
      ObjectInputStream ois = new ObjectInputStream(
        new FileInputStream("model.bin"));
      classifier = (BayesNet) ois.readObject();
      ois.close();
    } catch (IOException | ClassNotFoundException e) {
      e.printStackTrace();
    }
  }

  @PostMapping("/predict")
  public String predict(@RequestBody Map<String, String> reqBody) {
    String text = reqBody.get("text"); // 获取待分类的文本
    Instance instance = createInstance(text); // 构建待分类的实例
    double label = classifier.classifyInstance(instance); // 进行分类
    return train.classAttribute().value((int)label); // 返回分类结果
  }

  private Instance createInstance(String text) {
    Instance instance = new DenseInstance(1);
    instance.setValue(0, text);
    instance.setDataset(new Instances(createAttributes(), 1));
    return instance;
  }

  private Instances createAttributes() {
    FastVector attributes = new FastVector();
    attributes.addElement(new Attribute("text", (FastVector) null));
    attributes.addElement(new Attribute("class", createClasses()));
    Instances instances = new Instances("data", attributes, 0);
    instances.setClassIndex(1);
    return instances;
  }

  private FastVector createClasses() {
    FastVector classes = new FastVector();
    classes.addElement("positive");
    classes.addElement("negative");
    return classes;
  }

}

上記のコードでは、最初にクラスのコンストラクターに感情分析モデルを読み込みます。次に、分類対象のテキストを受信し、分類結果を返す HTTP POST リクエストのハンドラーを定義します。プロセッサでは、まず分類対象のインスタンスを構築し、次にモデルを使用して分類し、最後に分類結果を返します。

5. デプロイメントとテスト

上記のコードの実装が完了したら、Maven を使用してそれを実行可能な Jar パッケージにパッケージ化し、サーバー上で実行できます。たとえば、次のコマンドを使用して、ローカル コンピュータ上で Web アプリケーションを実行できます。

mvn package
java -jar target/myproject-1.0-SNAPSHOT.jar

その後、Postman や Curl などのツールを使用して、テストする Web アプリケーションに HTTP POST リクエストを送信できます。それ。たとえば、次のコマンドを使用して Web アプリケーションをテストできます。

curl --request POST 
  --url http://localhost:8080/predict 
  --header 'content-type: application/json' 
  --data '{"text": "这个电影真是太好看了！"}'

上記のコマンドの localhost:8080 をサーバーの IP アドレスとポート番号に置き換える必要があることに注意してください。

6. 概要

この記事では、Java を使用して感情分析に基づいたインテリジェントなテキスト分類システムを作成する方法を紹介しました。最初に、感情分析に適したテキスト データを取得し、モデルのトレーニングに Naive Bayes アルゴリズムを使用する方法を説明しました。次に、トレーニングされたモデルを使用して新しいテキストを分類し、センチメント分析する方法を示します。最後に、モデルを Web アプリケーションに統合し、テスト用の HTTP POST リクエストのハンドラーを提供しました。このプログラムは基本的なフレームワークにすぎず、読者は必要に応じて拡張できます。

以上がJava を使用したセンチメント分析に基づくインテリジェントなテキスト分類システムを作成する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。