JavaScript での自然言語処理とテキスト分析を学ぶ-jsチュートリアル-php.cn

JavaScript での自然言語処理とテキスト分析を学ぶ

WBOY

リリース： 2023-11-03 16:32:09

オリジナル

908 人が閲覧しました

JavaScript での自然言語処理とテキスト分析を学ぶ

JavaScript での自然言語処理とテキスト分析を学習するには、特定のコード例が必要です

自然言語処理 (NLP) は、人工知能とコンピューターサイエンスの分野に関連する分野です。コンピューターと人間の自然言語の間の相互作用を研究しています。今日の情報技術の急速な発展を背景に、NLP はインテリジェントな顧客サービス、機械翻訳、テキストマイニングなどのさまざまな分野で広く使用されています。

フロントエンド開発言語として、JavaScript には NLP およびテキスト分析のアプリケーションライブラリとツールが豊富にあり、開発者に多くの利便性を提供します。この記事では、NLP とテキスト分析に JavaScript を使用する方法と、具体的なコード例を紹介します。

NLP ライブラリの選択

NLP およびテキスト分析に JavaScript を使用する前に、まず適切な NLP ライブラリを選択する必要があります。現在、より一般的な JavaScript NLP ライブラリには、Natural、NLP.js、Compromise などが含まれます。これらのライブラリは、単語ステミング、単語頻度統計、品詞タグ付けなどの豊富な機能を提供します。自分のニーズに応じて、使用する適切なライブラリを選択してください。

Natural ライブラリを例として、まず npm を通じてインストールします。

npm install natural

ログイン後にコピー

テキストの前処理

NLP とテキスト分析を実行する前に、通常、句読点の削除、テキストの小文字への変換など、テキストに対して一連の前処理操作を実行する必要があります。以下は、テキストの前処理に Natural ライブラリを使用する方法を示すサンプルコードです。

const { WordTokenizer } = require('natural');

const tokenizer = new WordTokenizer();
const text = "Hello, world!";
const tokens = tokenizer.tokenize(text.toLowerCase());

console.log(tokens);

ログイン後にコピー

上記のコードでは、WordTokenizer クラスを使用してトークナイザーオブジェクト tokenizer をインスタンス化し、このオブジェクトを使用して単語のセグメンテーションを実行します。テキストに対する操作。同時に、テキストを小文字形式に変換します。上記のコードを実行すると、単語分割後の結果 ["hello", "world"] を取得できます。

テキスト特徴抽出

テキスト分析を実行するときは、通常、テキストを計算可能な特徴ベクトルに変換する必要があります。一般的に使用されるテキスト特徴抽出方法には、Bag of Words や TF-IDF モデルなどがあります。以下は、Natural ライブラリを使用してテキスト特徴抽出を行う方法を示すサンプルコードです。

const { CountVectorizer, TfIdfVectorizer } = require('natural');

const countVectorizer = new CountVectorizer();
const tfidfVectorizer = new TfIdfVectorizer();

const documents = ["This is the first document.", "This document is the second document.", "And this is the third one."];
const countVectors = countVectorizer.fit(documents).transform(documents);
const tfidfVectors = tfidfVectorizer.fit(documents).transform(documents);

console.log(countVectors);
console.log(tfidfVectors);

ログイン後にコピー

上記のコードでは、CountVectorizer クラスと TfIdfVectorizer クラスを使用して、2 つの特徴抽出オブジェクト countVectorizer と tfidfVectorizer をインスタンス化します。 2 つのオブジェクトがテキストに対して特徴抽出操作を実行します。上記のコードを実行すると、bag-of-words モデルと TF-IDF モデルの特徴ベクトルを取得できます。

テキスト分類

テキスト分類は NLP における重要なタスクであり、感情分析やスパムフィルターなどのシナリオで使用できます。 JavaScript では、テキスト分類に TensorFlow.js、Brain.js などのいくつかの機械学習ライブラリを使用できます。以下は、テキスト分類に TensorFlow.js を使用する方法を示すサンプルコードです:

const tf = require('@tensorflow/tfjs');

// 构建模型
const model = tf.sequential();
model.add(tf.layers.dense({units: 64, inputShape: [10], activation: 'relu'}));
model.add(tf.layers.dense({units: 1, activation: 'sigmoid'}));
model.compile({loss: 'binaryCrossentropy', optimizer: 'adam'});

// 准备数据
const x = tf.tensor2d([[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]]);
const y = tf.tensor2d([[1]]);

// 训练模型
model.fit(x, y, {
   epochs: 10,
   callbacks: {
      onEpochEnd: (epoch, logs) => {
         console.log(`Epoch ${epoch}: loss = ${logs.loss}`);
      }
   }
});

// 进行预测
const predictResult = model.predict(x);
console.log(predictResult.dataSync());

ログイン後にコピー

上記のコードでは、TensorFlow.js を使用して単純な 2 分類モデルを構築し、そのモデルをトレーニングに使用します。そして予測。上記のコードを実行すると、学習処理中の損失値と予測結果を出力できます。

概要:

この記事の導入部を通じて、自然言語処理とテキスト分析に JavaScript を使用する方法を学びました。テキストの前処理と特徴抽出に適切な NLP ライブラリを選択し、テキスト分類に機械学習ライブラリを使用すると、さまざまな実際的な問題の解決に役立ちます。ただし、上記のコード例は単なるデモンストレーションであり、実際のアプリケーションではさらに多くの処理と最適化が必要になる場合があることに注意してください。

参考資料: