ホームページ バックエンド開発 Python チュートリアル TF-IDF とコサイン類似度を使用してテキストの類似性を測定するにはどうすればよいですか?

TF-IDF とコサイン類似度を使用してテキストの類似性を測定するにはどうすればよいですか?

Oct 23, 2024 am 06:53 AM

How to Measure Text Similarity using TF-IDF and Cosine Similarity?

TF-IDF とコサイン類似度によるテキストの類似性の測定

2 つのテキスト文書間の類似性の判定は、テキスト マイニングと情報において重要なタスクです検索。一般的なアプローチの 1 つは、TF-IDF (用語周波数-逆文書周波数)コサイン類似度 を利用することです。

TF-IDF は重みを割り当てます。文書内の各単語は、その文書内の頻度と文書コーパス全体での希少性に基づいて決定されます。類似した単語パターンを持つドキュメントは、より高い TF-IDF ベクトルを共有します。

コサイン類似度 は 2 つのベクトル間の角度を測定し、0 (類似性なし) と 1 (完全な類似性) の間の値を提供します。この例では、2 つのドキュメントの TF-IDF ベクトルがこれらのベクトルを形成し、コサイン類似度によってそれらの角度が定量化されます。

Python の実装

Python では、 scikit-learn および Gensim パッケージでは、ペアごとの類似性の計算は簡単です:

<code class="python">from sklearn.feature_extraction.text import TfidfVectorizer

documents = [open(f).read() for f in text_files]
tfidf = TfidfVectorizer().fit_transform(documents)
pairwise_similarity = tfidf * tfidf.T</code>
ログイン後にコピー

または、ドキュメントがすでに文字列である場合は、次を使用します:

<code class="python">corpus = ["I'd like an apple", "An apple a day keeps the doctor away", "..."]
vect = TfidfVectorizer(min_df=1, stop_words="english")
tfidf = vect.fit_transform(corpus)
pairwise_similarity = tfidf * tfidf.T</code>
ログイン後にコピー

結果の解釈

pairwise_similarity は、各ドキュメント ペア間の類似性を表すスパース行列です。特定のドキュメントに最も類似したドキュメントを見つけるには、ドキュメント自体との類似性をマスクし (NaN に設定し)、np.nanargmax():

<code class="python">import numpy as np

arr = pairwise_similarity.toarray()
np.fill_diagonal(arr, np.nan)
input_doc = "The scikit-learn docs are Orange and Blue"
input_idx = corpus.index(input_doc)
result_idx = np.nanargmax(arr[input_idx])
similar_doc = corpus[result_idx]</code>
ログイン後にコピー

その他の考慮事項

大規模なコーパスや語彙の場合、NumPy 配列に変換するよりもスパース行列を使用する方が効率的です。

最小ドキュメントの min_df など、TfidfVectorizer のパラメーターを調整することで、

追加リソース

    [情報検索の概要](http://infolab) .stanford.edu/~backrub/classes/2002/cs276/handouts/04-tfidf.pdf)
  • [Gensim を使用したペアワイズ類似度の計算](https://stackoverflow.com/questions/23752770/computing- gensim とのペアワイズ類似点)

以上がTF-IDF とコサイン類似度を使用してテキストの類似性を測定するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットな記事タグ

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

HTMLを解析するために美しいスープを使用するにはどうすればよいですか? HTMLを解析するために美しいスープを使用するにはどうすればよいですか? Mar 10, 2025 pm 06:54 PM

HTMLを解析するために美しいスープを使用するにはどうすればよいですか?

Pythonでファイルをダウンロードする方法 Pythonでファイルをダウンロードする方法 Mar 01, 2025 am 10:03 AM

Pythonでファイルをダウンロードする方法

Pythonでの画像フィルタリング Pythonでの画像フィルタリング Mar 03, 2025 am 09:44 AM

Pythonでの画像フィルタリング

Pythonを使用してテキストファイルのZIPF配布を見つける方法 Pythonを使用してテキストファイルのZIPF配布を見つける方法 Mar 05, 2025 am 09:58 AM

Pythonを使用してテキストファイルのZIPF配布を見つける方法

Pythonを使用してPDFドキュメントの操作方法 Pythonを使用してPDFドキュメントの操作方法 Mar 02, 2025 am 09:54 AM

Pythonを使用してPDFドキュメントの操作方法

DjangoアプリケーションでRedisを使用してキャッシュする方法 DjangoアプリケーションでRedisを使用してキャッシュする方法 Mar 02, 2025 am 10:10 AM

DjangoアプリケーションでRedisを使用してキャッシュする方法

TensorflowまたはPytorchで深い学習を実行する方法は? TensorflowまたはPytorchで深い学習を実行する方法は? Mar 10, 2025 pm 06:52 PM

TensorflowまたはPytorchで深い学習を実行する方法は?

Pythonで独自のデータ構造を実装する方法 Pythonで独自のデータ構造を実装する方法 Mar 03, 2025 am 09:28 AM

Pythonで独自のデータ構造を実装する方法

See all articles