Node.js を使用してテキストコンテンツを分割し、キーワードを抽出する方法の詳細な説明-jsチュートリアル-php.cn

ホームページ

ウェブフロントエンド

jsチュートリアル

Node.js を使用してテキストコンテンツを分割し、キーワードを抽出する方法の詳細な説明

黄舟

May 28, 2017 am 10:36 AM

この記事では、テキストコンテンツの分割とキーワード抽出のための Node.js の使用法を主に紹介します。必要な友達はそれを参照してください

テクノロジーについて議論する前に、あなたはグルメの世界を理解していません。 ~

Zhongcheng が翻訳した記事にはタグが付いており、タグに基づいて記事をすばやくフィルタリングすることもできます。しかし、現在、中成翻訳の記事を推薦する際に設定されるタグはすべて英語であり、手動設定は必然的に標準化および完全ではありません。記事は公開後に手動で編集できますが、ユーザーや管理者が常に適切なタグを編集することは期待できないため、タグを自動生成するツールを使用する必要があります。

現在オープンソースの単語分割ツールの中で、jieba は強力な機能と優れたパフォーマンスを備えた単語分割コンポーネントです。幸いなことに、ノードバージョンがあります。

nodejieba のインストールと使用方法は非常に簡単です:

npm install nodejieba
var nodejieba = require("nodejieba");
var result = nodejieba.cut("帝国主义要把我们的地瓜分掉");
console.log(result);
//[ &#39;帝国主义&#39;, &#39;要&#39;, &#39;把&#39;, &#39;我们&#39;, &#39;的&#39;, &#39;地&#39;, &#39;瓜分&#39;, &#39;掉&#39; ]
result = nodejieba.cut(&#39;土地，俺老孙的金箍棒在哪里？&#39;);
console.log(result);
//[ &#39;土地&#39;, &#39;，&#39;, &#39;俺&#39;, &#39;老&#39;, &#39;孙&#39;, &#39;的&#39;, &#39;金箍棒&#39;, &#39;在&#39;, &#39;哪里&#39;, &#39;？&#39; ]
result = nodejieba.cut(&#39;大圣，您的金箍棒就棒在特别配您的头型！&#39;);
console.log(result); 
//[ &#39;大圣&#39;,&#39;，&#39;,&#39;您&#39;,&#39;的&#39;,&#39;金箍棒&#39;,&#39;就&#39;,&#39;棒&#39;,&#39;在&#39;,&#39;特别&#39;,&#39;配&#39;,&#39;您&#39;,&#39;的&#39;,&#39;头型&#39;,&#39;！&#39; ]

ログイン後にコピー

独自の辞書をロードし、辞書内の各単語の重みと品詞を設定できます:

user.uft8 を編集
sweet Potato 9999 n
Golden Hoop 9999 n
9999 は素晴らしいです
次に、nodejieba.load を通じて辞書をロードします。

var nodejieba = require("nodejieba");
nodejieba.load({
 userDict: &#39;./user.utf8&#39;,
});
var result = nodejieba.cut("帝国主义要把我们的地瓜分掉");
console.log(result);
//[ &#39;帝国主义&#39;, &#39;要&#39;, &#39;把&#39;, &#39;我们&#39;, &#39;的&#39;, &#39;地瓜&#39;, &#39;分&#39;, &#39;掉&#39; ]
result = nodejieba.cut(&#39;土地，俺老孙的金箍棒在哪里？&#39;);
console.log(result);
//[ &#39;土地&#39;, &#39;，&#39;, &#39;俺&#39;, &#39;老&#39;, &#39;孙&#39;, &#39;的&#39;, &#39;金箍棒&#39;, &#39;在&#39;, &#39;哪里&#39;, &#39;？&#39; ]
result = nodejieba.cut(&#39;大圣，您的金箍棒就棒在特别配您的头型！&#39;);
console.log(result); 
//[ &#39;大圣&#39;, &#39;，&#39;, &#39;您&#39;, &#39;的&#39;, &#39;金箍&#39;, &#39;棒就棒在&#39;, &#39;特别&#39;, &#39;配&#39;, &#39;您&#39;, &#39;的&#39;, &#39;头型&#39;, &#39;！&#39; ]

ログイン後にコピー

単語の分割に加えて、nodejieba を使用して次のキーワードを抽出できます:

const content = `

ログイン後にコピー

HTTP、HTTP/2、パフォーマンスの最適化

この記事の目的は、HTTP から HTTP/2 に移行する必要がある理由を比較を通じて説明することです。 HTTPS、および HTTP/2 のサポートを追加する必要がある理由。 HTTP と HTTP/2 を比較する前に、まず HTTP とは何かを見てみましょう。

HTTP とは

HTTP は、World Wide Web 上の通信のための一連のルールです。 HTTP はアプリケーション層プロトコルであり、TCP/IP 層の最上位で実行されます。ユーザーがブラウザーを通じて Web ページをリクエストすると、HTTP はリクエストを処理し、Web サーバーとクライアント間の接続を確立します。

HTTP/2 を使用すると、スプライト画像、圧縮、またはスプライシングを使用せずにパフォーマンスを向上させることができます。ただし、これらのテクニックを使用すべきではないという意味ではありません。しかし、これは HTTP/1.1 から HTTP/2 に移行する必要があることを明確に示しています。
`;

const nodejieba = require("nodejieba");
const result = nodejieba.extract(content, 20);
console.log(result);

ログイン後にコピー

出力結果は次のようになります:

[ { word: &#39;HTTP&#39;, weight: 140.8704516850025 },
 { word: &#39;请求&#39;, weight: 14.23018001394 },
 { word: &#39;应该&#39;, weight: 14.052171126120001 },
 { word: &#39;万维网&#39;, weight: 12.2912397395 },
 { word: &#39;TCP&#39;, weight: 11.739204307083542 },
 { word: &#39;1.1&#39;, weight: 11.739204307083542 },
 { word: &#39;Web&#39;, weight: 11.739204307083542 },
 { word: &#39;雪碧图&#39;, weight: 11.739204307083542 },
 { word: &#39;HTTPS&#39;, weight: 11.739204307083542 },
 { word: &#39;IP&#39;, weight: 11.739204307083542 },
 { word: &#39;应用层&#39;, weight: 11.2616203224 },
 { word: &#39;客户端&#39;, weight: 11.1926274509 },
 { word: &#39;浏览器&#39;, weight: 10.8561552143 },
 { word: &#39;拼接&#39;, weight: 9.85762638414 },
 { word: &#39;比较&#39;, weight: 9.5435285574 },
 { word: &#39;网页&#39;, weight: 9.53122979951 },
 { word: &#39;服务器&#39;, weight: 9.41204128224 },
 { word: &#39;使用&#39;, weight: 9.03259988558 },
 { word: &#39;必要性&#39;, weight: 8.81927328699 },
 { word: &#39;添加&#39;, weight: 8.0484751722 } ]

ログイン後にコピー

辞書にいくつかの新しいキーワードを追加します:

パフォーマンス
HTTP/2

出力結果は次のようになります:

[ { word: &#39;HTTP&#39;, weight: 105.65283876375187 },
 { word: &#39;HTTP/2&#39;, weight: 58.69602153541771 },
 { word: &#39;请求&#39;, weight: 14.23018001394 },
 { word: &#39;应该&#39;, weight: 14.052171126120001 },
 { word: &#39;性能&#39;, weight: 12.61259281884 },
 { word: &#39;万维网&#39;, weight: 12.2912397395 },
 { word: &#39;IP&#39;, weight: 11.739204307083542 },
 { word: &#39;HTTPS&#39;, weight: 11.739204307083542 },
 { word: &#39;1.1&#39;, weight: 11.739204307083542 },
 { word: &#39;TCP&#39;, weight: 11.739204307083542 },
 { word: &#39;Web&#39;, weight: 11.739204307083542 },
 { word: &#39;雪碧图&#39;, weight: 11.739204307083542 },
 { word: &#39;应用层&#39;, weight: 11.2616203224 },
 { word: &#39;客户端&#39;, weight: 11.1926274509 },
 { word: &#39;浏览器&#39;, weight: 10.8561552143 },
 { word: &#39;拼接&#39;, weight: 9.85762638414 },
 { word: &#39;比较&#39;, weight: 9.5435285574 },
 { word: &#39;网页&#39;, weight: 9.53122979951 },
 { word: &#39;服务器&#39;, weight: 9.41204128224 },
 { word: &#39;使用&#39;, weight: 9.03259988558 } ]

ログイン後にコピー

これに基づいて、ホワイトリスト方式では、タグとして使用できるいくつかの単語が除外されます:

const content = `

ログイン後にコピー

HTTP、HTTP/2、パフォーマンスの最適化

この記事の目的は、HTTP から移行する必要がある理由を比較を通じて説明することです。 HTTPS への追加と、HTTP/2 のサポートを追加する必要がある理由。 HTTP と HTTP/2 を比較する前に、まず HTTP とは何かを見てみましょう。

HTTP とは

HTTP は、World Wide Web 上の通信のための一連のルールです。 HTTP は、TCP/IP 層の最上位で実行されるアプリケーション層プロトコルです。ユーザーがブラウザーを通じて Web ページをリクエストすると、HTTP はリクエストを処理し、Web サーバーとクライアント間の接続を確立します。

const nodejieba = require("nodejieba");
nodejieba.load({
 userDict: &#39;./user.utf8&#39;,
});
const result = nodejieba.extract(content, 20);
const tagList = [&#39;HTTPS&#39;, &#39;HTTP&#39;, &#39;HTTP/2&#39;, &#39;Web&#39;, &#39;浏览器&#39;, &#39;性能&#39;];
console.log(result.filter(item => tagList.indexOf(item.word) >= 0));

ログイン後にコピー

最後に、次の結果が得られます:

[ { word: &#39;HTTP&#39;, weight: 105.65283876375187 },
 { word: &#39;HTTP/2&#39;, weight: 58.69602153541771 },
 { word: &#39;性能&#39;, weight: 12.61259281884 },
 { word: &#39;HTTPS&#39;, weight: 11.739204307083542 },
 { word: &#39;Web&#39;, weight: 11.739204307083542 },
 { word: &#39;浏览器&#39;, weight: 10.8561552143 } ]

ログイン後にコピー

これが私たちが望む結果です。

上記は単語分割ライブラリnodejiebaの基本的な使用方法であり、将来的にはこれを使用して、Zhongcheng Translationが公開する翻訳を自動的に分析して対応するタグを追加し、翻訳者と読者に優れたユーザーを提供することができます。経験。

以上がNode.js を使用してテキストコンテンツを分割し、キーワードを抽出する方法の詳細な説明の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明

この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

脱衣画像を無料で

Clothoff.io

AI衣類リムーバー

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

神レベルのコード編集ソフト（SublimeText3）

ホットトピック

Gmailメールのログイン入り口はどこですか？

7642

CakePHP チュートリアル

1392

Steamのアカウント名の形式は何ですか

Win11 Activation Key Permanent

NYTの接続はヒントと回答です

150

Related knowledge

Node V8 エンジンのメモリと GC の詳細な図による説明 Mar 29, 2023 pm 06:02 PM

この記事では、NodeJS V8 エンジンのメモリとガベージコレクター (GC) について詳しく説明します。

Nodeのメモリ制御に関する記事 Apr 26, 2023 pm 05:37 PM

ノンブロッキングおよびイベント駆動に基づいて構築されたノードサービスには、メモリ消費量が少ないという利点があり、大量のネットワークリクエストの処理に非常に適しています。大量のリクエストを前提として、「メモリ制御」に関する問題を考慮する必要があります。 1. V8 のガベージコレクションメカニズムとメモリ制限 Js はガベージコレクションマシンによって制御されます

最適な Node.js Docker イメージを選択する方法について話しましょう。 Dec 13, 2022 pm 08:00 PM

ノード用の Docker イメージの選択は些細なことのように思えるかもしれませんが、イメージのサイズと潜在的な脆弱性は、CI/CD プロセスとセキュリティに大きな影響を与える可能性があります。では、最適な Node.js Docker イメージを選択するにはどうすればよいでしょうか?

Node の File モジュールについて詳しく説明しましょう Apr 24, 2023 pm 05:49 PM

ファイルモジュールは、ファイルの読み取り/書き込み/開く/閉じる/削除の追加など、基礎となるファイル操作をカプセル化したものです。ファイルモジュールの最大の特徴は、すべてのメソッドが **同期** と ** の 2 つのバージョンを提供することです。 asynchronous**、sync サフィックスが付いているメソッドはすべて同期メソッドであり、持たないメソッドはすべて異種メソッドです。

Node.js 19 が正式リリースされました。その 6 つの主要な機能についてお話しましょう。 Nov 16, 2022 pm 08:34 PM

Node 19 が正式リリースされましたので、この記事では Node.js 19 の 6 つの主要な機能について詳しく説明します。

Node.js の GC (ガベージコレクション) メカニズムについて話しましょう Nov 29, 2022 pm 08:44 PM

Node.js はどのように GC (ガベージコレクション) を行うのでしょうか?次の記事で詳しく説明します。

Nodeのイベントループについて話しましょう Apr 11, 2023 pm 07:08 PM

イベントループは Node.js の基本的な部分であり、メインスレッドがブロックされていないことを確認することで非同期プログラミングが可能になります。イベントループを理解することは、効率的なアプリケーションを構築するために重要です。次の記事では、Node のイベントループについて詳しく説明します。お役に立てれば幸いです。