GPT-4OおよびLanggraphチュートリアル：TNT-LLMアプリケーションを構築します

MicrosoftのTNT-LLM：分類学の生成とテキスト分類の革命

Microsoftは、速度と精度の両方で従来の方法を上回る、分類法の作成とテキスト分類を自動化する画期的なシステムであるTNT-LLMを発表しました。 この革新的なアプローチは、大規模な言語モデル（LLM）の力を活用して、分類剤と分類器の生成を合理化および拡大し、手動介入を最小限に抑えます。 これは、動的で多様なテキストデータの管理が最重要であるBing Copilotのようなアプリケーションにとって特に有益です。 この記事では、効率的なニュース記事クラスタリングのためにGPT-4OとLanggraphを使用したTNT-LLMの実装を示しています。 GPT-4OとLanggraphの詳細については、これらのリソースを参照してください。

Openaiのgpt-4o？

とは何ですか

GPT-4O APIチュートリアル：OpenAIのAPIを始めましょう
langgraphチュートリアル：ランググラフとは何ですか？
元のTNT-LLM研究論文「TNT-LLM：大規模な言語モデルを使用したテキストマイニング」は、システムに関する包括的な詳細を提供します。
• Tnt-llm
を理解します

tnt-llm（大規模な言語モデルを使用した分類法とテキスト分類）は、テキストデータから分類法を生成および分類するために設計された2段階のフレームワークです。

フェーズ1：分類生成

この初期フェーズでは、テキストドキュメントのサンプルと特定の指示を使用します（たとえば、「ニュース記事をクラスターするために分類法を生成する」）。 LLMは各ドキュメントを要約し、重要な情報を抽出します。 反復改良を通じて、LLMは分類法を構築、修正、および改良し、効果的なニュース記事分類のためのラベルの構造化された階層と説明をもたらします。

出典：wan et al。

フェーズ2：テキスト分類

第2フェーズでは、生成された分類法を使用して、より大きなデータセットにラベルを付けます。 LLMはこれらのラベルを適用し、軽量分類器（ロジスティック回帰など）のトレーニングデータを作成します。このトレーニングされた分類器は、データセット全体を効率的にラベル付けするか、リアルタイム分類を実行します。

出典：wan et al。

TNT-LLMの適応性のある性質により、意図の検出やトピックの分類など、さまざまなテキスト分類タスクに適しています。 TNT-llm

の利点

tnt-llmは、大規模なテキストマイニングと分類に大きな利点を提供します：

• 自動化された分類版生成：生のテキストから詳細で解釈可能な分類法の作成を自動化し、広範な手動努力とドメインの専門知識の必要性を排除します。
• スケーラブルな分類：大きなデータセットとリアルタイム分類を効率的に処理する軽量モデルを使用して、スケーラブルなテキスト分類を有効にします。
• 費用対効果：高品質の出力：
繰り返しの分類学的生成により、高品質、関連性、正確な分類が保証されます。
• 最小限の人間の介入：手動入力を減らし、潜在的なバイアスと矛盾を最小限に抑えます。
• 柔軟性：さまざまなテキスト分類タスクとドメインに適応し、さまざまなLLMとの統合、埋め込み方法、および分類器をサポートします。 TNT-llm
の実装
• 段階的な実装ガイドが次のとおりです インストール：

必要なパッケージをインストール：

APIキーとモデル名の環境変数を設定します：

コアコンセプト：

pip install langgraph langchain langchain_openai

ドキュメント：

クラスを使用して構造化された生のテキストデータ（記事、チャットログ）。

export AZURE_OPENAI_API_KEY='your_api_key_here'
export AZURE_OPENAI_MODEL='your_deployment_name_here'
export AZURE_OPENAI_ENDPOINT='deployment_endpoint'

分類法：

クラスによって管理されている分類された意図またはトピックのクラスター。

単純なTNT-LLMアプリケーションの構築：

• 次のセクションでは、コードスニペットを使用して重要なプロセスを説明する実装手順を詳しく説明します。 元のコードの長さにより、ここでの完全な複製は実用的ではありません。 ただし、以下はプロセスの構造化された概要を提供します。 Doc
• ステップ0：グラフ状態クラスを定義し、データセットをロードし、GPT-4Oを初期化します。これには、データ構造の定義とニュース記事データセットのロードが含まれます。 GPT-4Oモデルは、パイプライン全体で使用するために初期化されます。 TaxonomyGenerationState
ステップ1：ドキュメントを要約する：

各ドキュメントはLLMプロンプトを使用して要約されています。

ステップ2：ミニバッチの作成：

要約ドキュメントは、並列処理のためにミニバッチに分割されます。

• ステップ3：初期分類法を生成：最初のミニバッチから初期分類法が生成されます。

• ステップ4：分類法の更新：後続のミニバッチが処理されると、分類法が繰り返し更新されます。

• ステップ5：レビュー分類法：最終的な分類法の正確性と関連性についてレビューされています。

• ステップ6：Tnt-llmパイプラインをStategraphで調整します：a Stategraphは、さまざまなステップの実行を調整します。

• ステップ7：TNT-llmのニュース記事分類法のクラスタリングと表示

結論

TNT-LLMは、大規模なテキストマイニングと分類のための強力で効率的なソリューションを提供します。その自動化機能は、構造化されていないテキストデータの分析に必要な時間とリソースを大幅に削減し、さまざまなドメインでデータ駆動型の意思決定を可能にします。 業界全体のさらなる開発と適用の可能性は実質的です。 さらなるLLMアプリケーション開発に興味がある人には、「Langchainを使用したLLMアプリケーションの開発」に関するコースが推奨されます。

以上がGPT-4OおよびLanggraphチュートリアル：TNT-LLMアプリケーションを構築しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。