オープンソースとクローズドソースのモデル「カオス」：どのエージェントが人間の真の意図を最もよく垣間見ることができるか見てみましょう

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。送信メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

この記事の最初の著者は、清華大学コンピューターサイエンス学部の学部生、Qian Cheng と He Bingxiang です。二人ともTHUNLPのメンバーです。 Qian Cheng の主な研究対象は、ツール学習と大規模モデル駆動エージェントであり、現在 UIUC で博士号取得を目指しています。 He Bingxiang 氏の主な研究対象は大規模モデルのアライメントとセキュリティであり、まもなく清華大学で博士号取得に向けて勉強する予定です。この記事の責任著者はCong Xin氏とLin Yankai氏、監修者はLiu Zhiyuan准教授です。

今日、人工知能の急速な発展に伴い、私たちは常に機械の知能を研究していますが、これらの知的なエージェントが私たち、つまりその作成者をどのように深く理解しているかを無視することがよくあります。私たち人間が人生で行うすべてのやり取り、すべての言葉、すべての行動は、意図と感情で満たされています。しかし、本当の課題は、これらの暗黙の意図がエージェントによってどのように捕捉され、解析され、反応されるのかということです。従来のインテリジェント エージェントは、明示的なコマンドには迅速に応答しますが、人間の複雑な暗黙の意図を理解できないことがよくあります。

近年、GPT や LLaMA などの言語モデルは、複雑なタスクを解決する際に驚くべき機能を実証してきました。しかし、それらを中核とするエージェントは、戦略の策定とタスクの実行には優れていますが、堅牢なユーザー インタラクション戦略を考慮していることはほとんどありません。ユーザーから与えられるタスクは通常、曖昧で短いため、エージェントは文字通りのリクエストを理解するだけでなく、暗黙の意図を見抜く必要があります。

したがって、新世代のインテリジェント エージェントが実装され、一般に使用されるためには、タスク実行の正確さだけでなく、より自然なタスク実行を確立する方法にも焦点を当て、人間中心である必要があります。 、人間とのスムーズで豊かな関係、洞察力のあるコミュニケーションスタイル。

この不足を補うために、清華大学、人民大学、テンセントの共同チームは最近、新しいインテリジェントエージェントインタラクションデザインプランを提案しました。この研究では、ユーザーとの明示的なインタラクションを通じてユーザーの暗黙の意図を理解することを目的とした新しいベンチマークである Intention-in-Interaction (IN3) を初めて導入します。

Mistral-7B をフレームワークとして使用し、IN3 トレーニングに基づいて、Mistral-Interact は、下流エージェントのタスク実行を開始する前に、タスクの曖昧さを積極的に評価し、ユーザーの意図を照会し、実行可能な目標に絞り込むことができます。この記事では、モデルを XAgent フレームワークに埋め込んだ後、完全にステートフルなエージェント システムの包括的な評価を実施します。

その結果、このソリューションは、あいまいなユーザー タスクの特定、重要な欠落情報の回復と要約、正確かつ必要なエージェント実行目標の設定、冗長ツールの使用の削減において優れたパフォーマンスを発揮することがわかりました。この革新的な方法は、インテリジェント エージェントとユーザーの間の対話のギャップを埋め、真に人間をインテリジェント エージェント設計の中心に据えるだけでなく、より整合性の高いインテリジェント エージェントを設計するという目標に一歩近づいたことも意味します。人間の意図を持って。

• 論文のタイトル: もっと詳しく!言語モデル駆動エージェントの暗黙的なユーザー意図の理解に向けて
• 論文のリンク: https://arxiv.org/abs/2402.09205
• コードリポジトリ: https ://github.com/HBX-hbx/Mistral-Interact
• オープンソース モデル: https://huggingface.co/hbx/Mistral-Interact
• オープン ソース データセット: https://huggingface.co / データセット/hbx/IN3

fuzzyタスクとクリアタスクの実行の比較評価指標の不完全性を考慮して、この研究では、明確なタスクの曖昧さの判断とユーザーの意図の理解を通じてエージェントの対話能力を評価することを目的とした Intention-in-Interaction (IN3) ベンチマークを開発しました。

.構築プロセス

上の図に示すように、人間の書き込みに基づくシード タスクはステップ 1 です。モデルは、データセットからサンプリングしながら新しいタスクを繰り返し生成してデータセットを強化します。データセットを次の生成ラウンドの新しいサンプルとして使用します (ステップ 2)。この自己指示生成メソッドの後、各タスクのあいまいさ、欠落している詳細、各詳細の重要性、および潜在的なオプションに手動で注釈が付けられます (ステップ 3)。

Mistral-Interact トレーニング プロセス

大規模な言語モデルがエージェント設計の中核であるため、この作業ではまず、インタラクションにおける現在のオープン ソース モデルとクローズド ソース モデルの暗黙的なパフォーマンスを評価するための予備調査を実施しました。プロセスの意図を理解する能力。

具体的には、この記事は IN3 から 10 個のタスクをランダムに選択し、それらを LLaMA-2-7B-Chat、Mistral-7B-Instruct-v0.2、および GPT-4 のテストに適用し、これらのモデルを示しています (i) の曖昧性を決定します。 ii) タスクがあいまいな場合は、ユーザーに不足している詳細を尋ねます。iii) 詳細なユーザー タスクを要約します。

人間の意図の問題については理解が足りません。対照的に、GPT-4 は、タスクの曖昧さと重要な欠落した詳細の点で人間の意図に最も近いものです。同時に、予備的な調査により、インタラクションにおける暗黙の意図を理解するエージェントの能力をさらに向上させるには、単純なプロンプト エンジニアリングだけでは不十分であることもわかりました。この目標を達成するには、現在のオープンソース モデルに基づいてさらにトレーニングする必要があります。インテリジェントエージェントの適用度。

trainingデータの構築プロセス（IN3会話記録）会話には、いくつかの戦略 (オレンジ色のボックス) が記録されています。これには、明確な最初の推論チェーンの構築、提案されたオプションを含むクエリの構築、さまざまなユーザー応答トーンの構築、推論チェーンの明確な要約の構築が含まれます。これらの対話構築戦略は、ターゲット モデルのクエリおよび推論能力をより適切に刺激します。

エージェント対話能力の包括的な評価

エージェントの暗黙的意図理解能力は、ユーザー対話を通じて直接評価することも、下流タスクを実行するエージェントを通じて間接的に評価することもできます。その中で、ユーザー インタラクションは意図の理解自体に焦点を当てますが、タスクの実行は意図の理解の最終目標、つまりエージェントのタスク処理能力を向上させることに焦点を当てます。

したがって、対話型エージェントの設計を包括的に評価するために、この記事では実験を次の 2 つの部分に分けます: i)

命令理解

: ユーザー対話中のエージェントの意図理解能力を評価する; ii)
命令実行

:インタラクションモデルを統合した後、エージェントのタスク実行パフォーマンスを評価します。

命令の理解にはリアルタイムのエージェントの実行は含まれないため、この記事では、対話プロセス中にさまざまな言語モデルのパフォーマンスを直接評価し、エージェント設計の上流モジュールとしての対話機能を決定します。結果は次のとおりです。表示:

このうち、矢印は、タスクの曖昧さの判断や欠落している詳細の網羅性などの指標で最も優れたパフォーマンスを発揮することを示します。ユーザーの詳細な意図に基づいた、明確かつ包括的な概要。他のオープンソース モデルと比較して、Mistral-Interact は、あいまいなタスクで欠落している詳細を求めるためのより合理的なオプションを提供でき、クエリ方法はより使いやすく、そのパフォーマンスは GPT-4 に匹敵します。

命令実行の観点から、エージェントタスク実行における暗黙的意図理解の有効性を評価するために、この記事では上流対話モジュールとして Mistral-Interact をテスト用の XAgent フレームワークに統合しています。その中で、XAgent はネットワーク検索、コード実行、コマンド ライン、ファイル システムなどの環境で対話できます。

命令実行テストの結果 (ST はサブタスク、MS はマイルストーンを表します)

定量的評価の結果は、Mistral-Interact の統合が以下に役立つことを示しています: i) 実行プロセス中に不必要な目標を設定しないようにする, ii) エージェントの実行プロセスをユーザーの詳細な意図とより一致させ、iii) 不要なツール呼び出しを削減し、エージェントツールの使用効率を促進します。

エージェント インタラクション ケース分析

コマンドの理解という観点から、さまざまな対話シナリオにおける Mistral-Interact の堅牢性をさらに実証するために、この記事では 3 つのケース分析も提供しています。

^{ミストラルのケーススタディさまざまなシナリオでのユーザーとの対話}

ケース A は、さまざまなユーザーの口調と会話スタイルが Mistral-Interact に与える影響を示しています。記事によると、ユーザーの回答が短いか詳細であるか、熱意があるか冷淡であるか、さらにはスペルミスが含まれているかに関係なく、Mistral-Interact は正確に理解して適切な応答を提供でき、その堅牢性が実証されました。

ケースBでは、ユーザーが非協力的な態度を示したときに、Mistral-Interactが質問を続け、会話を軌道に戻すことができるかどうかがテストされました。その結果、ユーザーが質問を避けた場合でも、会話を効果的にリダイレクトできることがわかりました。

ケース C では、Mistral-Interact がユーザーから提供された追加情報を概要に組み込むことができることがわかりますが、この情報はインタラクション モデルによって明示的に要求されていません。これは、モデルのクエリが欠落している詳細を完全にカバーできない場合、またはユーザーに特定の要件がある場合でも、モデルはすべてのユーザーの意図を合理的かつ包括的に要約でき、よりユーザーフレンドリーになることを示しています。

命令実行の観点からMistral-Interactの役割をより明確に説明するために、以下の図に比較ケーススタディを示します。

^{薄赤色のテキスト} は、XAgent がユーザーのニーズを正確に反映するサブタスクを正確に設定できない場合に表示されます。 紫

とマークされたテキストによると、XAgent がいくつかの不要なサブタスクを設定することが多いことがわかります。これらは、ユーザーのタスクが実行するにはあまりにも曖昧であり、エージェントはユーザーの真の意図と矛盾する不必要な詳細を捏造する傾向があるためです。

対照的に、明確なタスク目標により、XAgent は、Mistral-Interact とのアクティブな対話の後に、より具体的なサブタスクを定式化できます。図内で緑色とマークされたテキストは、この一貫性を示しています。同時に、エージェントの実行プロセスが簡素化され、ツール呼び出しの数が削減されます。これらはすべて、より効率的なエージェント実行プロセスを反映しています。

結論

私たちは新たな出発点に立ち、人間と機械のコラボレーション、相互理解、学習の新たな章を目撃する準備ができています。インテリジェントエージェントは間もなく冷酷な情報処理者ではなくなり、繊細なインタラクティブな体験を通じて最初は明確に表現されなかった私たちのニーズや欲求を深く理解できる共感的なパートナーとなるでしょう。人間中心のインテリジェント エージェント設計におけるこの革命は、インタラクションにおける無限の可能性を明らかにし、インテリジェント エージェントが真に私たちの生活に欠かせない助けとなるでしょう。

以上がオープンソースとクローズドソースのモデル「カオス」：どのエージェントが人間の真の意図を最もよく垣間見ることができるか見てみましょうの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。