清華大学とその他のオープンソース「ツール学習ベンチマーク」ToolBench、微調整モデル ToolLLaMA のパフォーマンスが ChatGPT を上回る

人間には道具を作成し利用する能力があり、それによって身体の限界を突破し、より広い世界を探索することができます。

人工知能の基本モデルも同様で、学習段階で得られた重みだけに頼ると利用シーンが非常に限定されてしまいますが、最近提案されているツール学習は、特定分野の特化したツールと、大規模 基本モデルの組み合わせにより、より高い効率とパフォーマンスを実現できます。

ただし、ツール学習に関する現在の研究は十分に詳しくなく、関連するオープンソース データとコードが不足しています。

最近、清華大学自然言語処理研究所などがサポートするオープンソース コミュニティである OpenBMB (Open Lab for Big Model Base) が、開発者がオープンなモデル ベースを構築するのに役立つ ToolBench プロジェクトをリリースしました。共通のツールを使用できる大規模な言語モデルの構築を容易にする、大規模な高品質の命令チューニング データのソース。

リポジトリ リンク: https://github.com/OpenBMB/ToolBench

ToolBench ウェアハウスは、関連するデータ セット、トレーニングおよび評価スクリプト、ToolBench で微調整された機能モデル ToolLLaMA を提供します。具体的な機能は次のとおりです:

1. 単一ツールと複数のツールをサポートツール ツール ソリューション

単一ツール設定は LangChain プロンプト スタイルに従い、マルチツール設定は AutoGPT プロンプト スタイルに従います。

#2. モデルの応答には、最終的な答えだけでなく、モデルの思考連鎖プロセス、ツールの実行、およびツールの実行結果も含まれます

3. 現実世界レベルの複雑さをサポートし、複数ステップのツール呼び出しをサポート

#4. 気象情報、検索、在庫更新などの現実世界のシナリオに使用できる豊富な API 、PowerPoint オートメーション

5. すべてのデータは OpenAI API によって自動的に生成され、開発チームによってフィルタリングされます。データ作成プロセスは簡単に拡張可能です

##ただし、これまでに公開されたデータは最終的なものではなく、研究者たちはデータの品質を向上させ、現実世界のツールの適用範囲を広げるためにまだデータの後処理を行っているところであることに注意してください。

ToolBench

ToolBench の一般的なアイデアは、BMTools に基づいて教師ありデータで大規模な言語モデルをトレーニングすることです。

ウェアハウスには、312,000 件の実際の API 呼び出しから取得された 9,800 個のデータが含まれており、単一のツール シナリオをカバーしています。およびマルチツールのシナリオでは、以下は単一ツールの統計情報です。

#データの各行は、データ作成用のプロンプト テンプレートを含む json dict です。ツールの使用に関する人間による指示 (クエリ)、中間の思考/ツール実行ループ、および最終的な回答。

Tool Descrition:BMTools Tool_name: translationTool action: get_translationaction_input: {"text": target texts, "tgt_lang": target language}Generated Data:{"prompt": "Answer the following questions as best you can. Specifically, you have access to the following APIs:\n\nget_translation: . Your input should be a json (args json schema): {{\"text\" : string, \"tgt_lang\" : string, }} The Action to trigger this API should be get_translation and the input parameters should be a json dict string. Pay attention to the type of parameters.\n\nUse the following format:\n\nQuestion: the input question you must answer\nThought: you should always think about what to do\nAction: the action to take, should be one of [get_translation]\nAction Input: the input to the action\nObservation: the result of the action\n... (this Thought/Action/Action Input/Observation can repeat N times, max 7 times)\nThought: I now know the final answer\nFinal Answer: the final answer to the original input question\n\nBegin! Remember: (1) Follow the format, i.e,\nThought:\nAction:\nAction Input:\nObservation:\nFinal Answer:\n (2) Provide as much as useful information in your Final Answer. (3) Do not make up anything, and if your Observation has no link, DO NOT hallucihate one. (4) If you have enough information and want to stop the process, please use \nThought: I have got enough information\nFinal Answer: **your response. \n The Action: MUST be one of the following:get_translation\nQuestion: {input}\n Agent scratchpad (history actions):\n {agent_scratchpad}","query": "My intention is to convert the data provided in ما هي الأقسام الثلاثة للقوات المسلحة؟ into Arabic(ara).\n","chains": [{"thought": "I need to use the get_translation API to convert the text into Arabic.","action": "get_translation","action_input": "{\"text\": \"What are the three branches of the military?\", \"tgt_lang\": \"ara\"}","observation": "\"ما هي الفروع الثلاثة للجيش ؟\""}],"answer": "The translation of \"What are the three branches of the military?\" into Arabic is \"ما هي الفروع الثلاثة للجيش ؟\"."}

モデル実​​験

マシン評価: 研究者は、ツール ステップごとに 100 のチェーン ステップをランダムに選択して構築しました平均 27 の最終ステップと 73 の中間ツール呼び出しステップを備えたマシン評価テスト プラットフォーム。最終ステップは Rouge-L メトリックを使用して評価され、中間ステップは ExactMatch メトリックを使用して評価されます。

#手動評価: 天気、地図、ランダムに選択株式、翻訳、化学、WolframAlpha ツールからの 10 個のクエリを実行し、ツール呼び出しプロセスの合格率、最終回答、および ChatGPT の最終回答との比較を評価します。

ChatGPT 評価: ChatGPT を介した LLaMA および ChatGPT の回答とツール使用チェーンの自動評価。

評価結果は以下の通り(スコアが高いほど良好)、さまざまなシナリオにおいてToolLLaMAはChatGPTと同等以上の性能を発揮していることがわかります。

#ツール学習

清華大学にて中国人民大学、人民郵電大学、北京郵電大学など国内外の著名な大学が共同で発表した論文では、ツール学習の体系的な研究が行われ、認知の起源と基本モデルのパラダイムシフト、ツールとモデルの補完的な役割など、ツール学習の背景が紹介されました。

# 論文リンク: https://arxiv.org/pdf/2304.08354.pdf

この記事では、ツール強化学習やツール指向学習などの既存のツール学習研究もレビューし、一般的なツール学習フレームワークを定式化します。ユーザーの指示を理解することから始めて、モデルは複雑なタスクを複数のサブタスクに動的に分解する方法を学習する必要があります。推論を通じて計画を調整し、適切なツールを選択して各サブタスクを効率的に達成します。

この記事では、ツールの使用を改善し、ツール学習の普及を促進するためにモデルをトレーニングする方法についても説明します。

以前の研究では体系的なツール学習評価が欠如していたことを考慮して、研究者らは 17 の代表的なツールを使用して実験を実施し、ツールを巧みに活用する際の現在の基本モデルのパフォーマンスを実証しました。

この論文は、安全で信頼できるツールの使用の確保、基本モデルを使用したツール作成の実装、パーソナライゼーションの困難な問題の解決など、さらなる研究が必要なツール学習におけるいくつかの未解決の問題について説明して終わります。

参考資料:

https://github.com/OpenBMB/ToolBench

以上が清華大学とその他のオープンソース「ツール学習ベンチマーク」ToolBench、微調整モデル ToolLLaMA のパフォーマンスが ChatGPT を上回るの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。