「独自に進化」できるエージェント？初のエンドツーエンド エージェント シンボリック トレーニング フレームワークはオープンソースです

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

この記事の主な著者は、Waveform Intelligence、浙江大学、および北杭大学の出身です。この共同研究では、Waveform Intelligence の共同創設者兼最高技術責任者 (CTO) である周王春樹氏、浙江大学修士課程 2 年生の Ou Yixin 氏、北杭大学学部 4 年生の丁盛偉氏が共同研究を行っています。この記事の責任著者は Zhou Wang Chunshu 氏と Jiang Yuchen 氏であり、Waveform Intelligence の共同創設者兼 CEO です。

さまざまな大規模モデル API の反復と、さまざまな AI エージェント フレームワークのオープンソースにより、大規模モデルに基づくエージェントは、学術界や産業界で幅広い注目、研究、応用を獲得しています。

大規模モデルベースのエージェント (AI エージェント) は多くのシナリオで良好な結果を達成しており、一部のシナリオでは実際に適用可能ですが、AI エージェントの研究開発の進歩は依然として「専門家」中心に限定されています。 」、または「エンジニアリング中心」のパラダイム。言い換えれば、現在のエージェントの作成と調整のプロセスは依然として、エージェントのプロンプト、ツール、ワークフローを設計する人間の専門家 (アルゴリズム エンジニア) の人的資源と経験にほぼ完全に依存しています。このようなプロセスには時間と労力がかかり、エージェントのこれらの象徴的な要素を学習およびトレーニングするために大量のデータを使用することができない運命にあります。ほとんどのエージェントはクローズドソースの API 呼び出しに依存しており、大規模なモデル ベース自体を最適化することはできません。オープンソースの大規模モデルが使用されている場合でも、ほとんどの AI エージェント アプリケーション シナリオでは、モデル ベース自体の最適化はリソースによって制限されます。計算能力や安定性などの理由により、実際には実装されていません。したがって、現在のインテリジェントエージェントはまだ「エキスパートシステム」の発展段階にあります。

ご存知のとおり、ニューラル ネットワークが機械学習/人工知能の基本パラダイムとなった重要な理由は、複雑な構造や学習を手動で設計する必要がなく、トレーニングや最適化に大量のデータを効率的に使用できるためです。アルゴリズム。したがって、Waveform Intelligence の研究者は、AI エージェントの専門家中心からデータ中心への変革は、大規模なモデルに基づいたインテリジェント エージェントの重要な発展になると考えています。

この目標を達成するために、Waveform Intelligence の研究チームは、ニューラル ネットワークをトレーニングするためのコネクショニスト学習 (コネクショニスト学習) の基本的な方法、つまりバックプロパゲーションと勾配降下法を利用して、AI エージェントとニューラル ネットワークを類推し、テキストとラージ モデルを使用して損失関数、勾配、オプティマイザーをモデル化し、バックプロパゲーションと勾配降下法アルゴリズムをシミュレートし、エージェントのエンドツーエンドのシンボリック トレーニング アルゴリズムを実装し、AI エージェントのエンドツーエンドのトレーニング用のアルゴリズム セットを構築します。フレームワークとコードは GitHub でオープンソース化されています。

• 論文アドレス: https://arxiv.org/pdf/2406.18532
• コードリポジトリ: https://github.com/aiwaves-cn/agents

同盟者は言ったチームはまず、大規模なモデルベースのエージェントを 3 つの主要な要素、つまりプロンプト、ツール、エージェント パイプライン (ワークフロー) に分解しました。次に、フレームワークでは、エージェント システムは「シンボリック」ニューラル ネットワークとみなされ、エージェント ワークフローの各ノードはネットワークのレイヤーとみなされ、各ノードのプロンプトとツールはこのようにみなされます。エージェントの層とワークフロー/パイプラインはネットワークの計算グラフとみなすことができます。このように、エージェント システムは、重みが数値/テンソル空間から離散記号空間 (テキストとコードは記号表現) に変化するニューラル ネットワークとみなすことができ、この種のネットワークのトレーニングでは、従来の最適化手法を自然に参照できます。ニューラル ネットワークの、つまりバックプロパゲーションと勾配降下法。

️図 1: エージェントのシンボリック学習フレームワーク図

ゲーションと勾配降下法を使用してシンボリック重み空間を処理します。エージェントのシンボリック学習フレームワークは、テキストと大きなモデル + プロンプト ワードを使用します。このアプローチでは、損失がモデル化されます。損失関数、逆伝播プロセス、勾配、勾配ベースのオプティマイザー。具体的には、順伝播プロセス中に、フレームワークは各層の入力、重み、出力を計算グラフに保存します。次に、大規模モデル + プロンプトワードの方法により、現在のサンプルの入力、出力、タスク全体の説明がプロンプトワードに結合され、大規模言語モデルがタスク完了の評価と概要を出力します。現在のサンプルタスク。得られたテキスト形式の評価/要約は、ニューラルネットワークにおける損失と同様に、タスク完了の品質を測定するために使用されます。研究チームはこれを「テキスト形式の損失」、つまり言語ベースの損失と呼んでいます。

その後、研究では大規模な言語モデルと慎重に設計されたプロンプトワードエンジニアリングを使用して、エージェントプロセスの最後のノードで「リフレクション」を生成します。反映には、要件をよりよく満たすためにモデルの出力をどのように変更する必要があるか、出力をそのような方向に変更するためにプロンプ​​ト ワードやツール呼び出しをどのように最適化する必要があるかが含まれます。この内容は、ニューラル ネットワークの最適化における勾配の役割とまったく同じです。どちらにも、モデル全体の損失を最小限に抑えるためにパラメーターをどのように調整する必要があるかに関する情報が含まれています。そのため、研究チームはこの反映を「テキスト勾配」と呼んでいます。 、言語ベースのグラデーション。

次に行うことは、各層の後ろから前への勾配を取得することです。これはニューラル ネットワークの最適化にとって重要です。 Waveform Intelligence の研究者は、ニューラル ネットワークにおける連鎖ルールベースの式のバックプロパゲーションにインスピレーションを得て、テキストと大規模なモデルを通じて慎重に設計された一連のプロンプトを使用して、従来のニューラル ネットワーク最適化の連鎖ルールをシミュレートしました。具体的には、このプロンプトのセットにより、前の層の勾配情報 (つまり、前の層によって実行されたタスクの反映) と、この層の入力、出力、および重み (これらの入力は対応するバックプロパゲーション式のパラメーターと完全に一致し、現在のノードのプロンプト/ツールの使用状況、つまり現在のレイヤーの言語ベースの勾配に関する反映を出力します。このテキストベースの逆伝播スキームにより、この研究では、複数のノードと複雑なワークフローを含むエージェント内の各ノード/レイヤーのパラメーターの勾配を取得し、エージェント全体の各プロンプトとツールを直接最適化することができ、それによってパフォーマンスの役割を実現できます。エンドツーエンドの共同最適化を実現します。

最後に、各パラメーターセットの言語ベースの勾配を取得した後、フレームワークは、慎重に設計されたプロンプト、各レイヤーのプロンプトワードとツール呼び出し、およびテキストベースの勾配を使用して、大規模なモデルに基づくオプティマイザーを使用します。入力として、最適化されたプロンプトとツールが出力され、エージェントのパラメーターが更新されます。

さらに、このフレームワークはネットワーク構造、つまりエージェントのワークフローの最適化もサポートしています。具体的には、このフレームワークはエージェントのワークフローを特定のプログラミング言語で表現するため、エージェント ネットワークの「計算グラフ」も記号的な重みに処理されます。次に、個別に設計された大規模モデルベースのオプティマイザーを通じて、現在のエージェントのワークフローと、ワークフロー内の各ノードのテキスト形式のグラデーションを入力として使用して、エージェントのワークフローが更新されます。これは、ニューラル ネットワーク学習におけるネットワーク構造の自動探索に関する研究に例えることができます。図3大規模なモデル評価タスクに関する実験結果️図 4 エージェントレベルの評価タスクの実験結果

インテリジェンスの研究者は、図 3 と図 4 に示すように、大規模なモデルとエージェントの一連のベンチマークでアルゴリズムを評価しました。エージェントがシンボリックであることを示しています。 DSpy や学習機能のない従来のエージェント フレームワークと比較して、学習はさまざまなタスクで大幅に向上しており、一部のタスクでは GPT-3.5 を使用して他のエージェント フレームワークと同等のパフォーマンスを得ることができます。ただし、エージェントの各ノードのプロンプト ワードに対して、大規模な言語モデルに基づくローカル プロンプト ワード自動最適化アルゴリズム (AutoPE) を使用するだけでは、明らかな結果を達成することはできません。さらに、図 5 に示すように、クリエイティブ ライティング タスクでは、アルゴリズムが 1 つのプロンプト ワードのみに基づいて書き込みを行う初期の単一ノード エージェントから、書き込み + 編集をサポートするワークフローに独自に進化し、プロンプト ワードの書き込みノードが更新され、最適化されました。 S 図 5 エージェント記号学習フレームワーク 学習効果 効果 (創造的な執筆タスクを例として取り上げます)

波形インテリジェンスの研究チームは、エージェント記号学習の 2 つの応用シナリオを紹介しました。まず、開発者や研究者はこのフレームワークを使用して、エージェント システムを作成および調整できます。ニューラル ネットワークのトレーニングと同様に、開発者や研究者は、指定されたタスクに対して多数のサンプルを収集 (またはフレームワークで提供される自動生成を使用) し、フレームワークを使用して大規模な環境での「データ中心」エージェントのトレーニングを完了できます。通常のエージェントの展開と同様に、トレーニングと最適化の後、最適化されたエージェントが実稼働環境に静的に展開されます。

さらに、このフレームワークのもう 1 つの重要なアプリケーション シナリオは、環境/インタラクションの中で自律的に進化できるエージェントをサポートすることです。具体的には、トレーニング フレームワーク自体は、複雑な GPU ベースのトレーニングやデプロイを必要とせずに、大規模なモデルの機能を呼び出すだけでよいため、エージェントは、環境を探索することによって、または対話の過程で呼び出すことができるツールとしてトレーニング フレームワークを使用できます。人間の場合、新しいトレーニング サンプルを継続的に収集し、エージェント トレーニング用のアルゴリズム ツールを定期的または積極的に呼び出し、独自のプロンプト、ツール、ワークフローを更新します。 Waveform Intelligence は、AIWaves Agent のオープン ソース コード ベースでもそのような展開ロジックをサポートし、実際の製品や運用環境に展開された後も独立して進化し反復し続けることができる初のエージェント システムを実現します。

エージェント シンボリック学習フレームワークは、AI エージェントを、複雑なワークフローのプロンプトとツールによって接続されたシンボリックな「ニューラル ネットワーク」とみなします。自然言語に基づいてバックプロパゲーションと勾配降下法をシミュレートすることで、大規模なモデルベースのエージェントを可能にします。プロンプトやツールなどの「ネットワークパラメータ」とエージェントのワークフローなどの「ネットワーク構造」を独自に最適化することで、大量のデータや経験を効率的に活用し「データ中心の学習」を行うインテリジェンスを実現します。 「エージェント フレームワークにより、自律的に進化し続けるインテリジェント エージェント システムが可能になります。現在、このフレームワークは Waveform Intelligence の複数の製品およびアプリケーションで役割を果たしており、難しい手動による最適化とエージェントの評価の問題を解決しています。 Waveform Intelligence の研究チームは、「データセントリック エージェント」と「エージェント学習」の開発と研究を推進するために、アルゴリズムのすべてのコードをオープンソース化しています。この分野の学界および産業界に期待しています。より興味深いアルゴリズムとアプリケーションを一緒に探索するインテリジェントなエージェント。

以上が「独自に進化」できるエージェント？初のエンドツーエンド エージェント シンボリック トレーニング フレームワークはオープンソースですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。