Al Agent -- 大規模モデルの時代における重要な実装方向

1. LLM ベースのエージェントの全体的なアーキテクチャ

大規模な言語モデル エージェントの構成は主に次のとおりです。

1. ポートレート モジュール: 主にエージェントの背景情報を説明します。

以下では、主なコンテンツと生成戦略を紹介します。ポートレートモジュール。

ポートレートコンテンツは主に、人口統計情報、性格情報、社会情報の 3 種類の情報に基づいています。

生成戦略: ポートレート コンテンツの生成には主に 3 つの戦略が使用されます:

• 手動設計方法: 自分で指定します。メソッドでは、ユーザー ポートレートのコンテンツを大規模モデルのプロンプトに書き込みます。
• # エージェントの数が比較的少ない状況に適しています。方法: 最初に少数のポートレートを例として使用することを指定し、次に多数のエージェントが存在する状況に適した大規模な言語モデルを使用してより多くのポートレートを生成します。 データ配置方法: 必須 大規模言語モデルのプロンプトとして事前に指定されたデータセット内の文字の背景情報に基づいて、対応する予測が行われます。
• 2. メモリ モジュール: 主な目的は、エージェントの行動を記録し、将来のエージェントの決定をサポートすることです。記憶構造:

統合記憶: 短期記憶のみが考慮され、長期記憶は考慮されません。

ハイブリッド記憶: 長期記憶と短期記憶の組み合わせ。

• #記憶形式：主に以下の 4 つの形式に基づいています。
• #言語

##データベース

• ベクトル表現
• リスト
• メモリ内容：共通以下の3つ操作:
• #メモリ読み取り

メモリ書き込み

• 思い出の振り返り
• 3. 計画モジュール
• フィードバックなしの計画: 大規模な言語モデルでは、推論プロセス中に外部環境からのフィードバックを必要としません。このタイプの計画はさらに 3 つのタイプに細分されます。単一チャネルベースの推論は、大規模な言語モデルを 1 回だけ使用して、クラウドソーシングのアイデアを利用してマルチチャネルベースの推論のステップを完全に出力します。大規模な言語モデルが複数のパスを生成し、外部プランナーを借用して最適なパスを決定できるようにします。

フィードバックを伴う計画: この計画方法では外部環境からのフィードバックが必要ですが、大規模言語モデルでは次のステップとその後の計画のために環境からのフィードバックが必要です。 。このタイプの計画フィードバックの提供者は、環境フィードバック、人的フィードバック、モデル フィードバックの 3 つのソースから提供されます。

• 4. アクション モジュール
• アクション目標: 一部のエージェントの目標は次のとおりです。特定のタスクを完了する コミュニケーションや探索など、いくつかのタスクがあります。

アクション生成: 一部のエージェントは記憶の想起に依存してアクションを生成し、一部のエージェントは元の計画に従って特定のアクションを実行します。

• アクション空間: いくつかのアクション空間はツールのコレクションであり、いくつかは視点からアクション空間全体を考慮した大規模な言語モデル自身の知識に基づいています。自己認識の。
• アクションの影響: 環境への影響、内部状態への影響、将来の新しいアクションへの影響を含みます。
• 上記はエージェントの全体的なフレームワークです。詳細については、次の論文を参照してください:
Lei Wang、Chen Ma、Xueyang Feng、Zeyu Zhang、Hao Yang、Jingsen Zhang、Zhiyuan Chen、Jiakai Tang、Xu Chen、Yankai Lin、Wayne Xin Zhao、Zhewei Wei、Ji-Rong Wen: 大規模言語モデルに基づく自律言語に関する調査エージェント。CoRR abs /2308.11432 (2023)

2. LLM ベースのエージェントの重要な問題と困難な問題

##現在の大規模言語モデル エージェントの重要な問題と困難な問題は主に次のとおりです。 :

1. エージェントのロールプレイング能力を向上させる方法

エージェントの最も重要な機能は、特定のタスクを実行して特定のタスクを完了することです。役割を果たしたり、さまざまなシミュレーションを完了したりするため、エージェントのロールプレイング能力が非常に重要です。

(1) エージェントのロールプレイング能力の定義

エージェントのロールプレイング能力は 2 つの側面に分けられます:

• ロールとエージェント間の動作関係
• ##環境におけるロールの進化メカニズム

(2)エージェントのロールプレイング能力の評価

ロールプレイング能力を定義したら、次のステップは次のとおりです。エージェントのロールプレイング能力を次の 2 つの側面から評価します。 ：

• ロールプレイング評価指標
• #ロールプレイング評価シナリオ

(3) エージェントのロールプレイング能力の向上

On評価の基礎として、エージェントのロールプレイング能力をさらに向上させる必要があります。次の 2 つの方法があります。

• プロンプトを通じてロールプレイング能力を向上させる。 : この方法の本質は、プロンプトを設計することで元の大規模言語モデルの能力を刺激することです。
• 微調整を通じてロールプレイング能力を向上させます。このメソッドは通常、外部データに基づいており、ロールプレイング機能を向上させるために大規模な言語モデルを再微調整します。
#2. エージェントのメモリ メカニズムを設計する方法

エージェントと大規模言語モデルの最大の違いは次のとおりです。エージェントは、環境が常に自己進化と自己学習を行っているため、記憶メカニズムが非常に重要な役割を果たします。エージェントの記憶機構を 3 つの側面から分析します。

(1) エージェントの記憶機構の設計

#次の 2 つの一般的な記憶機構が共通です。

##ベクトル検索に基づくメモリ メカニズム

• LLM の概要に基づくメモリ メカニズム
• # (2) エージェントの記憶能力評価

#エージェントの記憶能力を評価するには、主に以下の 2 つを判断する必要があります。ポイント:

評価指標

• ##評価シナリオ
• ##(3) エージェントの記憶メカニズムの進化
最後に、以下を含むエージェントの記憶メカニズムの進化を分析する必要があります。
• #記憶メカニズムの進化
• 記憶メカニズムの自律更新

3. エージェントの推論・計画能力を向上させる方法

# (1) エージェントのタスク分解能力

• サブタスクの定義と逆アセンブリ
• タスク実行の最適な順序
## (2) エージェントの推論と外部フィードバックの統合
• 推論プロセス中の外部フィードバックの統合メカニズムを設計します。エージェントと環境を形成させます。インタラクティブ全体;
• 外部フィードバックに応答するエージェントの能力を向上させる: 一方で、エージェントは外部環境に真に応答する必要があります。一方、エージェントは外部環境に対して質問し、解決策を模索できる必要があります。
4. 効率的なマルチエージェントコラボレーションメカニズムの設計方法
(1) マルチエージェントコラボレーションメカニズム
• エージェントの異なる役割定義
• エージェントの連携メカニズムの設計
(2) マルチエージェントの議論メカニズム
• エージェントの議論メカニズムの設計
• エージェントによる収束条件の決定についての議論

3. 言語モデルの大きなユーザー行動シミュレーション エージェントに基づく

#以下、エージェントの実例をいくつか示します。 1 つ目は、大規模な言語モデルに基づくユーザー行動シミュレーション エージェントです。このエージェントは、大規模言語モデル エージェントとユーザー行動分析を組み合わせた初期の作品でもあります。この作業では、各エージェントは 3 つのモジュールに分割されています:

1。ポートレート モジュール

は、さまざまなエージェントに対してさまざまな属性を指定します。 ID、名前、職業、年齢、興味や特徴など

2. メモリ モジュール

メモリ モジュールには 3 つのサブモジュールが含まれています

(1 ) 感情記憶

(2) 短期記憶

客観的に観察された生の観察を処理した後の量より高い観測値は短期記憶に保存されます。
#短期記憶の内容の保存時間は比較的短いです
(3) 長期記憶
#短期記憶の内容は自動的に転送されます
長期記憶内容の保存時間は比較的長いです。
長期記憶の内容は、既存の記憶が独立して反映、昇華、洗練されるに従って保存されます。
• #3. アクション モジュール

各エージェントは 3 つのアクションを実行できます:

映画の視聴、次のページの検索、推奨システムからの終了など、推奨システムにおけるエージェントの動作。 #エージェント間の会話
• #エージェントのソーシャルメディアへの投稿行動。
• シミュレーション プロセス全体を通じて、エージェントは外部からの干渉を受けることなく、アクションの各ラウンドで 3 つのアクションを自由に選択できます。異なるエージェントが互いに対話することがわかります。ソーシャルメディアやレコメンデーションシステムでさまざまな行動を自律的に生成し、複数回のシミュレーションを繰り返すと、いくつかの興味深い社会現象やインターネット上のユーザーの行動を観察することができます。
• 詳細については、次の文書を参照してください:

  Lei Wang、Jingsen Zhang、Hao Yang、Zhiyuan Chen、Jiakai Tang、Zeyu Zhang、Xu Chen、Yankai Lin、Ruihua Song、Wayne Xin Zhao、Jun Xu、Zhicheng Dou、Jun Wang、Ji-Rong Wen ：大規模言語モデルベースのエージェントとユーザー行動分析の出会い: 新しいユーザー シミュレーション パラダイム

  4. ベース大規模な言語モデルのためのマルチエージェント ソフトウェア開発について

  

  #次のエージェントの例は、マルチ エージェントを使用したソフトウェア開発です。この作業はマルチエージェント協力の初期の作業でもあり、その主な目的は、さまざまなエージェントを使用して完全なソフトウェアを開発することです。したがって、同社はソフトウェア会社とみなすことができ、さまざまなエージェントがさまざまな役割を果たします。CEO、CTO、CPO などの役割を含む設計を担当するエージェントもいれば、コーディングを担当するエージェントもいます。主にテストを担当するほか、ドキュメントの作成を担当するエージェントもいます。このようにして、異なるエージェントが異なるタスクを担当し、最終的にエージェント間の協力メカニズムが通信を通じて調整および更新され、最終的に完全なソフトウェア開発プロセスが完了します。

  #5. LLM ベースのエージェントの今後の方向性

  

  大規模な言語モデルのエージェントは現在 2 つの主な方向に分類できます:

  • MetaGPT、ChatDev、Ghost、DESP などの特定のタスクを解決する
    このタイプのエージェントは、最終的には人類の正しい価値観に沿った「スーパーマン」である必要があり、それには 2 つの「修飾子」があります:
    正しく調整された人間の価値観;
    #通常の人間の能力を超えています。
  • 生成エージェント、ソーシャル シミュレーション、RecAgent など、現実世界をシミュレートします。
    このタイプのエージェントに必要な能力は、これまでとはまったく逆です。最初のタイプ。
    エージェントがさまざまな価値観を提示できるようにします。
    エージェントが一般の人々に合わせようとすることを願っています。普通の人を超えるのではなく。

  さらに、現在の大規模言語モデル エージェントには次の 2 つの問題点があります:

  • 錯覚問題
    エージェントは継続的に環境と対話する必要があるため、各ステップの幻覚が蓄積され、累積的な影響が生じ、問題がより深刻になるため、大規模モデルの幻覚問題はさらに解決する必要があります。ここに注意してください。ソリューションには次のものが含まれます:
    人間とマシンの効率的なコラボレーション フレームワークを設計する;
    設計効率的な人間介入メカニズムを計画します。
  • 効率の問題
    シミュレーション プロセスでは、効率が非常に重要な問題になります。次の表は、さまざまな API 番号でのさまざまなエージェントの時間消費をまとめたものです。

  

  以上が今回シェアした内容です、よろしくお願いします。

以上がAl Agent -- 大規模モデルの時代における重要な実装方向の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。