Al Agent--大模型時代重要落地方向

一、LLM-based Agent 整體架構

#大語言模型Agent 的組成，主要分為以下4個模組：

1. 畫像模組：主要描述Agent 的背景資訊

下面介紹畫像模組的主要內容和產生策略。

畫像內容，主要基於 3 種資訊：人口統計資訊、個人資訊和社交資訊。

產生策略：主要採用3 種策略來產生畫像內容：

• 手動設計方法：自行透過指定的方式，將使用者畫像的內容寫入大模型的 prompt 中；適用於 Agent 數量比較少的情況；
• #大模型產生方法：首先指定少量畫像，並將其作為示例，進而使用大語言模型產生更多的畫像；適用於大量 Agent 的情況；
• 資料對齊方法：需要根據事先指定的資料集中人物的背景資訊作為大語言模型的 prompt，進而做對應的預測。

2. 記憶模組：主要目的是記錄Agent 行為，並提供未來Agent 決策支援

記憶結構：

• 統一記憶：只考慮短期記憶，不考慮長期記憶。
• 混合記憶：長期記憶和短期記憶結合。

記憶形式：主要基於以下 4 種形式。

• 語言
• #資料庫
• 向量表示
• 列表

記憶內容：常見以下3 操作：

• #記憶讀取
• 記憶寫入

• #記憶反思

#3. 規劃模組

• 無需回饋的規劃：大語言模型在做推理的過程中無需外在環境的回饋。這類規劃進一步細分為三種：基於單路的推理，僅使用一次大語言模型就可以完整輸出推理的步驟；基於多路的推理，借鑒眾包的思想，讓大語言模型生成多個推理路徑，進而確定最佳路徑；借用外部的規劃器。
• 有回饋的規劃：這種規劃方式需要外界環境提供回饋，而大語言模型需要基於環境的回饋進行下一步以及後續的規劃。這類規劃回饋的提供者來自三個面向：環境回饋、人類回饋和模型回饋。
• 4. 動作模組
• #動作目標：有些Agent 的目標是完成某個任務，有些是交流，有些是探索。

動作生成：有些 Agent 是依賴記憶回想產生動作，有些則是依照原有計畫執行特定的動作。

動作空間：有些動作空間是工具的集合，有些是基於大語言模型自身知識，從自我認知的角度考慮整個動作空間。

動作影響：包括對環境的影響、對內在狀態的影響，以及對未來新動作的影響。

############以上是Agent 的整體框架，更多內容可參考下述論文：############Lei Wang, Chen Ma, Xueyang Feng, Zeyu Zhang, Hao Yang, Jingsen Zhang, Zhiyuan Chen, Jiakai Tang, Xu Chen, Yankai Lin, Wayne Xin Zhao, Zhewei Wei, Ji-Rong Wen:A Survey on Large Language Model based Autonomous Agents. /2308.11432 (2023)#########################

二、LLM-based Agent 重點&困難問題

#目前大語言模型Agent 的重點和困難問題主要包括：

1. 如何提升Agent 的角色扮演能力

#Agent 最重要的功能是透過扮演某種角色，來完成特定的任務，或完成各種各樣的模擬，因此Agent 的角色扮演能力至關重要。

（1）Agent 角色扮演能力定義

#Agent 角色扮演能力分為兩個維度：

• 角色與Agent 行為關係
• #角色在環境中演化機制

（2）Agent 角色扮演能力評估

定義了角色扮演能力之後，接下來要對Agent 角色扮演能力，從以下兩個面向進行評估：

• 角色扮演評估指標
• 角色扮演評估場景

（3）Agent 角色扮演能力提升

#在評估的基礎上，需要進一步對Agent 的角色扮演能力進行提升，有以下兩種方法：

• 透過Prompt 提升角色扮演能力：此方法本質是透過設計prompt 來激發原有大語言模型的能力；
• 透過微調提升角色扮演能力：此方法通常是基於外部的數據，重新對大語言模型進行finetune，來提升角色扮演能力。

2. 如何設計Agent 記憶機制

Agent 和大語言模型最大的不同在於，Agent 能夠在環境中不斷進行自我演化和自我學習；而這其中，記憶機制扮演了非常重要的角色。從3 個維度分析Agent 的記憶機制：

##（1）Agent 記憶機制設計

常見有以下兩種記憶機制：

• 基於向量檢索的記憶機制
• #基於LLM 總結的記憶機制

（2）Agent 記憶能力評估

#對Agent 記憶能力的評估，主要需要確定以下兩點：

• 評估指標
• #評估場景

（3）Agent 記憶機制演化

最後需要對Agent 記憶機制演化進行分析，包括：#

• 記憶機制的演化
• #記憶機制的自主更新

3. 如何提升Agent 推理/規劃能力

（1）Agent 任務分解能力

• 子任務定義與拆解
• 任務執行最優順序

# （2）Agent 推理與外界回饋融合

• 設計推理過程中外界回饋的融入機制：讓Agent 和環境形成互相互動的整體；
• 提升Agent 對外界回饋的回應能力：一方面需要Agent 真實應對外界環​​境，另一方面需要Agent 能夠對外界環境提出問題並尋求解答。

4. 如何設計多Agent 高效率協同機制

（1）多Agents 合作機制

• #Agents 不同角色定義
• #Agents 合作機制設計

#（2）多Agents 辯論機制

#Agents 辯論機制設計

Agents 辯論收斂條件決定

• 三、基於大語言模型的使用者行為模擬智能體

下面會舉出幾個Agent 的實際案例。首先是基於大語言模型的使用者行為模擬智能體。該智能體也是大語言模型智能體與使用者行為分析結合的早期工作。在該工作中，每個Agent 分為三個模組：

• 1. 畫像模組
對不同的Agent 指定不同的屬性，例如ID、姓名、職業、年齡、興趣以及特徵等。
• 2. 記憶模組
• #記憶模組包含三個子模組
（1）感受記憶

（2）短期記憶

#將客觀觀測到的raw observation 處理後，產生資訊量更高的觀測，將其存放到短期記憶中；
#短期記憶內容的儲存時間比較短
（3）長期記憶
短期記憶的內容經過反覆的觸發和激活後，會自動傳入到長期記憶中

長期記憶內容的儲存時間比較長

#########長期記憶的內容會根據現有的記憶進行自主的反思以及昇華提煉。 ##################3. 動作模組#############每個Agent 可以執行三個動作：####### ###########Agent 在推薦系統中的行為，包括觀看影片、尋找下一頁、離開推薦系統等；################# #Agent 之間的對話行為；##################Agent 在社群媒體上發佈的行為。 ##################在整個模擬過程中，一個Agent 在每一輪動作中均可自由地、不受外界幹預地選擇三種動作；我們可以看到不同Agent 之間會相互對話，也會在社群媒體或推薦系統中自主地產生各種各樣的行為；透過多輪模擬之後，可以觀察到一些有趣的社會現象，以及使用者在網路上行為的規律。 ############更多內容可參考下述論文：######

Lei Wang, Jingsen Zhang, Hao Yang, Zhiyuan Chen, Jiakai Tang, Zeyu Zhang, Xu Chen, Yankai Lin, Ruihua Song, Wayne Xin Zhao, Jun Xu, Zhicheng Dou, Jun Wang, Ji-Rong Wen ：When Large Language Model based Agent Meets User Behavior Analysis: A Novel User Simulation Paradigm

四、基於大語言模型的多智能體軟體開發

下一個Agent 的例子是使用多Agent 進行軟體開發。這篇工作也是早期多Agent 合作的工作，最主要的目的是利用不同 Agent 開發一款完整的軟體。因此可將其視為一個軟體公司，不同的Agent 會扮演不同的角色：一部分Agent 負責設計，包括CEO、CTO、CPO 等角色；一部分Agent 負責編碼，還有一部分Agent 主要負責測試；此外，還會有一部分Agent 負責撰寫文件。這樣，不同 Agent 負責不同的工作；最後再將 Agent 之間的合作機制，透過交流的方式進行協同和更新，最終完成一個軟體完整的開發過程。

• 
  
  
  大語言模型的Agent 目前可以分為兩大方向：#解決特定任務，如MetaGPT、ChatDev、Ghost、DESP 等
• 
  這類Agent 最終應是一個和人類正確價值觀對齊的“超人”，其中有兩個“限定詞”：
  對齊正確的人類價值；
  超越常人能力。 模擬現實世界，如Generative Agent、Social Simulation、RecAgent等

這類Agent 所需要的能力，和第一類是完全相反的。

• 讓 Agent 呈現多元的價值觀；
  #希望 Agent 盡量符合一般人，而不是超越常人。
  
  此外，大語言模型Agent 目前存在以下兩個痛點：幻覺問題
• 
  由於Agent 需要跟環境進行不斷交互，因此每個步驟的幻覺都會被累加，即會產生累積效應，讓問題變得更加嚴重；因此大模型的幻覺問題在這裡需要得到進一步的重視。其解決方法包括：
設計高效率的人機協作框架；

##計高效的人類幹預機制。 ###效率問題#########在模擬過程中，效率是個非常重要的問題；下表總結了不同 Agent 在不同API 數量下的耗時。 ##############################以上就是這次分享的內容，謝謝大家。 ################

以上是Al Agent--大模型時代重要落地方向的詳細內容。更多資訊請關注PHP中文網其他相關文章！