如何監視生產級代理抹布管道？

介紹

2022年，Chatgpt的推出徹底改變了技術和非技術行業，從而使個人和組織具有生成性AI的能力。在整個2023年，努力集中在利用大型語言模型（LLMS）來管理大量數據和自動化過程，從而導致檢索演說一代（RAG）的發展。現在，假設您正在管理一條複雜的AI管道，預計將檢索大量數據，以閃電速度處理，並為複雜問題提供準確的實時答案。同樣，添加該系統以每秒處理數千個請求而沒有任何打ic的挑戰。這將是一件具有挑戰性的事情，對嗎？代理檢索增強發電（RAG）管道在這里為您營救。

Jayita Bhattacharyya在2024年的Datahack Summit中深入研究了監測生產級代理抹布管道的複雜性。本文綜合了她的見解，為發燒友和專業人士提供了全面的主題概述。

概述

1. Agentic Rag將自主代理與檢索系統相結合，以增強決策和實時解決問題。
2. RAG系統使用大型語言模型（LLM）從外部數據中檢索並生成上下文準確的響應。
3. Jayita Bhattacharyya討論了2024年Data Hack Summit上監視生產級破布管道的挑戰。
4. 基於微服務的框架Llama代理可以對複雜的抹布系統進行有效的縮放和監視。
5. Langfuse是用於監視抹布管道，跟踪性能和通過用戶反饋優化響應的開源工具。
6. 迭代監測和優化是維持生產中AI驅動的抹布系統的可擴展性和可靠性的關鍵。

目錄

• 什麼是代理抹布（檢索增強產生）？
  • 代理人：自主問題解決者
  • 代理抹布：代理和抹布的整合
• 美洲駝特工：代理抹布的框架
  • 美洲駝特工的主要特徵
• 監視生產級的抹布管道
  • 監視的重要性
  • 監視代理抹布管道的挑戰
  • 監視指標
• Langfuse：開源監視框架
  • Langfuse的主要特徵
  • 確保系統的可靠性和公平性
• 演示：構建和監視代理抹布管道
  • 必需的庫和設置
  • 數據攝入
  • 查詢引擎和工具設置
  • 代理配置
  • 啟動代理
  • 演示查詢執行
  • 使用langfuse進行監視
  • 其他功能和配置
• 關鍵要點
• 代理抹布和監視的未來
• 常見問題

什麼是代理抹布（檢索增強產生）？

Agentic Rag是代理和檢索發電（RAG）系統的組合，在該系統中，代理是執行任務的自主決策單位。抹布系統通過向外部來源提供相關的，最新的信息來增強這些代理。這種協同作用導致在復雜的現實世界情景中更具動態和智能的行為。讓我們分解兩個組件及其集成方式。

代理人：自主問題解決者

在這種情況下，代理是指可以獨立執行任務的自主系統或軟件。通常，代理人能夠感知環境，做出決策並採取行動實現特定目標的能力來定義。他們可以：

• 通過收集信息來感知他們的環境。
• 基於目標和可用數據的原因和計劃。
• 根據他們在現實世界或模擬環境中的決定採取行動。

代理人被設計為以目標為導向，許多代理可以在不持續干預的情況下運行。示例包括虛擬助手，機器人系統或管理複雜工作流程的自動化軟件代理。

讓我們重申，抹布代表檢索增強產生。這是一種結合了兩種強大方法的混合模型：

1. 基於檢索的模型：這些模型在搜索和檢索相關文檔或信息的信息方面非常出色。將他們視為超級聰明的圖書館員，他們確切地知道在哪裡可以找到您在大型圖書館中找到您問題的答案。
2. 基於生成的模型：檢索相關信息後，基於一代的模型（例如語言模型）會創建詳細，連貫且上下文適當的響應。想像一下，圖書館員現在用簡單且易於理解的術語向您解釋內容。

抹佈如何工作？

RAG將大語言模型（LLM）的優勢與檢索系統相結合。它涉及將大量文檔（無論是PDF，CSV，JSONS或其他格式）攝入，將它們傳遞到嵌入式中，並將這些嵌入在矢量數據庫中。當用戶提出查詢時，系統會從數據庫中檢索相關的塊，提供紮根和上下文準確的答案，而不是僅依靠LLM的外部知識。

在過去的一年中，RAG的進步專注於改進分層策略，更好地進行檢索的預處理和後處理，圖形數據庫的集成以及擴展的上下文窗口。這些增強功能為專門的抹布範式（尤其是代理抹布）鋪平了道路。 RAG逐步操作以下方式：

1. 檢索：當您提出問題（查詢）時，RAG使用檢索模型搜索大量文檔，以找到最相關的信息。此過程利用嵌入式和矢量數據庫，該數據庫有助於模型了解各種文檔的上下文和相關性。
2. 增強：檢索到的文檔用於增強（或“增強”）生成答案的上下文。此步驟涉及創建一個更豐富，更明智的提示，將您的查詢與檢索到的內容結合在一起。
3. 生成：最後，語言模型使用此增強上下文來生成針對您的特定查詢量身定制的精確而詳細的響應。

代理抹布：代理和抹布的整合

當您將代理與抹布相結合時，您會創建一個代理抹布系統。這是他們一起工作的方式：

• 動態決策：代理需要做出實時決策，但是他們的預編程知識可以限制它們。 RAG幫助代理從外部來源檢索相關和當前信息。
• 加強問題解決：雖然代理可以推理和採取行動，但抹布系統通過餵養基於事實的數據來提高其解決問題的能力，從而使代理商可以做出更明智的決定。
• 持續學習：與依靠其初始培訓數據的靜態代理不同，用抹布增強的代理可以通過檢索最新信息來不斷學習和適應，從而確保它們在不斷變化的環境中表現良好。

例如，考慮客戶服務聊天機器人（代理）。抹布增強的版本可以從公司的知識庫中檢索特定的政策文檔或最新更新，以提供最相關和最準確的響應。沒有抹布，聊天機器人可能僅限於最初接受培訓的信息，隨著時間的流逝，聊天機器人可能會過時。

美洲駝特工：代理抹布的框架

會議的一個重點是Llama Adents的演示，這是Llama Index發布的開源框架。通過獨特的體系結構，美洲駝的代理商迅速獲得了吸引力，該體係將每個代理視為微服務 - 用於利用微服務體系結構的生產級應用的理想。

美洲駝特工的主要特徵

1. 分佈式面向服務的體系結構：
   1. 每個代理都用作單獨的微服務，從而實現模塊化和獨立的縮放。
2. 通過標準化API接口進行通信：
   1. 利用消息隊列（例如，兔子）進行標準化的代理之間的異步通信，以確保靈活性和可靠性。
3. 明確的編排流：
   1. 允許開發人員定義特定的編排流，從而確定代理的相互作用。
   2. 提供靈活性，讓編排管道決定哪些代理應根據上下文進行通信。
4. 易於部署：
   1. 支持代理的快速部署，迭代和縮放。
   2. 可以進行快速調整和更新，而無需大量停機時間。
5. 可伸縮性和資源管理：
   1. 與可觀察性工具無縫集成，提供實時監控和資源管理。
   2. 根據需要添加更多代理服務實例來支持水平縮放。

該架構圖說明了控制平面，消息隊列和代理服務之間的相互作用，突出瞭如何處理查詢並將其路由到適當的代理。

Llama代理框架的架構由以下組成部分組成：

1. 控制平面：
   • 包含兩個關鍵子組件：
     • 編排者：管理代理之間運營流動的決策過程。它確定哪種代理服務將處理下一個任務。
     • 服務元數據：擁有有關每個代理服務的基本信息，包括其功能，狀態和配置。
2. 消息隊列：
   • 充當框架的通信骨幹，使不同代理服務之間的異步和可靠的消息傳遞。
   • 將控制平面連接到各種代理服務以管理任務的分佈和流。
3. 代理服務：
   • 表示單個微服務，每個微服務在生態系統內執行特定任務。
   • 代理人通過消息隊列獨立管理和溝通。
   • 每個代理都可以直接或通過編排與他人互動。
4. 用戶互動：
   • 用戶將請求發送到控制平面處理的系統。
   • 編排者通過消息隊列確定流程並將任務分配給適當的代理服務。

監視生產級的抹布管道

將抹布系統過渡到生產涉及解決各種因素，包括交通管理，可伸縮性和容錯性。但是，最關鍵的方面之一是監視系統以確保最佳性能和可靠性。

監視的重要性

有效的監控使開發人員可以：

• 跟踪系統性能：監視計算功率，內存使用和令牌消耗，尤其是在使用開源或封閉源型號時。
• 日誌和調試：保持全面的日誌，指標和痕跡，以及時識別和解決問題。
• 迭代改進：不斷分析性能指標以完善和增強系統。

監視代理抹布管道的挑戰

• 延遲尖峰：處理複雜查詢時的響應時間可能會有一個滯後。
• 資源管理：隨著模型的增長，計算功率和內存使用需求的需求也會增加。
• 可伸縮性和容錯性：確保系統可以在避免崩潰的同時處理潮流是一個持續的挑戰。

監視指標

• 延遲：跟踪查詢處理和LLM響應生成所花費的時間。
• 計算電源：監視CPU/GPU使用情況以防止過載。
• 內存使用：確保有效管理內存以避免放緩或崩潰

現在，我們將討論一個開源監控框架Langfuse。

Langfuse：開源監視框架

Langfuse是一個強大的開源框架，旨在監視和優化LLM（大語言模型）工程中涉及的過程。隨附的GIF表明，Langfuse提供了LLM工作流中所有關鍵階段的全面概述，從初始用戶查詢到中間步驟，最後一代以及所涉及的各種潛伏期。

Langfuse的主要特徵

1。跟踪和日誌記錄： langfuse允許您定義和監視“跟踪”，這些軌跡記錄了會話中的各個步驟。您可以在每個會話中配置要捕獲的踪跡。該框架還提供了強大的記錄功能，使您可以在LLM工作流中記錄和分析不同的活動和事件。

2。評估和反饋收集： Langfuse支持強大的評估機制，使您能夠有效地收集用戶反饋。沒有確定的方法可以評估許多生成AI應用中的準確性，尤其是涉及檢索效果生成（RAG）的應用程序。相反，用戶反饋成為關鍵組件。 Langfuse允許您設置自定義評分機制，例如常見問題解答匹配或與預定義數據集的相似性評分，以評估系統迭代的性能。

3。提示管理： Langfuse的出色功能之一是其高級提示管理。例如，在模型開發的初始迭代期間，您可以創建一個冗長的提示，以捕獲所有必要的信息。如果此提示超過令牌限製或包含無關緊要的細節，則必須完善它以獲得最佳性能。 Langfuse可以輕鬆跟踪不​​同的及時版本，評估其有效性，並迭代地對其進行優化以獲得上下文相關性。

4。評估指標和評分： langfuse允許為不同的迭代設置全面的評估指標。例如，您可以通過將生成的輸出與預期或預定義的響應進行比較來衡量系統的性能。這在抹布上下文中尤其重要，因為檢索到上下文的相關性至關重要。您還可以進行相似性匹配，以評估輸出與所需響應的匹配程度，無論是塊還是整體內容。

確保系統的可靠性和公平性

Langfuse的另一個關鍵方面是它可以分析系統的可靠性和公平性的能力。它有助於確定您的LLM是否在適當的上下文中對其響應進行基礎，還是依賴外部信息來源。這對於避免常見問題（例如幻覺）至關重要，幻覺會產生錯誤或誤導性信息。

通過利用Langfuse，您可以對LLM的性能有詳盡的了解，從而持續改進和更可靠的AI驅動解決方案。

演示：構建和監視代理抹布管道

示例代碼可用 - github

代碼工作流計劃：

• Llamaindex代理抹布與多文件
• 數據集演練 - 財務收入報告
• langfuse llamaindex集成用於監視 - 儀表板
  • 鏈接：langfuse監視儀表板
• 可用的示例代碼：
  • 鏈接：github - 美洲駝特工

數據集示例

必需的庫和設置

首先，您需要以下庫：

• langfuse ：用於監視目的。
• LLAMA索引和Llama代理：用於代理框架和數據攝入矢量數據庫。
• Python-Dotenv ：管理環境變量。

數據攝入

第一步涉及使用Llama索引的本機方法攝入數據。存儲上下文是從默認值中加載的；如果索引已經存在，它將直接加載。否則，它會創建一個新的。 SimpleDirectoryReader用於讀取來自PDF，CSV和JSON文件等各種文件格式的數據。在這種情況下，使用了兩個數據集：Google的2023年和2024年的Q1年度報告。使用Llama Index的內部矢量商店將其攝入到內存數據庫中，如果需要，也可以持續使用。

查詢引擎和工具設置

數據攝入完成後，下一步就是將其攝入查詢引擎。查詢引擎使用相似性搜索參數（儘管可以調整這一點，但TOUS K的最高k）。創建了兩個查詢引擎工具 - 每個數據集一個（Q1 2023和Q1 2024）。提供了這些工具的元數據描述，以確保根據上下文（2023或2024數據集或兩者兼有）將用戶查詢正確路由到適當的工具。

代理配置

演示繼續設置代理。此設置的架構圖包括一個編排管道和連接這些代理的消息隊列。第一步是設置消息隊列，然後是管理消息隊列和代理編排的控制面板。 GPT-4模型被用作LLM，其工具服務與MESAGGES隊列和其他超級參數一起使用，該工具服務採用了前面定義的查詢引擎。

一個元列米服務器處理元數據，確保用戶查詢根據所提供的描述正確路由。然後調用功能代理人，以接收元工具和路由的LLM。該演示說明了Llama索引代理如何使用AgentRunner和AgentWorker在內部發揮作用 - AgentRunner在其中標識要執行的任務集，而AgentWorker執行它們。

啟動代理

配置代理後，它將以其功能的描述啟動（例如，回答有關Google的2023年和2024年財務方面的問題）。由於部署不在服務器上，因此使用了本地啟動器，但是也可以使用替代啟動器，例如人類的人類或服務器啟動器。

演示查詢執行

接下來，演示顯示了一個查詢，詢問有關Google的風險因素。該系統使用較早的配置元工具來確定要使用的正確工具。該查詢已處理，並且系統從兩個數據集中智能獲取信息，認識到問題是一般的，並且需要兩者的輸入。另一個查詢，特別是關於Google在第1季度2024年收入增長的問題，證明了該系統將其搜索範圍縮小到相關數據集的能力。

使用langfuse進行監視

然後，演示探討了Langfuse的監視功能。 langfuse儀表板顯示了所有軌跡，模型成本，消耗的代幣以及其他相關信息。它記錄了有關LLM和嵌入模型的詳細信息，包括使用的令牌數量和相關成本。儀表板還允許設置分數評估生成的答案的相關性，並包含跟踪用戶查詢，元數據和幕後內部轉換的功能。

其他功能和配置

Langfuse儀表板支持高級功能，包括設置會話，定義用戶角色，配置提示和維護數據集。所有日誌和跟踪都可以使用帶有附件的PostgreSQL數據庫的Docker Image將其存儲在自託管服務器上。

演示成功說明瞭如何構建端到端的代理抹布管道並使用langfuse進行監視，從而提供了有關查詢處理，數據攝入和整體LLM性能的見解。集成這些工具可以實時對LLM應用程序進行更有效的管理和評估，從而通過可靠的數據和評估進行基礎。此演示中使用的所有資源和參考都是開源且可訪問的。

關鍵要點

該會議強調了強大的監測在部署生產級代理抹布管道中的重要性。關鍵見解包括：

• 高級框架的集成：利用Llama Agents和Langfuse之類的框架增強了抹布系統的可伸縮性，靈活性和可觀察性。
• 全面的監視：有效的監視包括跟踪系統性能，記錄詳細的軌跡以及不斷評估響應質量。
• 迭代優化：對指標和用戶反饋的持續分析驅動了破布管道的迭代改進，從而確保了響應的相關性和準確性。
• 開源優勢：利用開源工具可以提供更大的自定義，透明度和社區驅動的增強功能，從而促進了RAG實施中的創新。

代理抹布和監視的未來

監視代理抹布的未來在於具有更高級的可觀察性工具，其功能具有預測性警報和實時調試以及與Langfuse這樣的AI系統的更好集成，以詳細了解跨不同尺度的模型性能。

結論

隨著生成AI的發展，對複雜，監測和可擴展的破布管道的需求變得越來越關鍵。探索監視生產級代理抹布管道為旨在利用生成AI的全部潛力的同時保持可靠性和性能的全部潛力的開發人員和組織提供了寶貴的指導。通過整合諸如Llama代理和Langfuse之類的框架並採用全面的監控實踐，企業可以確保其AI驅動的解決方案在動態生產環境中既有效又有彈性。

對於有興趣複製設置的人，所有演示代碼和資源都可以在GitHub存儲庫中獲得，從而促進了一種開放且協作的方法來推進RAG管道監視。

另外，如果您正在在線尋找生成AI課程，請探索：Genai Pinnacle計劃

參考

1. 建造生產的表演劑抹布應用
2. 用駱駝指數的代理抹布
3. 使用Llama-Index和Mistral的多文件代理抹布

常見問題

Q1。什麼是代理檢索效果的一代（RAG）？

Ans。 Agentic Rag將自主代理與檢索調製系統相結合，通過檢索相關的實時信息以進行決策，從而使動態問題解決。

Q2。 RAG如何增強大型語言模型（LLM）？

Ans。 RAG將基於檢索的模型與基於生成的模型結合在一起，以檢索外部數據並創建上下文準確，詳細的響應。

Q3。什麼是美洲駝特工？

Ans。美洲駝代理是一種基於微服務的開源，基於微服務的框架，可實現生產中代理抹布管道的模塊化縮放，監視和管理。

Q4。 Langfuse是什麼，如何使用？

Ans。 Langfuse是一種開源監視工具，可跟踪RAG管道性能，日誌跟踪，並收集用戶反饋以進行連續優化。

Q5。監視代理抹布管道時會出現什麼挑戰？

Ans。常見的挑戰包括管理延遲峰值，擴展以應對高需求，監視資源消耗以及確保容忍度以防止系統崩潰。

Q6。監視如何有助於抹布系統的可擴展性？

Ans。有效的監視使開發人員可以有效地跟踪系統負載，預防瓶頸和擴展資源，從而確保管道可以處理增加的流量而不會降低性能。

以上是如何監視生產級代理抹布管道？的詳細內容。更多資訊請關注PHP中文網其他相關文章！