如何监视生产级代理抹布管道？

介绍

2022年，Chatgpt的推出彻底改变了技术和非技术行业，从而使个人和组织具有生成性AI的能力。在整个2023年，努力集中在利用大型语言模型（LLMS）来管理大量数据和自动化过程，从而导致检索演说一代（RAG）的发展。现在，假设您正在管理一条复杂的AI管道，预计将检索大量数据，以闪电速度处理，并为复杂问题提供准确的实时答案。同样，添加该系统以每秒处理数千个请求而没有任何打ic的挑战。这将是一件具有挑战性的事情，对吗？代理检索增强发电（RAG）管道在这里为您营救。

Jayita Bhattacharyya在2024年的Datahack Summit中深入研究了监测生产级代理抹布管道的复杂性。本文综合了她的见解，为发烧友和专业人士提供了全面的主题概述。

概述

1. Agentic Rag将自主代理与检索系统相结合，以增强决策和实时解决问题。
2. RAG系统使用大型语言模型（LLM）从外部数据中检索并生成上下文准确的响应。
3. Jayita Bhattacharyya讨论了2024年Data Hack Summit上监视生产级破布管道的挑战。
4. 基于微服务的框架Llama代理可以对复杂的抹布系统进行有效的缩放和监视。
5. Langfuse是用于监视抹布管道，跟踪性能和通过用户反馈优化响应的开源工具。
6. 迭代监测和优化是维持生产中AI驱动的抹布系统的可扩展性和可靠性的关键。

目录

• 什么是代理抹布（检索增强产生）？
  • 代理人：自主问题解决者
  • 代理抹布：代理和抹布的整合
• 美洲驼特工：代理抹布的框架
  • 美洲驼特工的主要特征
• 监视生产级的抹布管道
  • 监视的重要性
  • 监视代理抹布管道的挑战
  • 监视指标
• Langfuse：开源监视框架
  • Langfuse的主要特征
  • 确保系统的可靠性和公平性
• 演示：构建和监视代理抹布管道
  • 必需的库和设置
  • 数据摄入
  • 查询引擎和工具设置
  • 代理配置
  • 启动代理
  • 演示查询执行
  • 使用langfuse进行监视
  • 其他功能和配置
• 关键要点
• 代理抹布和监视的未来
• 常见问题

什么是代理抹布（检索增强产生）？

Agentic Rag是代理和检索发电（RAG）系统的组合，在该系统中，代理是执行任务的自主决策单位。抹布系统通过向外部来源提供相关的，最新的信息来增强这些代理。这种协同作用导致在复杂的现实世界情景中更具动态和智能的行为。让我们分解两个组件及其集成方式。

代理人：自主问题解决者

在这种情况下，代理是指可以独立执行任务的自主系统或软件。通常，代理人能够感知环境，做出决策并采取行动实现特定目标的能力来定义。他们可以：

• 通过收集信息来感知他们的环境。
• 基于目标和可用数据的原因和计划。
• 根据他们在现实世界或模拟环境中的决定采取行动。

代理人被设计为以目标为导向，许多代理可以在不持续干预的情况下运行。示例包括虚拟助手，机器人系统或管理复杂工作流程的自动化软件代理。

让我们重申，抹布代表检索增强产生。这是一种结合了两种强大方法的混合模型：

1. 基于检索的模型：这些模型在搜索和检索相关文档或信息的信息方面非常出色。将他们视为超级聪明的图书馆员，他们确切地知道在哪里可以找到您在大型图书馆中找到您问题的答案。
2. 基于生成的模型：检索相关信息后，基于一代的模型（例如语言模型）会创建详细，连贯且上下文适当的响应。想象一下，图书馆员现在用简单且易于理解的术语向您解释内容。

抹布如何工作？

RAG将大语言模型（LLM）的优势与检索系统相结合。它涉及将大量文档（无论是PDF，CSV，JSONS或其他格式）摄入，将它们传递到嵌入式中，并将这些嵌入在矢量数据库中。当用户提出查询时，系统会从数据库中检索相关的块，提供扎根和上下文准确的答案，而不是仅依靠LLM的外部知识。

在过去的一年中，RAG的进步专注于改进分层策略，更好地进行检索的预处理和后处理，图形数据库的集成以及扩展的上下文窗口。这些增强功能为专门的抹布范式（尤其是代理抹布）铺平了道路。 RAG逐步操作以下方式：

1. 检索：当您提出问题（查询）时，RAG使用检索模型搜索大量文档，以找到最相关的信息。此过程利用嵌入式和矢量数据库，该数据库有助于模型了解各种文档的上下文和相关性。
2. 增强：检索到的文档用于增强（或“增强”）生成答案的上下文。此步骤涉及创建一个更丰富，更明智的提示，将您的查询与检索到的内容结合在一起。
3. 生成：最后，语言模型使用此增强上下文来生成针对您的特定查询量身定制的精确而详细的响应。

代理抹布：代理和抹布的整合

当您将代理与抹布相结合时，您会创建一个代理抹布系统。这是他们一起工作的方式：

• 动态决策：代理需要做出实时决策，但是他们的预编程知识可以限制它们。 RAG帮助代理从外部来源检索相关和当前信息。
• 加强问题解决：虽然代理可以推理和采取行动，但抹布系统通过喂养基于事实的数据来提高其解决问题的能力，从而使代理商可以做出更明智的决定。
• 持续学习：与依靠其初始培训数据的静态代理不同，用抹布增强的代理可以通过检索最新信息来不断学习和适应，从而确保它们在不断变化的环境中表现良好。

例如，考虑客户服务聊天机器人（代理）。抹布增强的版本可以从公司的知识库中检索特定的政策文档或最新更新，以提供最相关和最准确的响应。没有抹布，聊天机器人可能仅限于最初接受培训的信息，随着时间的流逝，聊天机器人可能会过时。

美洲驼特工：代理抹布的框架

会议的一个重点是Llama Adents的演示，这是Llama Index发布的开源框架。通过独特的体系结构，美洲驼的代理商迅速获得了吸引力，该体系将每个代理视为微服务 - 用于利用微服务体系结构的生产级应用的理想。

美洲驼特工的主要特征

1. 分布式面向服务的体系结构：
   1. 每个代理都用作单独的微服务，从而实现模块化和独立的缩放。
2. 通过标准化API接口进行通信：
   1. 利用消息队列（例如，兔子）进行标准化的代理之间的异步通信，以确保灵活性和可靠性。
3. 明确的编排流：
   1. 允许开发人员定义特定的编排流，从而确定代理的相互作用。
   2. 提供灵活性，让编排管道决定哪些代理应根据上下文进行通信。
4. 易于部署：
   1. 支持代理的快速部署，迭代和缩放。
   2. 可以进行快速调整和更新，而无需大量停机时间。
5. 可伸缩性和资源管理：
   1. 与可观察性工具无缝集成，提供实时监控和资源管理。
   2. 根据需要添加更多代理服务实例来支持水平缩放。

该架构图说明了控制平面，消息队列和代理服务之间的相互作用，突出了如何处理查询并将其路由到适当的代理。

Llama代理框架的架构由以下组成部分组成：

1. 控制平面：
   • 包含两个关键子组件：
     • 编排者：管理代理之间运营流动的决策过程。它确定哪种代理服务将处理下一个任务。
     • 服务元数据：拥有有关每个代理服务的基本信息，包括其功能，状态和配置。
2. 消息队列：
   • 充当框架的通信骨干，使不同代理服务之间的异步和可靠的消息传递。
   • 将控制平面连接到各种代理服务以管理任务的分布和流。
3. 代理服务：
   • 表示单个微服务，每个微服务在生态系统内执行特定任务。
   • 代理人通过消息队列独立管理和沟通。
   • 每个代理都可以直接或通过编排与他人互动。
4. 用户互动：
   • 用户将请求发送到控制平面处理的系统。
   • 编排者通过消息队列确定流程并将任务分配给适当的代理服务。

监视生产级的抹布管道

将抹布系统过渡到生产涉及解决各种因素，包括交通管理，可伸缩性和容错性。但是，最关键的方面之一是监视系统以确保最佳性能和可靠性。

监视的重要性

有效的监控使开发人员可以：

• 跟踪系统性能：监视计算功率，内存使用和令牌消耗，尤其是在使用开源或封闭源型号时。
• 日志和调试：保持全面的日志，指标和痕迹，以及时识别和解决问题。
• 迭代改进：不断分析性能指标以完善和增强系统。

监视代理抹布管道的挑战

• 延迟尖峰：处理复杂查询时的响应时间可能会有一个滞后。
• 资源管理：随着模型的增长，计算功率和内存使用需求的需求也会增加。
• 可伸缩性和容错性：确保系统可以在避免崩溃的同时处理潮流是一个持续的挑战。

监视指标

• 延迟：跟踪查询处理和LLM响应生成所花费的时间。
• 计算电源：监视CPU/GPU使用情况以防止过载。
• 内存使用：确保有效管理内存以避免放缓或崩溃

现在，我们将讨论一个开源监控框架Langfuse。

Langfuse：开源监视框架

Langfuse是一个强大的开源框架，旨在监视和优化LLM（大语言模型）工程中涉及的过程。随附的GIF表明，Langfuse提供了LLM工作流中所有关键阶段的全面概述，从初始用户查询到中间步骤，最后一代以及所涉及的各种潜伏期。

Langfuse的主要特征

1。跟踪和日志记录： langfuse允许您定义和监视“跟踪”，这些轨迹记录了会话中的各个步骤。您可以在每个会话中配置要捕获的踪迹。该框架还提供了强大的记录功能，使您可以在LLM工作流中记录和分析不同的活动和事件。

2。评估和反馈收集： Langfuse支持强大的评估机制，使您能够有效地收集用户反馈。没有确定的方法可以评估许多生成AI应用中的准确性，尤其是涉及检索效果生成（RAG）的应用程序。相反，用户反馈成为关键组件。 Langfuse允许您设置自定义评分机制，例如常见问题解答匹配或与预定义数据集的相似性评分，以评估系统迭代的性能。

3。提示管理： Langfuse的出色功能之一是其高级提示管理。例如，在模型开发的初始迭代期间，您可以创建一个冗长的提示，以捕获所有必要的信息。如果此提示超过令牌限制或包含无关紧要的细节，则必须完善它以获得最佳性能。 Langfuse可以轻松跟踪不​​同的及时版本，评估其有效性，并迭代地对其进行优化以获得上下文相关性。

4。评估指标和评分： langfuse允许为不同的迭代设置全面的评估指标。例如，您可以通过将生成的输出与预期或预定义的响应进行比较来衡量系统的性能。这在抹布上下文中尤其重要，因为检索到上下文的相关性至关重要。您还可以进行相似性匹配，以评估输出与所需响应的匹配程度，无论是块还是整体内容。

确保系统的可靠性和公平性

Langfuse的另一个关键方面是它可以分析系统的可靠性和公平性的能力。它有助于确定您的LLM是否在适当的上下文中对其响应进行基础，还是依赖外部信息来源。这对于避免常见问题（例如幻觉）至关重要，幻觉会产生错误或误导性信息。

通过利用Langfuse，您可以对LLM的性能有详尽的了解，从而持续改进和更可靠的AI驱动解决方案。

演示：构建和监视代理抹布管道

示例代码可用 - github

代码工作流计划：

• Llamaindex代理抹布与多文件
• 数据集演练 - 财务收入报告
• langfuse llamaindex集成用于监视 - 仪表板
  • 链接：langfuse监视仪表板
• 可用的示例代码：
  • 链接：github - 美洲驼特工

数据集示例

必需的库和设置

首先，您需要以下库：

• langfuse ：用于监视目的。
• LLAMA索引和Llama代理：用于代理框架和数据摄入矢量数据库。
• Python-Dotenv ：管理环境变量。

数据摄入

第一步涉及使用Llama索引的本机方法摄入数据。存储上下文是从默认值中加载的；如果索引已经存在，它将直接加载。否则，它会创建一个新的。 SimpleDirectoryReader用于读取来自PDF，CSV和JSON文件等各种文件格式的数据。在这种情况下，使用了两个数据集：Google的2023年和2024年的Q1年度报告。使用Llama Index的内部矢量商店将其摄入到内存数据库中，如果需要，也可以持续使用。

查询引擎和工具设置

数据摄入完成后，下一步就是将其摄入查询引擎。查询引擎使用相似性搜索参数（尽管可以调整这一点，但TOUS K的最高k）。创建了两个查询引擎工具 - 每个数据集一个（Q1 2023和Q1 2024）。提供了这些工具的元数据描述，以确保根据上下文（2023或2024数据集或两者兼有）将用户查询正确路由到适当的工具。

代理配置

演示继续设置代理。此设置的架构图包括一个编排管道和连接这些代理的消息队列。第一步是设置消息队列，然后是管理消息队列和代理编排的控制面板。 GPT-4模型被用作LLM，其工具服务与MESAGGES队列和其他超级参数一起使用，该工具服务采用了前面定义的查询引擎。

一个元列米服务器处理元数据，确保用户查询根据所提供的描述正确路由。然后调用功能代理人，以接收元工具和路由的LLM。该演示说明了Llama索引代理如何使用AgentRunner和AgentWorker在内部发挥作用 - AgentRunner在其中标识要执行的任务集，而AgentWorker执行它们。

启动代理

配置代理后，它将以其功能的描述启动（例如，回答有关Google的2023年和2024年财务方面的问题）。由于部署不在服务器上，因此使用了本地启动器，但是也可以使用替代启动器，例如人类的人类或服务器启动器。

演示查询执行

接下来，演示显示了一个查询，询问有关Google的风险因素。该系统使用较早的配置元工具来确定要使用的正确工具。该查询已处理，并且系统从两个数据集中智能获取信息，认识到问题是一般的，并且需要两者的输入。另一个查询，特别是关于Google在第1季度2024年收入增长的问题，证明了该系统将其搜索范围缩小到相关数据集的能力。

使用langfuse进行监视

然后，演示探讨了Langfuse的监视功能。 langfuse仪表板显示了所有轨迹，模型成本，消耗的代币以及其他相关信息。它记录了有关LLM和嵌入模型的详细信息，包括使用的令牌数量和相关成本。仪表板还允许设置分数评估生成的答案的相关性，并包含跟踪用户查询，元数据和幕后内部转换的功能。

其他功能和配置

Langfuse仪表板支持高级功能，包括设置会话，定义用户角色，配置提示和维护数据集。所有日志和跟踪都可以使用带有附件的PostgreSQL数据库的Docker Image将其存储在自托管服务器上。

演示成功说明了如何构建端到端的代理抹布管道并使用langfuse进行监视，从而提供了有关查询处理，数据摄入和整体LLM性能的见解。集成这些工具可以实时对LLM应用程序进行更有效的管理和评估，从而通过可靠的数据和评估进行基础。此演示中使用的所有资源和参考都是开源且可访问的。

关键要点

该会议强调了强大的监测在部署生产级代理抹布管道中的重要性。关键见解包括：

• 高级框架的集成：利用Llama Agents和Langfuse之类的框架增强了抹布系统的可伸缩性，灵活性和可观察性。
• 全面的监视：有效的监视包括跟踪系统性能，记录详细的轨迹以及不断评估响应质量。
• 迭代优化：对指标和用户反馈的持续分析驱动了破布管道的迭代改进，从而确保了响应的相关性和准确性。
• 开源优势：利用开源工具可以提供更大的自定义，透明度和社区驱动的增强功能，从而促进了RAG实施中的创新。

代理抹布和监视的未来

监视代理抹布的未来在于具有更高级的可观察性工具，其功能具有预测性警报和实时调试以及与Langfuse这样的AI系统的更好集成，以详细了解跨不同尺度的模型性能。

结论

随着生成AI的发展，对复杂，监测和可扩展的破布管道的需求变得越来越关键。探索监视生产级代理抹布管道为旨在利用生成AI的全部潜力的同时保持可靠性和性能的全部潜力的开发人员和组织提供了宝贵的指导。通过整合诸如Llama代理和Langfuse之类的框架并采用全面的监控实践，企业可以确保其AI驱动的解决方案在动态生产环境中既有效又有弹性。

对于有兴趣复制设置的人，所有演示代码和资源都可以在GitHub存储库中获得，从而促进了一种开放且协作的方法来推进RAG管道监视。

另外，如果您正在在线寻找生成AI课程，请探索：Genai Pinnacle计划

参考

1. 建造生产的表演剂抹布应用
2. 用骆驼指数的代理抹布
3. 使用Llama-Index和Mistral的多文件代理抹布

常见问题

Q1。什么是代理检索效果的一代（RAG）？

Ans。 Agentic Rag将自主代理与检索调制系统相结合，通过检索相关的实时信息以进行决策，从而使动态问题解决。

Q2。 RAG如何增强大型语言模型（LLM）？

Ans。 RAG将基于检索的模型与基于生成的模型结合在一起，以检索外部数据并创建上下文准确，详细的响应。

Q3。什么是美洲驼特工？

Ans。美洲驼代理是一种基于微服务的开源，基于微服务的框架，可实现生产中代理抹布管道的模块化缩放，监视和管理。

Q4。 Langfuse是什么，如何使用？

Ans。 Langfuse是一种开源监视工具，可跟踪RAG管道性能，日志跟踪，并收集用户反馈以进行连续优化。

Q5。监视代理抹布管道时会出现什么挑战？

Ans。常见的挑战包括管理延迟峰值，扩展以应对高需求，监视资源消耗以及确保容忍度以防止系统崩溃。

Q6。监视如何有助于抹布系统的可扩展性？

Ans。有效的监视使开发人员可以有效地跟踪系统负载，预防瓶颈和扩展资源，从而确保管道可以处理增加的流量而不会降低性能。

以上是如何监视生产级代理抹布管道？的详细内容。更多信息请关注PHP中文网其他相关文章！