使用Pydantic构建结构化研究自动化系统-人工智能-PHP中文网

在学术研究的动态领域，有效的信息收集，综合和演示至关重要。文献综述的手动过程是耗时的，阻碍了更深入的分析。由Pydantic构建的多机构研究助理系统提供了一个复杂的解决方案：专门的代理商合作，可模块化地处理复杂的任务。但是，管理多个代理需要仔细考虑数据一致性，验证和通信。这种基于pydantic的系统通过执行强大的数据模式，改进数据处理并简化系统复杂性来解决这些挑战。

本文详细介绍了使用Pydantic的结构化多代理研究助理的构建，该研究助理整合了Pydantic-AI和Arxiv等工具。我们将提供逐步的代码解释和预期结果。

关键学习目标

掌握在pydantic驱动的多代理研究助理中，对于可靠的代理间沟通中的结构化数据建模的重要性。
使用Pydantic定义和实施结构化数据模式，以进行无缝集成，模块化代理编排和有效的自动化研究工作流程。
设计和编排用于特定任务的模块化代理：查询细化，数据检索，关键字提取和摘要。
通过结构化代理相互作用将外部API（例如ARXIV）集成到自动化工作流中。
直接从结构化代理输出中生成高质量的输出（例如PDF报告），从而增强了自动化研究工作流的实际实用性。

本文是数据科学博客马拉松的一部分。

用pydantic定义数据模型

定义明确的数据模型在多代理系统中至关重要。代理之间的一致，可预测的数据交换至关重要。 Pydantic通过提供直接定义Python中数据模式，确保数据一致性，减少运行时错误并实现无缝验证的直接方法来优雅地解决此问题。

这是使用Pydantic结构化数据模型的示例：

来自Pydantic Import Basemodel，field

类Papermetadata（basemodel）：
    标题：str =字段（...，description =“纸质标题”）
    摘要：str =字段（...，描述=“纸张摘要”）
    作者：列表[str] = field（...，description =“作者列表”）
    publication_date：str = field（...，description =“出版日期”）

登录后复制

现场解释

title ：纸质标题，可轻松参考和组织。
abstract ：关键字提取和摘要的简明摘要。
authors ：作者列表以进行进一步查询或引文跟踪。
publication_date ：分类和过滤的出版日期。

我们的系统包括五个代理：

及时处理器代理
纸取回剂
关键字提取代理
摘要代理
路由器（编排）代理

这些试剂使用Pydantic定义的模型进行交流，确保可预测和验证的数据，最大程度地减少错误并增强系统鲁棒性。

使用Pydantic构建结构化研究自动化系统

我们将深入研究每个代理的实现，角色和预期输出。

构建多代理框架

在Pydantic数据模型的基础上，我们现在检查了多代理框架。每个代理都有特定的角色，并与他人无缝互动。

代理角色

及时处理器代理：完善用户查询以提高搜索相关性。
纸情况检索代理：从外部数据库（如Arxiv）中检索相关论文。
关键字提取代理：从纸张摘要中提取关键术语。
摘要代理：生成纸张摘要的简明摘要。
路由器代理（编排）：协调工作流程，管理通信和数据流。

代理相互作用

代理依次相互作用：

及时处理器完善了用户查询。
精制查询将发送到纸质检索代理。
路由器将摘要发送到关键字提取和摘要代理。
路由器将结果汇编为最终报告。

这种模块化设计可确保可维护性和可扩展性。可以独立改进或更换代理。我们将探索每个代理的实现。

使用及时处理器代理提炼研究查询

精确查询对于有效搜索至关重要。及时处理器代理会完善用户查询，以提高学术数据库结果的相关性。

这是及时的处理器代理实施：

 @strump_processor_agent.tool
异步DEF PROCESS_PROMPT（CTX：RUNCONTEXT [researchContext]，主题：str） - > str：> str：
    主题= toble.strip（）。下（）
    如果在主题中“”：
        子主题= topic.split（'in'）
        main_topic =子主题[0] .STRIP（）
        上下文=子主题[1] .STRIP（）
        rifined_query = f“ all：{main_topic}和cat：{context.replace（''，'_''）}”
    别的：
        精制= f“ ti：\” {topip} \“或abs：\” {topip} \“”
    返回精炼_Query

登录后复制

改进的实现使输入归一化，解析上下文提示（“在”），构建结构化查询，并包括有关更广泛主题的后备处理。这会导致更精确的搜索。

用纸质检索代理有效地获取研究论文

论文检索代理与外部API（如Arxiv）相互作用，以根据精制查询检索相关论文。它使用Pydantic模型来一致的数据处理。

 @paper_retrieval_agent.tool
异步def fetch_papers（ctx：runcontext [researchContext]） - > list [papermetadata]：
    搜索= arxiv.Search（query = ctx.deps.query，max_results = 5，sort_by = arxiv.sortcriterion.submitteddate）
    结果= list（search.results（））
    论文= []
    结果结果：
        如果hasattr（结果，“已发布”）和结果。发布并非没有其他“未知”
        paper = papermetadata（title = result.title，abract.sust.summary，authors = [作者in result.authors in result.authors]，publication_date = publined_date = publined_str）
        论文。附录（纸）
    返回论文

登录后复制

Pydantic确保数据验证和一致性，从而简化下游处理。

用关键字提取代理提取有价值的关键字

关键字提取代理从摘要中标识关键术语，以帮助研究人员快速评估纸张相关性。

 @keyword_extraction_agent.tool
异步def extract_keywords（ctx：runcontext [researchContext]，摘要：str） - > keywordresult：
    单词= Abstract.split（）
    sew = set（）
    unique_words = []
    用单词词：
        归一化= Word.Strip（'。，;：“（）'）。下（）
        如果将归一化和标准化，则不可见：
            SEED.ADD（归一化）
            unique_words.append（归一化）
        如果len（unique_words）> = 5：
            休息
    返回keywordresult（keywords = unique_words）

登录后复制

这是一个简化的示例；生产系统将使用更先进的NLP技术。 Pydantic保持结构化的，一致的输出。

用摘要代理简化论文

摘要代理生成了摘要的简洁摘要。

 @summary_agent.tool
async def summarize_paper（ctx：runcontext [researchContext]，摘要：str） - > papersummary：
    summary_text =摘要[：150]
    返回论文（摘要= summary_text）

登录后复制

这是一个基本示例；高级摘要模型可以显着提高摘要的质量。

将所有内容融合在一起：代理编排

路由器代理协调整个工作流程。

 @router_agent.tool
异步def Orchestrate_workflow（ctx：runcontext [researchContext]） - > str：
    repined_query =等待提示
    论文=等待paper_retrieval_agent.run（rupined_query.data，deps = ctx.deps）
    响应=“最终报告：\ n”
    对于纸张中的纸。data：
        关键字=等待关键word_extraction_agent.run（paper.abstract，deps = ctx.deps）
        摘要=等待summary_agent.run（paper.abstract，deps = ctx.deps）
        响应=（（
            f“ \ ntitle：{paper.title} \ n”
            f“关键字：{keywords.data.keywords} \ n”
            f“摘要：{summary.data.summary} \ n”
        ）
    返回响应

登录后复制

这使用异步操作提高效率。结构化的记录辅助调试。

通过结构化数据生成专业输出

结构化数据将转换为专业的PDF报告。

 def generate_pdf_report（report_text：str，output_filename：str =“ final_report.pdf”）：
    导入Markdown2
    从XHTML2PDF导入PISA
    html_text = markdown2.markdown（report_text）
    使用opent（output_filename，“ wb”）作为result_file：
        pisa.createpdf（html_text，dest = result_file）

登录后复制

这利用结构化数据可轻松转换为可读的PDF。