'독립적으로 진화'할 수 있는 에이전트? 최초의 엔드투엔드 에이전트 기호 학습 프레임워크는 오픈 소스입니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

이 기사의 주요 저자는 Waveform Intelligence, Zhejiang University 및 Beihang University 출신입니다. 공동 작업에서 Zhou Wangchunshu는 Waveform Intelligence의 공동 창립자이자 CTO이고, Ou Yixin은 Zhejiang University의 2년차 석사 학위 학생이며, Ding Shengwei는 Beihang University의 4년차 학부생입니다. 기사의 교신 저자는 Zhou Wang Chunshu와 Jiang Yuchen이며 Waveform Intelligence의 공동 창립자이자 CEO입니다.

다양한 대형 모델 API의 반복과 다양한 AI Agent 프레임워크의 오픈 소스를 통해 대형 모델 기반 에이전트는 학계와 업계에서 광범위한 관심과 연구 및 적용을 얻었습니다.

대형 모델 기반 에이전트(AI 에이전트)가 많은 시나리오에서 좋은 결과를 얻었고 일부 시나리오에서 실제로 적용될 수 있음에도 불구하고 AI 에이전트 연구 개발의 진행은 여전히 ​​"전문가" 중심으로 제한되어 있습니다. ” 또는 “엔지니어링 중심” 패러다임. 즉, 현재 에이전트 생성 및 조정 프로세스는 에이전트의 프롬프트, 도구 및 워크플로를 설계하기 위해 여전히 인간 전문가(알고리즘 엔지니어)의 인력과 경험에 거의 전적으로 의존하고 있습니다. 이러한 프로세스는 시간이 많이 걸리고 노동 집약적이며 에이전트의 이러한 상징적 요소를 학습하고 훈련하는 데 막대한 데이터를 사용할 수 없습니다. 대부분의 에이전트는 비공개 소스 API 호출에 의존하며 대규모 모델 기반 자체를 최적화할 수 없습니다. 오픈 소스 대규모 모델을 사용하더라도 대부분의 AI 에이전트 애플리케이션 시나리오에서는 모델 기반 자체의 최적화가 리소스에 의해 제한될 수 없습니다. 컴퓨팅 성능, 안정성 등의 이유로 실제로 구현되었습니다. 따라서 현재의 지능형 에이전트는 여전히 "전문가 시스템"의 개발 단계에 있습니다.

우리 모두 알고 있듯이 신경망이 기계 학습/인공 지능의 기본 패러다임이 된 중요한 이유는 바로 복잡한 구조를 수동으로 설계하고 학습할 필요 없이 훈련과 최적화를 위해 방대한 데이터를 효율적으로 사용할 수 있기 때문입니다. 알고리즘. 따라서 Waveform Intelligence의 연구원들은 AI 에이전트가 전문가 중심에서 데이터 중심으로 전환하는 것이 대규모 모델 기반의 지능형 에이전트에 중요한 발전이 될 것이라고 믿습니다.

이 목표를 달성하기 위해 Waveform Intelligence의 연구팀은 신경망을 훈련시키기 위한 연결주의 학습(connectionist learning), 즉 역전파와 경사하강법의 기본 방법을 활용하여 AI Agent와 신경망을 비유하고, 텍스트 및 대형 모델 모델 손실 함수, 경사 및 최적화 프로그램을 사용하고, 역전파 및 경사 하강 알고리즘을 시뮬레이션하고, 에이전트에 대한 종단 간 기호 훈련 알고리즘을 구현하고, AI 에이전트의 종단 간 훈련을 위한 알고리즘 세트를 구축합니다. . 프레임워크와 코드는 GitHub에서 오픈 소스로 제공됩니다.

• 문서 주소: https://arxiv.org/pdf/2406.18532
• 코드 저장소: https://github.com/aiwaves-cn/agents

특별히 Sai 디 팀은 먼저 대규모 모델 기반 에이전트를 프롬프트, 도구, 에이전트 파이프라인(워크플로)이라는 세 가지 주요 요소로 분해했습니다. 다음으로 프레임워크에서 에이전트 시스템은 "기호" 신경망으로 간주되고, 에이전트 워크플로의 각 노드는 네트워크의 레이어로 간주되며, 각 노드의 프롬프트와 도구는 다음과 같이 간주됩니다. 레이어와 에이전트의 워크플로우/파이프라인은 네트워크의 계산 그래프로 간주될 수 있습니다. 이런 방식으로 에이전트 시스템은 가중치가 숫자/텐서 공간에서 이산 기호 공간(텍스트와 코드는 기호 표현임)으로 변경되는 신경망으로 간주될 수 있으며 이러한 종류의 네트워크 훈련은 자연스럽게 전통적인 최적화 방법을 참조할 수 있습니다. 신경망, 즉 역전파와 경사하강법.

                                 ^{图 1: Agent Symbolic Learning 框架示意图}

要使传统的反向传播和梯度下降能够处理符号化的权重空间，agent symbolic learning 框架中通过文本和大模型 + 提示词的方式建模了损失，损失函数，反向传播的流程，梯度，以及基于梯度的优化器。具体来说，前向传播过程中，框架会将每一层的输入、权重、和输出都保存在计算图中。接下来，通过大模型 + 提示词的方式，在提示词中结合当前样本的输入，输出，和整体任务的描述，之后由大语言模型输出对当前样本任务完成情况的评价和总结。得到的文本形式的评价 / 总结，正如神经网络中的 loss 一样，用来衡量任务完成的好坏，研究团队将其称为 “文本形式的损失”，即 language-based loss。

之后，该研究通过大语言模型和精心设计的提示词工程，来生成智能体流程中对最后一个节点的 “反思”。反思中包括模型的输出应该怎样变化才能更符合要求，以及提示词和工具调用应该如何优化才能使输出朝这样的方向发生变化。这一内容和神经网络优化中梯度的作用刚好一致，都是包含了参数应该如何调整才能最小化整个模型的损失的信息，因此研究团队将这样的反思称作 “文本形式的梯度”，即 language-based gradient。

接下来要做的就是从后向前，得到每一层的梯度，这对于神经网络的优化至关重要。受到神经网络中基于链式法则的公式的反向传播的启发，波形智能的研究人员通过文本和大模型，用一套精心设计的 prompt 来模拟了传统神经网络优化的链式法则。具体来说，这套 prompts 让大模型基于上一层的梯度信息 (即对上一层执行任务的反思) 以及本层的输入、输出、以及权重 (这些输入和反向传播公式中的参数完全对应)，输出对当前节点的 prompt/tool usage 的反思，即当前层的 language-based gradient。这样基于文本的反向传播的方案使得该研究能够得到一个包含多个节点和复杂 workflow 的智能体中每一节点 / 层的参数的梯度，也就可以直接优化每一个 prompt 和 tool 对整个智能体性能的作用，从而实现 end-to-end 的 joint optimization。

最后，得到了每组参数的 language-based gradient 之后，框架中使用基于大模型的 optimizer，使用精心设计的 prompt，以每一层的提示词和工具调用，以及基于文本的梯度作为输入，输出优化过后的 prompts 和 tools，从而实现对智能体参数的更新。

除此之外，框架中还支持了对网络结构，即 agent workflow 的优化。具体来说，框架中将 agent workflow 以特定的编程语言进行表示，这样就将智能体网络的 “计算图” 也处理成了符号化的权重。之后通过一个单独设计的基于大模型的优化器，以当前智能体的工作流和工作流中的各个节点的文本形式的梯度为输入来对智能体的工作流进行更新。这在神经网络中训练中可以类比自动网络结构搜索相关的研究。

                               ^{图 2: Agent Symbolic Learning 算法流程}

                                 ^{图 3 大模型评测任务上的实验结果}

^{Rajah 4 Keputusan eksperimen tugas penilaian peringkat ejen}

penyelidik perisikan gelombang menilai algoritma pada satu siri tanda aras untuk model dan ejen besar, seperti yang ditunjukkan dalam Rajah 3 dan 4 ia menunjukkan bahawa simbolik ejen pembelajaran telah meningkat dengan ketara pada pelbagai tugas berbanding dengan DSpy dan rangka kerja ejen tradisional tanpa keupayaan pembelajaran Dalam sesetengah tugas, ia juga boleh menggunakan GPT-3.5 untuk bersaing dengan rangka kerja ejen lain. Walau bagaimanapun, hanya menggunakan algoritma pengoptimuman automatik perkataan gesaan tempatan (AutoPE) berdasarkan model bahasa yang besar untuk perkataan gesaan dalam setiap nod dalam ejen tidak boleh mencapai hasil yang jelas. Di samping itu, seperti yang ditunjukkan dalam Rajah 5, dalam tugasan penulisan kreatif, algoritma telah berkembang secara bebas daripada agen nod tunggal awal yang hanya menulis berdasarkan satu perkataan gesaan kepada aliran kerja yang menyokong penulisan + penyuntingan, dan perkataan gesaan bagi menulis nod Dikemas kini dan dioptimumkan. S Rajah 5 Rangka Kerja Pembelajaran Simbolik Agen Kesan Kesan Pembelajaran (ambil tugasan penulisan kreatif sebagai contoh)

^{Pasukan penyelidik kecerdasan bentuk gelombang memperkenalkan dua senario aplikasi Pembelajaran Simbolik Agen. Pertama, rangka kerja itu boleh digunakan oleh pembangun atau penyelidik untuk mencipta dan menala sistem ejen. Seperti latihan rangkaian saraf, pembangun dan penyelidik boleh mengumpul (atau menggunakan penjanaan automatik yang disediakan dalam rangka kerja) sejumlah besar sampel untuk tugasan tertentu, dan kemudian menggunakan rangka kerja untuk melengkapkan latihan ejen "berpusatkan data" secara besar-besaran. jumlah data selepas latihan dan pengoptimuman, sama seperti penggunaan ejen biasa, ejen yang dioptimumkan digunakan secara statik dalam persekitaran pengeluaran.}

Selain itu, satu lagi senario aplikasi penting rangka kerja ini adalah untuk menyokong Ejen yang boleh berkembang secara autonomi dalam persekitaran/interaksi. Khususnya, kerana rangka kerja latihan itu sendiri hanya perlu memanggil keupayaan model besar tanpa latihan dan penggunaan berasaskan GPU yang kompleks, Agen boleh menggunakan rangka kerja latihan sebagai alat yang boleh dipanggil dengan meneroka persekitaran Atau dalam proses berinteraksi dengan manusia, ia secara berterusan mengumpul sampel latihan baharu, secara kerap atau aktif memanggil alatan algoritma untuk latihan ejen, dan mengemas kini gesaan, alatan dan aliran kerjanya sendiri. Waveform Intelligence juga menyokong logik penggunaan sedemikian dalam pangkalan kod sumber terbuka Ejen AIWaves, merealisasikan sistem ejen pertama yang boleh terus berkembang dan berulang secara bebas selepas digunakan pada produk dan persekitaran pengeluaran sebenar.

Rangka kerja Pembelajaran Simbolik Agen menganggap AI Agent sebagai "rangkaian saraf" simbolik yang disambungkan oleh gesaan dan alatan dalam aliran kerja yang kompleks Dengan mensimulasikan perambatan balik dan keturunan kecerunan berdasarkan bahasa semula jadi, ia membolehkan Ejen berasaskan model berskala besar. boleh mengoptimumkan "parameter rangkaian" sendiri secara bebas, iaitu gesaan dan alatan serta "struktur rangkaian"nya, iaitu aliran kerja ejen, dengan itu mencapai kecerdasan yang boleh menggunakan sejumlah besar data dan pengalaman dengan cekap serta melaksanakan "pembelajaran berpusatkan data. " Rangka kerja ejen membolehkan sistem ejen pintar yang boleh terus berkembang secara autonomi. Pada masa ini, rangka kerja ini telah memainkan peranan dalam pelbagai produk dan aplikasi Waveform Intelligence, menyelesaikan masalah pengoptimuman manual yang sukar dan penilaian Ejen. Untuk mempromosikan pembangunan dan penyelidikan "Ejen Berpusatkan Data" dan "Pembelajaran Agen", pasukan penyelidik Waveform Intelligence juga telah membuka sumber semua kod algoritma Kami menantikan kalangan akademik dan industri di lapangan daripada ejen pintar meneroka algoritma dan aplikasi yang lebih menarik bersama-sama.

위 내용은 '독립적으로 진화'할 수 있는 에이전트? 최초의 엔드투엔드 에이전트 기호 학습 프레임워크는 오픈 소스입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!