OpenDevin이 대형 모델 에이전트 개발자가 꼭 읽어야 할 기술 보고서를 발표했습니다.

인기 있는 범용 대형 모델 에이전트 플랫폼.

올해 3월, '세계 최초의 AI 소프트웨어 엔지니어' 데빈이 AI 서클을 폭발시켰습니다. 이전 AI 프로그래밍 도우미와 달리 Devin은 프로그래밍을 지원하는 역할을 수행하는 것이 아니라 전체 개발 프로젝트를 독립적으로 엔드 투 엔드로 완료할 수 있습니다.

Devin의 탄생을 통해 대형 모델 에이전트의 강력한 기능을 감상할 수 있습니다. 곧 이를 모방하려는 수많은 오픈소스 프로젝트가 업계에 등장했고, 그중 오픈데빈(OpenDevin)이 가장 눈에 띄었다.

OpenDevin은 소프트웨어를 통해 세계와 상호 작용하는 범용 에이전트를 개발하기 위한 플랫폼입니다.

• 대형 모델 에이전트, 인터페이스 및 환경 간의 상호 작용 메커니즘

• 에이전트 사용 가능 샌드박스 운영 시스템 + 웹 브라우저 환경

• 코드 생성 및 실행을 위한 인터페이스

• 평가 프레임워크.

• 현재 OpenDevin의 GitHub는 29,000개 이상의 별을 받았습니다.

최근 OpenaDevin 팀은 이 도구에 대한 기술 보고서를 발표했습니다.

보고서 주소: https://arxiv.org/pdf/2407.16741

기술 보고서에는 OpenDevin의 저자, ​​일리노이 대학교 어바나 샴페인, 카네기 멜론 대학교 및 기타 기관의 학자들이 OpenDevin을 소개했습니다. 구체적으로는 소프트웨어를 통해 세상과 소통하는 일반 및 전문 AI 에이전트 개발을 목표로 하는 커뮤니티 중심의 플랫폼이다.

더 중요한 것은 OpenDevin이 개념적 프레임워크일 뿐만 아니라 포괄적이고 즉시 사용 가능한 에이전트, 환경 및 평가 구현도 포함하고 있다는 것입니다. 이 보고서가 작성되는 시점을 기준으로 OpenDevin에는 CodeAct 아키텍처를 기반으로 구현된 강력한 일반 에이전트를 포함하여 10개 이상의 에이전트가 구현되었으며 웹 검색 및 코드 편집을 위한 추가 기능이 있는 에이전트 센터가 포함되어 있습니다. 에이전트와의 사용자 상호 작용은 에이전트의 현재 작업을 시각화하고 실시간 피드백을 허용하는 채팅 인터페이스를 통해 이루어집니다. 또한 평가 프레임워크는 현재 상담원 성과를 평가하는 데 사용할 수 있는 15개의 벤치마크를 지원합니다.

OpenDevin Architecture

이 기사에서 저자는 다음 측면에서 OpenDevin을 설명합니다. (1) 에이전트를 정의하고 구현하는 방법 (2) 작업 실행이 관찰을 촉진하는 방법; 에이전트를 위한 도구 기술(4) 여러 에이전트를 결합하여 작업을 해결하는 방법.

에이전트 정의 및 구현 방법

에이전트는 환경의 상태를 감지하고 사용자가 지정한 작업을 해결할 때 수행할 작업을 생성할 수 있습니다. 상태 및 이벤트 스트리밍. OpenDevin에서 상태는 에이전트가 작업을 수행하는 데 필요한 모든 관련 정보를 캡슐화하는 데이터 구조입니다. 이 상태의 핵심 구성 요소는 과거 작업과 관찰 내용을 시간순으로 모아 놓은 이벤트 스트리밍입니다.

액션. CodeAct에서 영감을 받은 OpenDevin은 핵심 작업 세트를 통해 에이전트를 환경에 연결합니다. IPythonRunCellAction 및 CmdRunAction 작업을 통해 에이전트는 샌드박스 환경(예: 안전하게 격리된 Linux 운영 체제) 내에서 임의의 Python 코드 및 bash 명령을 실행할 수 있습니다. BrowserInteractiveAction을 사용하면 에이전트가 웹 브라우저와 상호 작용할 수 있습니다.

관찰하세요. 관찰은 에이전트가 관찰한 환경의 변화를 설명합니다. 이는 에이전트의 동작에 의해 발생할 수도 있고 아닐 수도 있습니다. 1) 사용자가 제공한 자연어 명령, 2) 에이전트의 이전 동작의 실행 결과(예: 코드 실행 결과 등)일 수 있습니다.

새로운 에이전트를 구현하세요. 에이전트 디자인은 간단하면서도 강력하므로 사용자는 다양한 작업을 위해 에이전트를 쉽게 만들고 사용자 지정할 수 있습니다. 핵심은 현재 상태를 입력으로 사용하고 에이전트의 논리에 따라 적절한 작업을 생성하는 단계 함수에 있습니다. 그림 2는 에이전트 추상화를 위한 단순화된 예제 코드를 보여줍니다.

액션 실행 결과 관찰

Agent Runtime은 에이전트에 인간 소프트웨어 개발자와 유사한 액션 공간을 제공하여 OpenDevin이 복잡한 소프트웨어 개발 작업을 포함한 다양한 소프트웨어 개발 및 웹 기반 작업을 처리할 수 있도록 합니다. , 데이터 분석 프로젝트, 웹 브라우징 작업 등이 있습니다. 이를 통해 에이전트는 bash 터미널에 액세스하여 코드 및 명령줄 도구를 실행하고, Jupyter 노트북을 활용하여 즉시 코드를 작성 및 실행하고, 웹 브라우저와 상호 작용하여 웹 기반 작업(예: 정보 검색)을 수행할 수 있습니다.

Extensible Agent-Computer Interface

Les auteurs ont construit une bibliothèque AgentSkills, une boîte à outils conçue pour améliorer les capacités des agents, fournissant des utilitaires non facilement disponibles avec les commandes bash de base ou le code python.

Interaction multi-agents

OpenDevin permet à plusieurs agents d'interagir. Pour y parvenir, les auteurs ont utilisé un type d'action spécial, AgentDelegateAction, qui permet à un agent de déléguer des sous-tâches spécifiques à un autre agent.

Évaluation

Cette section compare OpenDevin (abrégé en OD dans les résultats expérimentaux suivants) avec des méthodes de base reproductibles open source. Ces 15 benchmarks couvrent des tâches telles que l'ingénierie logicielle, la navigation Web, etc.

Le tableau 3 montre que même si l'agent OpenDevin n'atteint pas des performances optimales dans chaque catégorie, il est conçu dans un souci de généralité.

Le Tableau 4 rapporte les résultats de l'agent sur des benchmarks d'ingénierie logicielle.

Plus précisément :

SWE-bench est conçu pour évaluer la capacité d'un agent à résoudre les problèmes de GitHub, tels que les rapports de bogues ou les demandes de fonctionnalités. Comme le montre le tableau 4, la dernière version de CodeActAgent v1.8 présentée dans cet article, basée sur Claude-3.5-sonnet, présente un taux de résolution de problèmes allant jusqu'à 26 % par rapport à d'autres agents open source spécifiquement utilisés pour le développement de logiciels.

HumanEvalFix. OpenDevin CodeActAgent a corrigé avec succès 79,3 % des erreurs dans les divisions Python, surpassant considérablement toutes les méthodes non-agent et doublant presque les performances de StarCoder2-15B.

L'agent OpenDevin basé sur GPT-4o a atteint le taux de réussite le plus élevé de 76,47 % sur ML-Bench, ce qui est meilleur que SWE-Agent (42,64 %).

Gorilla APIBench examine la capacité d'un agent à utiliser les API. OpenDevin utilisant GPT-4o atteint un taux de réussite de 36,4 %, surpassant les références qui ne sont pas spécifiquement adaptées aux appels d'API.

ToolQA évalue la capacité d’un agent à utiliser des outils externes. OpenDevin avec GPT-4o affiche les performances les plus élevées par rapport à toutes les références. L'agent a obtenu de meilleurs résultats dans les tâches liées à l'utilisation des outils CSV et de base de données, mais avait besoin d'amélioration dans l'utilisation des outils mathématiques et de calculatrice.

Le tableau 5 rapporte les résultats de l'évaluation sur le benchmark de navigation Web.

Le tableau 6 présente les résultats de divers benchmarks auxiliaires.

Parmi eux, GAIA est utilisé pour évaluer la capacité de l'agent à résoudre des tâches générales. Les résultats montrent que l'agent a obtenu un score de 32,1 sur GAIA, ce qui est significativement amélioré par rapport à l'AutoGPT d'origine.

GPQA est utilisé pour évaluer la capacité d'un agent à coordonner l'utilisation d'outils tout en résolvant des problèmes difficiles de niveau universitaire. Les résultats sont présentés dans les tableaux 6 et 7. OpenDevin intègre des fonctions qui prennent en charge l'utilisation de plusieurs outils et de recherche sur le Web, permettant à l'agent de mieux résoudre des problèmes complexes en plusieurs étapes.

Pour plus de résultats, veuillez vous référer à l'article original.

위 내용은 OpenDevin이 대형 모델 에이전트 개발자가 꼭 읽어야 할 기술 보고서를 발표했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!