OpenDevin has released a technical report, a must-read for large model Agent developers

人気のユニバーサル大型モデルエージェントプラットフォーム。

今年 3 月、「世界初の AI ソフトウェア エンジニア」デビンが AI サークルを爆発させました。これまでの AI プログラミング アシスタントとは異なり、Devin はプログラミングを支援する役割を果たすだけでなく、開発プロジェクト全体を独立してエンドツーエンドで完了することができます。

Devin の誕生により、私たちは大規模モデル エージェントの強力な能力を理解できるようになりました。すぐに、それを模倣しようとする多くのオープンソース プロジェクトが業界に現れました。その中でも、OpenDevin は際立って最も注目を集めました。

OpenDevin は、ソフトウェアを通じて世界と対話する汎用エージェントを開発するためのプラットフォームです。その機能には以下が含まれます:

• 大規模モデルのエージェント、インターフェース、環境間の対話メカニズム

• エージェントが利用可能なサンドボックス操作Web ブラウザ環境、

• コードを作成および実行するためのインターフェイス、

• 評価フレームワーク。

• 現在、OpenDevin の GitHub には 29,000 個を超えるスターが付いています。

最近、OpenaDevin チームはこのツールに関する技術レポートをリリースしました。

レポートアドレス: https://arxiv.org/pdf/2407.16741

技術レポートでは、OpenDevin の著者、イリノイ大学アーバナシャンペーン校、カーネギーメロン大学およびその他の機関の学者が OpenDevin を紹介しました。詳細には、これは、ソフトウェアを通じて世界と対話する汎用および特殊な AI エージェントの開発を目的としたコミュニティ主導のプラットフォームです。

さらに重要なのは、OpenDevin は概念的なフレームワークであるだけでなく、包括的ですぐに使用できるエージェント、環境、評価の実装も含まれていることです。このレポートの時点で、OpenDevin には、CodeAct アーキテクチャに基づいて実装された強力な一般エージェントを含む 10 を超えるエージェントが実装されているエージェント センターが含まれており、Web ブラウジングとコード編集のための機能が追加されています。ユーザーとエージェントの対話はチャット インターフェイスを通じて行われ、エージェントの現在の操作が視覚化され、リアルタイムのフィードバックが可能になります。さらに、評価フレームワークは現在、エージェントのパフォーマンスの評価に使用できる 15 のベンチマークをサポートしています。

OpenDevin アーキテクチャ

この記事では、著者は次の側面から OpenDevin について説明します: (1) エージェントを定義および実装する方法、(2) アクションの実行により観察が促進される方法、(3) 一般的に使用される管理および拡張方法。エージェント向けのツール スキル (4) 複数のエージェントを組み合わせてタスクを解決する方法。

エージェントを定義および実装する方法

エージェントは環境の状態を感知し、ユーザー指定のタスクを解決するときに実行されるアクションを生成できます。 ステータスとイベントのストリーミング。 OpenDevin では、状態は、エージェントがタスクを実行するために関連するすべての情報をカプセル化するデータ構造です。この状態の重要なコンポーネントは、過去のアクションと観察の時系列のコレクションであるイベント ストリーミングです。

アクション。 CodeAct からインスピレーションを得た OpenDevin は、アクションのコア セットを通じてエージェントを環境に接続します。アクション IPythonRunCellAction および CmdRunAction を使用すると、エージェントはサンドボックス環境 (安全に分離された Linux オペレーティング システムなど) 内で任意の Python コードおよび bash コマンドを実行できます。 BrowserInteractiveAction を使用すると、エージェントは Web ブラウザと対話できるようになります。

観察してください。観測値は、エージェントによって観測された環境の変化を記述します。これは、エージェントのアクションによって引き起こされる場合とそうでない場合があります。1) ユーザーによって与えられた自然言語命令、2) エージェントの以前のアクションの実行結果 (コード実行結果など) が考えられます。

新しいエージェントを実装します。エージェントの設計はシンプルでありながら強力であるため、ユーザーはさまざまなタスク用にエージェントを簡単に作成およびカスタマイズできます。核心はステップ関数にあり、現在の状態を入力として受け取り、エージェントのロジックに基づいて適切なアクションを生成します。図 2 は、エージェント抽象化の簡略化されたコード例を示しています。

アクションの実行結果を観察する

エージェント ランタイムは、人間のソフトウェア開発者と同等のアクション スペースをエージェントに提供し、OpenDevin が複雑なソフトウェア開発作業プロセスを含む、さまざまなソフトウェア開発や Web ベースのタスクを処理できるようにします。 、データ分析プロジェクト、Web 閲覧タスクなど。これにより、エージェントは bash ターミナルにアクセスしてコードやコマンドライン ツールを実行したり、Jupyter ノートブックを活用してオンザフライでコードを作成および実行したり、Web ブラウザと対話して Web ベースのタスク (情報検索など) を実行したりすることができます。

Extensible Agent-Computer Interface

The author has built an AgentSkills library, a toolbox designed to enhance the capabilities of agents, providing utilities not readily available with basic bash commands or python code.

Multi-agent interaction

OpenDevin allows multiple agents to interact. To achieve this, the authors used a special action type, AgentDelegateAction, which allows an agent to delegate specific subtasks to another agent.

Evaluation

This section compares OpenDevin (abbreviated as OD in the following experimental results) with open source reproducible baseline methods. These 15 benchmarks cover tasks such as software engineering, web browsing, and more.

Table 3 shows that while the OpenDevin agent may not achieve optimal performance in every category, it is designed with generality in mind.

Table 4 reports the results of the agent on software engineering benchmarks.

Specifically:

SWE-bench is designed to evaluate an agent's ability to solve GitHub issues, such as bug reports or feature requests. As shown in Table 4, the latest version of CodeActAgent v1.8 in this article, based on claude-3.5-sonnet, has a problem solving rate of up to 26% compared with other open source agents specifically used for software development.

HumanEvalFix. OpenDevin CodeActAgent successfully fixed 79.3% of errors in Python splits, significantly outperforming all non-agent methods and almost doubling the performance of StarCoder2-15B.

The OpenDevin agent based on GPT-4o achieved the highest success rate of 76.47% on ML-Bench, which is better than SWE-Agent (42.64%).

Gorilla APIBench examines an agent’s ability to use APIs. OpenDevin using GPT-4o achieves a success rate of 36.4%, outperforming baselines that are not specifically fine-tuned for API calls.

ToolQA evaluates an agent’s ability to use external tools. OpenDevin with GPT-4o shows the highest performance compared to all baselines. The agent performed better on tasks related to CSV and database tool use, but needed improvement in math and calculator tool use.

Table 5 reports the evaluation results on the web browsing benchmark.

Table 6 reports the results of various auxiliary benchmarks.

Among them, GAIA is used to evaluate the agent's ability to solve general tasks. The results show that the agent achieved a score of 32.1 on GAIA, which is significantly improved than the original AutoGPT.

GPQA is used to assess an agent’s ability to coordinate the use of tools while solving challenging graduate-level problems. The results are shown in Tables 6 and 7. OpenDevin integrates functions that support the use of multiple tools and web searches, allowing the agent to better solve complex multi-step problems.

For more results, please refer to the original paper.

The above is the detailed content of OpenDevin has released a technical report, a must-read for large model Agent developers. For more information, please follow other related articles on the PHP Chinese website!