早朝にリリースされたOpenAI「Strawberry」モデルがまた遅れた SWE-bench Verified とは？

誰かが「イチゴを期待していたのに、ケールが発売された。」この「ケール」が何に使われるのか見てみましょう。

大型モデルのプログラミング能力は常に大きな注目を集めており、超強力な AI プログラマー Devin の出現により、「AI はプログラマーに取って代わることができるか」というテーマが最前線に押し上げられました。最近、Devin は新たな敵、スタートアップ Cosine が立ち上げた自律型 AI プログラマー Genie も迎え入れました。同社によると、GenieはサードパーティのベンチマークであるSWEベンチで30％のスコアを出し、デビンを楽々と上回ったが、デビンのスコアはわずか13.8％だったという。

この SWE-Bench は、GitHub 上の実際のソフトウェアの問題を解決する LLM の能力を評価するために使用されるベンチマーク データセットです。 12 の人気のある Python リポジトリから 2,294 の Issue-Pull Request ペアを収集します。テスト中に、LLM はコード ベースと問題の説明を取得し、問題に記載されている問題を解決するパッチを生成します。このデータセットは、AI プログラミング能力の評価に広く使用されています。

AI プログラミング機能が進化するにつれて、このベンチマークも進化します。今朝早く、オンラインで報告された OpenAI の「Strawberry」モデルは再び遅れましたが、OpenAI は新しいものをリリースしました。これは SWE-Bench - SWE-bench Verified の改良版です。

OpenAI は、オリジナルの SWE ベンチには、モデルの自律的なソフトウェア エンジニアリング能力が過小評価される可能性のあるいくつかの問題があると指摘しました。したがって、改善プロセス中に、元の SWE-Bench 作成者と協力して手動スクリーニングと改善を実行し、単体テストの範囲が適切であり、問​​題の説明が明確であることを確認しました。

SWE-bench Verified の新しいテストでは、多くの AI プログラミング エージェントが以前よりも高いスコアを獲得しました。その中で、UIUC のエージェントレス ソリューションではスコアが 2 倍にもなりましたが、これは以前のベンチマークに AI プログラミング能力を過小評価するという欠陥があったことを証明していると OpenAI は考えています。

しかし、「ストロベリー」を見ている世界中のネチズンにとって、この発表はまだおざなりすぎます。ある人は、「イチゴを期待していたのに、ケールが出てしまった

」と言いました。

Latar belakang pada bangku SWE

Setiap contoh dalam set ujian bangku SWE telah dicipta daripada isu GitHub yang diselesaikan dalam 12 kod Python sumber terbuka berdasarkan GitHub. Setiap sampel mempunyai permintaan tarik (PR) berkaitan yang merangkumi kod penyelesaian dan ujian unit untuk mengesahkan ketepatan kod. Ujian unit ini dipanggil ujian FAIL_TO_PASS kerana ia gagal sebelum kod penyelesaian dalam PR ditambah dan lulus selepas ia ditambah. Setiap sampel juga termasuk ujian PASS_TO_PASS yang lulus sebelum dan selepas PR digabungkan untuk menyemak sama ada PR memecahkan ciri lain dalam pangkalan kod yang tidak berkaitan dengan isu tersebut.

Di bangku SWE, ejen AI mendapat teks asal daripada isu GitHub, iaitu penyataan masalah dan mempunyai akses kepada pangkalan kod. Memandangkan maklumat ini, ejen mesti mengedit fail dalam pangkalan kod untuk menyelesaikan masalah.

Edit yang diberikan oleh ejen AI akan dinilai dengan menjalankan ujian FAIL_TO_LULUS dan LULUS_TO_LULUS. Jika ujian FAIL_TO_PASS lulus, ini bermakna pengeditan telah menyelesaikan masalah. Jika ujian PASS_TO_PASS lulus, ini bermakna pengeditan tidak memecahkan bahagian luar asas kod. Untuk menyelesaikan sepenuhnya isu GitHub asal, kedua-dua set ujian mesti lulus.

Tiga arahan penambahbaikan untuk meningkatkan keteguhan dan kebolehpercayaan SWE-bench

Untuk meningkatkan keteguhan dan kebolehpercayaan SWE-bench. Pasukan pembangunan mengenal pasti tiga hala tuju utama untuk penambahbaikan:

• Ujian unit yang digunakan untuk menilai ketepatan penyelesaian selalunya terlalu spesifik dan kadangkala tidak relevan dengan masalah. Ini mungkin menyebabkan penyelesaian yang betul ditolak.
• Penerangan masalah bagi banyak sampel tidak cukup jelas, menyebabkan kekaburan tentang apakah masalah itu dan bagaimana ia harus diselesaikan.
• Kadangkala sukar untuk menyediakan persekitaran pembangunan bangku SWE untuk ejen, yang secara tidak sengaja boleh menyebabkan ujian unit gagal tanpa mengira penyelesaiannya. Dalam kes ini, penyelesaian yang sah sempurna mungkin dinilai sebagai tidak betul.

SWE-bench Verified

Untuk menangani isu ini, OpenAI melancarkan kempen anotasi manusia oleh pembangun perisian profesional pada setiap sampel dalam SWE-bench Saringan untuk memastikan ujian set ujian dilakukan skop yang sesuai dan huraian masalah adalah jelas dan tidak jelas.

Bersama-sama dengan pengarang SWE-bench, mereka mengeluarkan SWE-bench Verified: subset set ujian asal SWE-bench, yang mengandungi 500 sampel yang telah disahkan oleh anotasi manusia. Versi ini menggantikan suite ujian SWE-bench dan SWE-bench Lite yang asal. Selain itu, mereka mengeluarkan anotasi manusia untuk semua sampel ujian bangku SWE.

Mereka juga bekerjasama dengan pengarang SWE-bench untuk membangunkan alat penilaian baharu untuk SWE-bench yang menggunakan persekitaran Docker dalam kontena untuk memudahkan penilaian pada SWE-bench.

Alamat alat: https://github.com/princeton-nlp/SWE-bench/tree/main/docs/20240627_docker

kaedah penambahbaikan

OpenAI Bekerjasama dengan 93 pembangun perisian dengan pengalaman Python, menapis sampel bangku SWE secara manual, dan memberi anotasi 1699 sampel rawak dalam set ujian bangku SWE, dan akhirnya memperoleh SWE-bench Verified.

Pendekatan mereka adalah untuk menganotasi sampel dalam set ujian bangku SWE untuk memastikan kesaksamaan dan ketepatan ujian. Secara khusus, mereka menumpukan pada dua perkara utama: pertama, menilai sama ada huraian masalah cukup terperinci untuk menghalang penerangan yang terlalu kabur daripada menjadikan ujian tidak adil, kedua, menyemak sama ada ujian unit FAIL_TO_PASS tersalah menapis penyelesaian yang sah.

Setiap kriteria anotasi mempunyai label dalam julat [0, 1, 2, 3] dengan keterukan yang semakin meningkat. Label 0 dan 1 adalah kecil; label 2 dan 3 adalah teruk, menunjukkan bahawa sampel tidak mencukupi dalam beberapa cara dan harus dibuang.

Selain itu, OpenAI menilai kesukaran setiap sampel dengan meminta annotator untuk menganggarkan berapa lama masa yang diambil oleh pembangun untuk membuat keputusan dan melaksanakan penyelesaian, dengan mengandaikan sampel itu tidak mempunyai masalah. Akhir sekali, OpenAI menyediakan pilihan input bentuk bebas untuk membenderakan sebarang isu utama lain dengan sampel.

Untuk membina SWE-bench Verified, OpenAI menapis mana-mana sampel daripada set ujian asal dengan pernyataan masalah atau FAIL_TO_LULUS keterukan ujian unit 2 atau lebih, dan juga menapis semua sampel yang ditandakan dengan isu serius lain.

Hasil anotasi🎜🎜🎜🎜🎜🎜Mengikut piawaian baharu, sebahagian besar sampel dalam bangku SWE asal adalah tidak layak.Seperti yang ditunjukkan dalam rajah, 38.3% daripada sampel telah dibenderakan kerana pernyataan masalah tidak cukup jelas, dan 61.1% telah dibenderakan kerana ujian unit secara tidak adil boleh menandai penyelesaian yang sah sebagai tidak betul (Keterukan 2, 3 dua tahap ditambah bersama). Secara keseluruhannya, proses anotasi mereka menyebabkan 68.3% sampel bangku SWE ditapis kerana penyataan masalah yang tidak jelas, ujian unit yang tidak adil atau isu lain.

Rajah di bawah membandingkan taburan kesukaran set data bangku SWE asal dan set data Disahkan bangku SWE baharu. Mereka menganggarkan taburan kesukaran SWE-bench berdasarkan subset rawak 1699 sampel.

Seperti yang dapat dilihat daripada rajah, dalam set data bangku SWE asal, anggaran masa penyiapan kebanyakan (77.8%) sampel adalah kurang daripada satu jam bekerja untuk jurutera perisian yang berpengalaman. SWE-bench Lite dan set data SWE-bench Verified yang baharu meningkatkan lagi bahagian ini, dengan kurang daripada 10% masalah dijangka mengambil masa lebih sejam untuk diselesaikan. Walau bagaimanapun, mekanisme di sebalik perubahan ini agak berbeza: SWE-bench Lite ialah subsampling set data asal untuk memudahkan penandaarasan, manakala SWE-bench Verified cuba untuk mengalih keluar ciri yang tidak boleh dilaksanakan daripada sampel set data. . perancah menguji prestasi GPT-4o.

Didapati bahawa prestasi GPT-4o pada perancah berprestasi terbaik mencapai 33.2% pada SWE-bench Verified, iaitu lebih daripada dua kali ganda markah 16% pada SWE-bench yang asal. Secara keseluruhan, ini mengesahkan syak wasangka awal OpenAI bahawa bangku SWE asal meremehkan keupayaan ejen.

Perlu ambil perhatian bahawa lonjakan daripada SWE-bench Lite ke SWE-bench Verified tidak begitu ketara kerana selepas menapis, SWE-bench Lite sudah lebih mudah daripada set data penuh.

Analisis prestasi berstrata mengikut kesukaran

Apabila dinilai pada SWE-bench Verified, peningkatan prestasi mungkin sebahagiannya disebabkan oleh pengagihan sampel ujian yang condong ke arah sampel yang lebih mudah.

OpenAI menyiasat perkara ini dengan merancang prestasi berstrata mengikut kesukaran. Jika set data baharu hanya menukar pengedaran kesukaran untuk memasukkan sampel yang lebih mudah, prestasi berstrata dalam setiap kategori tidak berubah, seperti yang berlaku daripada bangku SWE asal kepada Bangku SWE Lite.

Sebaliknya, OpenAI memerhatikan bahawa prestasi ejen bertambah baik merentas kategori kesukaran apabila bertukar kepada SWE-bench Verified, selaras dengan kesan yang dijangkakan untuk mengalih keluar sampel yang mustahil daripada semua kategori, dan bukannya hanya mengalih keluar sampel yang sukar.

Pautan rujukan: https://openai.com/index/introducing-swe-bench-verified/

以上が早朝にリリースされたOpenAI「Strawberry」モデルがまた遅れた SWE-bench Verified とは？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。