Model penjanaan kod 3B sumber terbuka AI kestabilan: boleh dilengkapkan dan dinyahpepijat

Isnin ini, Stability AI menggunakan sumber terbuka model pra-latihan volum kecil Stable Code Instruct 3B.

Stable Code Instruct 3B ialah model bahasa pengekodan yang disesuaikan dengan arahan (Kod LM) berdasarkan Kod Stabil 3B. Dengan menyediakan gesaan bahasa semula jadi, model itu boleh digunakan untuk pelbagai tugas, termasuk penjanaan kod, masalah matematik dan tugas lain yang berkaitan dengan kejuruteraan perisian.

Stability AI mendakwa bahawa model mereka menunjukkan prestasi terkini pada skala 3B, mengatasi model skala yang lebih besar seperti CodeLlama's 7B Instruct dan juga memadankan model 15B StarChat dalam tugas berkaitan kejuruteraan perisian Prestasi adalah setanding.

• Model: https://huggingface.co/stabilityai/stable-code-instruct-3b
• /Huggingface stabilityai/stable-code-instruct-3b
• Laporan teknikal Kod Stabil: https://static1.squarespace.com/static/6213c340453c3f502425776e/t/6601c5713151018fed5151571315/6601c571315cd jadual _Code_TechReport_release.pdf

Arahan Kod Stabil 3B telah meningkatkan fungsi penyelesaian kodnya dan menyokong interaksi bahasa semula jadi, bertujuan untuk meningkatkan kecekapan dan intuitif tugasan pengaturcaraan dan pembangunan perisian. Keputusan eksperimen menunjukkan bahawa model ini berprestasi baik dalam pelbagai tugas berkaitan pengekodan, mengatasi prestasi model bersaing seperti Codellama 7B Instruct dan DeepSeek-Coder Instruct 1.3B.

Pengenalan kaedah

Kod Stabil adalah berdasarkan Stable LM 3B. Kod Stable ialah pengubah penyahkod tulen sebab, serupa dengan seni bina LLaMA Perbezaan utama daripada LLaMA adalah seperti berikut:

Benam kedudukan, benam kedudukan diputar digunakan pada 25% pertama dimensi benam kepala untuk meningkatkan daya pemprosesan. ;
Standardisasi, LayerNorm dengan istilah bias yang dipelajari;
Bias, kecuali bias untuk unjuran kunci, pertanyaan dan nilai, Kod Stable mengalih keluar semua istilah berat sebelah daripada rangkaian suapan dan lapisan perhatian diri berbilang kepala.

Jadual berikut menunjukkan berat pensampelan, zaman, kategori dan maklumat lain bagi set data korpus pra-latihan.

Menurut Laporan Tinjauan Pembangun Stack Overflow 2023, Stable Code Instruct 3B memfokuskan pada bahasa seperti Python, Javascript, Java, C, C++ yang berguna pelbagai pembangun Ia adalah yang paling popular dan berpengaruh. Walaupun bahasa ini dipilih sebagai fokus latihan, model ini juga dilatih pada bahasa lain yang diterima pakai secara meluas seperti SQL, PHP, dan Rust.

Arahan Kod Stabil 3B menyediakan prestasi ujian yang kukuh walaupun untuk bahasa yang pada mulanya tidak disertakan dalam set latihan (seperti Lua). Kecekapan ini berkemungkinan berpunca daripada pemahaman tentang prinsip pengekodan asas dan keupayaan untuk menyesuaikan konsep dalam persekitaran pengaturcaraan yang berbeza dengan mengambil kesempatan daripada kebolehramalan yang wujud dalam tugas pengekodan.

Stable Code Instruct 3B bukan sahaja mahir dalam penjanaan kod, tetapi juga mahir dalam tugasan FIM (Fill in the Middle), pertanyaan pangkalan data, terjemahan kod, tafsiran dan penciptaan. Arahannya ditala untuk membolehkannya memahami dan bertindak mengikut arahan bernuansa, memudahkan pelbagai tugas pengekodan melangkaui penyiapan kod mudah, termasuk pemahaman matematik, penaakulan logik dan memproses perihalan teknikal yang kompleks sekitar pembangunan perisian.

Penilaian Prestasi

Berbanding dengan model terkemuka seperti Codellama 7B Instruct dan DeepSeek-Coder Instruct 1.3B, Stable Code Instruct 3B menunjukkan prestasi unggul merentas pelbagai tugas pengekodan. 🎜🎜

Pasukan penyelidik juga membandingkan tiga model pada penanda aras Multi-PL. Walaupun mempunyai parameter yang lebih sedikit, Stable Code Instruct 3B mengatasi prestasi CodeLlama Instruct pada semua bahasa dengan ketara.

Jadual 8 di bawah menunjukkan prestasi beberapa model pada tugasan FIM:

Kod Arahan Eksperimen yang lebih baik menunjukkan kod kod kompaun semula jadi dan kod Arahan Eksperimen pemprosesan Setanding atau bahkan mengatasi model lain dari segi pemahaman arahan dan keupayaan untuk menjangkau bahasa pengaturcaraan yang berbeza.

Stable Code Instruct 3B saiz parameter dan keperluan perkakasan yang rendah menjadikannya boleh diakses oleh khalayak luas, membolehkan pembangun bekerja dengan lebih cekap. Perlu dinyatakan bahawa Stable Code Instruct 3B kini tersedia untuk tujuan komersial dengan keahlian Stability AI.

Atas ialah kandungan terperinci Model penjanaan kod 3B sumber terbuka AI kestabilan: boleh dilengkapkan dan dinyahpepijat. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!