


Kejuruteraan Trafik menggandakan ketepatan penjanaan kod: daripada 19% kepada 44%
Pengarang kertas baharu mencadangkan cara untuk "meningkatkan" penjanaan kod.
Penjanaan kod ialah keupayaan yang semakin penting dalam kecerdasan buatan. Ia secara automatik menjana kod komputer berdasarkan penerangan bahasa semula jadi dengan melatih model pembelajaran mesin. Teknologi ini mempunyai prospek aplikasi yang luas dan boleh mengubah spesifikasi perisian kepada kod yang boleh digunakan, mengautomasikan pembangunan bahagian belakang dan membantu pengaturcara manusia untuk meningkatkan kecekapan kerja.
Walau bagaimanapun, menjana kod berkualiti tinggi masih mencabar untuk sistem AI, berbanding tugas bahasa seperti terjemahan atau ringkasan. Kod mesti mematuhi sintaks bahasa pengaturcaraan sasaran dengan tepat, mengendalikan kes tepi dan input yang tidak dijangka dengan anggun, dan mengendalikan banyak butiran kecil perihalan masalah dengan tepat. Malah ralat kecil yang mungkin kelihatan tidak berbahaya di kawasan lain boleh mengganggu sepenuhnya kefungsian program, menyebabkan ia gagal untuk menyusun atau dijalankan.
Baru-baru ini, penyelidik di CodiumAI mencadangkan AlphaCodium, kaedah baharu yang boleh meningkatkan keupayaan penjanaan kod model bahasa besar seperti GPT-4 dengan ketara. Maksud mereka ialah hanya memperhalusi perkataan gesaan mempunyai batasan yang wujud dalam menyelesaikan masalah pengekodan yang kompleks. Sebaliknya, mereka mereka bentuk proses berbilang peringkat yang memfokuskan pada penjanaan, jalankan dan penyahpepijatan secara berulang terhadap kes ujian, yang membolehkan model belajar daripada amalan.
Keterbatasan Kejuruteraan Petunjuk
Dalam tugasan bahasa semula jadi, kejuruteraan pembayang merujuk kepada penalaan teliti kata-kata dan struktur pembayang untuk membimbing model menghasilkan output yang diingini. Contohnya, menambah frasa "Tulis ringkasan ringkas:" sebelum teks input boleh menyebabkan model menjana ringkasan yang lebih tepat.
Kejuruteraan segera telah terbukti sangat berkesan dalam melakukan penjanaan teks untuk membimbing tingkah laku model bahasa besar. Walau bagaimanapun, apabila ia datang kepada masalah pengekodan, penyelidik mendapati bahawa walaupun dengan pelarasan yang meluas tepat pada masanya, hanya keuntungan kecil boleh dicapai. Penemuan ini menimbulkan pemikiran. Oleh itu, menjana kod berkualiti tinggi masih memerlukan penyelesaian lain:
- Tepat padan sintaks bahasa pengaturcaraan sasaran
- Kendalikan kes sudut dan input yang tidak dijangka dengan anggun
- yang diterangkan dalam semua butiran kecil penyataan Dan keperluan
- pastikan kod disusun dan berjalan dengan betul untuk semua input yang sah
Keperluan struktur ini berada di luar skop penjanaan teks dan tidak boleh dikod keras ke dalam gesaan. Gesaan itu sendiri tidak mempunyai kemahiran pengekodan dan maklum balas konkrit yang diperlukan untuk pembelajaran model.
Proses Lelaran AlphaCodium
Untuk menangani cabaran ini, penyelidik membangunkan proses lelaran yang distruktur khusus untuk masalah penjanaan kod. Inovasi utama ialah menggunakan hasil pelaksanaan kod yang dijana sebagai isyarat pembelajaran untuk memberikan maklum balas langsung.
Proses AlphaCodium mempunyai dua peringkat utama:
Pra-pemprosesan- Model menghurai penerangan masalah ke dalam peluru untuk mengeluarkan butiran penting.
- Terangkan logik yang dimaksudkan di sebalik setiap contoh input/output.
- Sediakan dua atau tiga penyelesaian bahasa semula jadi.
- Jana kes ujian berbeza tambahan untuk liputan kod.
- Model menjana penyelesaian kod awal.
- Jalankan kod berulang kali terhadap kes ujian awam dan betulkan sebarang ralat yang berlaku.
- Lakukan perkara yang sama untuk kes ujian yang dihasilkan oleh model.
- Kes ujian tambahan ditambah pada rangkaian "sauh ujian" yang semakin meningkat untuk mengelakkan regresi.
Dengan membuat alasan secara berperingkat tentang masalah, membangunkan hipotesis penyelesaian, memperluaskan liputan ujian, dan menjana kod dan nyahpepijat secara berulang, model belajar melalui pengalaman—kemahiran yang diperlukan untuk penjanaan kod berkualiti tinggi.
Rajah 1. Contoh gesaan dengan output berstruktur (Jana Fasa Penyelesaian Kemungkinan)
Penyelidik mendapati bahawa mereka bentuk proses dengan antara muka dan matlamat yang jelas adalah lebih baik berbanding modul model hujung ke hujung untuk mendapatkan hasil yang lebih baik. Setiap fasa mula-mula memfokuskan pada subtugas yang lebih mudah untuk membina pengetahuan dan mendedahkan cerapan yang memaklumkan fasa hiliran. Peringkat huluan seperti penjanaan ujian tidak memerlukan penyelesaian lengkap, hanya penaakulan asas.
Hasil Eksperimen
Para penyelidik menilai AlphaCodium terhadap penanda aras CodeContests, yang mengandungi beratus-ratus masalah pengekodan daripada pertandingan pengaturcaraan yang kompetitif.
Rajah 2. Penerangan dan refleksi masalah - contoh soalan CodeContests biasa, refleksi kendiri tentang masalah berdasarkan kecerdasan buatan. Walaupun penerangan awal panjang dan kompleks, refleksi kendiri yang betul boleh menjadikan masalah lebih jelas dan lebih koheren, membawa kepada penyelesaian kod yang lebih baik
Berbanding model GPT-4, AlphaCodium akan mengesahkan berbanding dengan petua tunggal yang sangat dioptimumkan Kod ketepatan penjanaan pada set meningkat daripada 19% kepada 44%. Faedah ini berlaku merentas saiz model dan set ujian yang berbeza, dan jauh lebih berkesan daripada projek petunjuk yang berasingan.
AlphaCodium juga menunjukkan prestasi yang lebih baik daripada kaedah yang diterbitkan sebelum ini, seperti AlphaCode dan CodeChain, sambil menggunakan sumber pengkomputeran yang lebih sedikit. Contohnya, dengan mengelakkan penjanaan kekerasan yang tidak perlu, ketepatannya adalah setanding dengan AlphaCode sambil memerlukan pertanyaan model 10,000 kali lebih sedikit.
Hasil ini menunjukkan nilai mereka bentuk sistem AI secara holistik di sekitar struktur tugas, dan bukannya menganggapnya sebagai penjana teks tujuan umum. Dengan menggabungkan kod berulang yang berjalan dan menyahpepijat, AlphaCodium menyelaraskan proses latihan dengan lebih baik dengan matlamat utama untuk menghasilkan kod praktikal yang mantap.
Impak Yang Lebih Luas
Walaupun ditunjukkan terhadap masalah pengaturcaraan yang kompetitif, konsep yang digunakan dalam AlphaCodium memberikan pengalaman yang lebih luas terpakai untuk penjanaan kod yang memajukan AI:
- Kejuruteraan sahaja untuk bekerja dengan Terdapat had Kejuruteraan tugas kod yang kompleks. Pengalaman menyelesaikan masalah yang konkrit adalah kritikal.
- Spesifikasi pembangunan berasaskan ujian boleh menyediakan asas untuk latihan model. Ujian ini menyediakan fungsi kecergasan yang jelas.
- Penyahpepijatan kod berulang memfokuskan penambahbaikan model pada ralat yang sebenarnya berlaku.
- Pelanjutan liputan ujian menyerlahkan jurang generalisasi yang tidak kelihatan dalam pembayang.
- Pembuatan keputusan yang lembut dengan pengesahan berganda mengurangkan kerentanan dan berat sebelah.
AlphaCodium menyediakan paradigma baharu yang menjanjikan untuk penjanaan kod berdasarkan amalan terbaik kejuruteraan perisian. Masih terdapat soalan penyelidikan terbuka mengenai kebolehgeneralisasian dan overhed pengiraan. Tetapi prinsip yang dibentangkan di sini (belajar daripada pengalaman, pembangunan dipacu ujian, penaakulan modular dan penyahpepijatan berulang) nampaknya menyediakan asas yang kukuh untuk meningkatkan keupayaan pengekodan untuk AI.
Pautan kertas: https://arxiv.org/pdf/2401.08500.pdf.
Asas kod: https://github.com/Codium-ai/AlphaCodium.
Tajuk asal: "Kejuruteraan aliran" menggandakan ketepatan penjanaan kod (19% lwn 44%), pengarang: Mike Young
Pautan: https://notes.aimodels.fyi/flow-engineering-intensifies-for- penjanaan kod/.
Atas ialah kandungan terperinci Kejuruteraan Trafik menggandakan ketepatan penjanaan kod: daripada 19% kepada 44%. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Laman web ini melaporkan pada 27 Jun bahawa Jianying ialah perisian penyuntingan video yang dibangunkan oleh FaceMeng Technology, anak syarikat ByteDance Ia bergantung pada platform Douyin dan pada asasnya menghasilkan kandungan video pendek untuk pengguna platform tersebut Windows , MacOS dan sistem pengendalian lain. Jianying secara rasmi mengumumkan peningkatan sistem keahliannya dan melancarkan SVIP baharu, yang merangkumi pelbagai teknologi hitam AI, seperti terjemahan pintar, penonjolan pintar, pembungkusan pintar, sintesis manusia digital, dsb. Dari segi harga, yuran bulanan untuk keratan SVIP ialah 79 yuan, yuran tahunan ialah 599 yuan (nota di laman web ini: bersamaan dengan 49.9 yuan sebulan), langganan bulanan berterusan ialah 59 yuan sebulan, dan langganan tahunan berterusan ialah 499 yuan setahun (bersamaan dengan 41.6 yuan sebulan) . Di samping itu, pegawai yang dipotong juga menyatakan bahawa untuk meningkatkan pengalaman pengguna, mereka yang telah melanggan VIP asal

Tingkatkan produktiviti, kecekapan dan ketepatan pembangun dengan menggabungkan penjanaan dipertingkatkan semula dan memori semantik ke dalam pembantu pengekodan AI. Diterjemah daripada EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG, pengarang JanakiramMSV. Walaupun pembantu pengaturcaraan AI asas secara semulajadi membantu, mereka sering gagal memberikan cadangan kod yang paling relevan dan betul kerana mereka bergantung pada pemahaman umum bahasa perisian dan corak penulisan perisian yang paling biasa. Kod yang dijana oleh pembantu pengekodan ini sesuai untuk menyelesaikan masalah yang mereka bertanggungjawab untuk menyelesaikannya, tetapi selalunya tidak mematuhi piawaian pengekodan, konvensyen dan gaya pasukan individu. Ini selalunya menghasilkan cadangan yang perlu diubah suai atau diperhalusi agar kod itu diterima ke dalam aplikasi

Model Bahasa Besar (LLM) dilatih pada pangkalan data teks yang besar, di mana mereka memperoleh sejumlah besar pengetahuan dunia sebenar. Pengetahuan ini dibenamkan ke dalam parameter mereka dan kemudiannya boleh digunakan apabila diperlukan. Pengetahuan tentang model ini "diperbaharui" pada akhir latihan. Pada akhir pra-latihan, model sebenarnya berhenti belajar. Selaraskan atau perhalusi model untuk mempelajari cara memanfaatkan pengetahuan ini dan bertindak balas dengan lebih semula jadi kepada soalan pengguna. Tetapi kadangkala pengetahuan model tidak mencukupi, dan walaupun model boleh mengakses kandungan luaran melalui RAG, ia dianggap berfaedah untuk menyesuaikan model kepada domain baharu melalui penalaan halus. Penalaan halus ini dilakukan menggunakan input daripada anotasi manusia atau ciptaan LLM lain, di mana model menemui pengetahuan dunia sebenar tambahan dan menyepadukannya

Untuk mengetahui lebih lanjut tentang AIGC, sila layari: 51CTOAI.x Komuniti https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou berbeza daripada bank soalan tradisional yang boleh dilihat di mana-mana sahaja di Internet memerlukan pemikiran di luar kotak. Model Bahasa Besar (LLM) semakin penting dalam bidang sains data, kecerdasan buatan generatif (GenAI) dan kecerdasan buatan. Algoritma kompleks ini meningkatkan kemahiran manusia dan memacu kecekapan dan inovasi dalam banyak industri, menjadi kunci kepada syarikat untuk kekal berdaya saing. LLM mempunyai pelbagai aplikasi Ia boleh digunakan dalam bidang seperti pemprosesan bahasa semula jadi, penjanaan teks, pengecaman pertuturan dan sistem pengesyoran. Dengan belajar daripada sejumlah besar data, LLM dapat menjana teks

Editor |ScienceAI Question Answering (QA) set data memainkan peranan penting dalam mempromosikan penyelidikan pemprosesan bahasa semula jadi (NLP). Set data QA berkualiti tinggi bukan sahaja boleh digunakan untuk memperhalusi model, tetapi juga menilai dengan berkesan keupayaan model bahasa besar (LLM), terutamanya keupayaan untuk memahami dan menaakul tentang pengetahuan saintifik. Walaupun pada masa ini terdapat banyak set data QA saintifik yang meliputi bidang perubatan, kimia, biologi dan bidang lain, set data ini masih mempunyai beberapa kekurangan. Pertama, borang data adalah agak mudah, kebanyakannya adalah soalan aneka pilihan. Ia mudah dinilai, tetapi mengehadkan julat pemilihan jawapan model dan tidak dapat menguji sepenuhnya keupayaan model untuk menjawab soalan saintifik. Sebaliknya, Soal Jawab terbuka

Pembelajaran mesin ialah cabang penting kecerdasan buatan yang memberikan komputer keupayaan untuk belajar daripada data dan meningkatkan keupayaan mereka tanpa diprogramkan secara eksplisit. Pembelajaran mesin mempunyai pelbagai aplikasi dalam pelbagai bidang, daripada pengecaman imej dan pemprosesan bahasa semula jadi kepada sistem pengesyoran dan pengesanan penipuan, dan ia mengubah cara hidup kita. Terdapat banyak kaedah dan teori yang berbeza dalam bidang pembelajaran mesin, antaranya lima kaedah yang paling berpengaruh dipanggil "Lima Sekolah Pembelajaran Mesin". Lima sekolah utama ialah sekolah simbolik, sekolah sambungan, sekolah evolusi, sekolah Bayesian dan sekolah analogi. 1. Simbolisme, juga dikenali sebagai simbolisme, menekankan penggunaan simbol untuk penaakulan logik dan ekspresi pengetahuan. Aliran pemikiran ini percaya bahawa pembelajaran adalah proses penolakan terbalik, melalui sedia ada

Editor |. KX Dalam bidang penyelidikan dan pembangunan ubat, meramalkan pertalian pengikatan protein dan ligan dengan tepat dan berkesan adalah penting untuk pemeriksaan dan pengoptimuman ubat. Walau bagaimanapun, kajian semasa tidak mengambil kira peranan penting maklumat permukaan molekul dalam interaksi protein-ligan. Berdasarkan ini, penyelidik dari Universiti Xiamen mencadangkan rangka kerja pengekstrakan ciri berbilang mod (MFE) novel, yang buat pertama kalinya menggabungkan maklumat mengenai permukaan protein, struktur dan jujukan 3D, dan menggunakan mekanisme perhatian silang untuk membandingkan ciri modaliti yang berbeza penjajaran. Keputusan eksperimen menunjukkan bahawa kaedah ini mencapai prestasi terkini dalam meramalkan pertalian mengikat protein-ligan. Tambahan pula, kajian ablasi menunjukkan keberkesanan dan keperluan maklumat permukaan protein dan penjajaran ciri multimodal dalam rangka kerja ini. Penyelidikan berkaitan bermula dengan "S

Menurut berita dari laman web ini pada 5 Julai, GlobalFoundries mengeluarkan kenyataan akhbar pada 1 Julai tahun ini, mengumumkan pemerolehan teknologi power gallium nitride (GaN) Tagore Technology dan portfolio harta intelek, dengan harapan dapat mengembangkan bahagian pasarannya dalam kereta dan Internet of Things dan kawasan aplikasi pusat data kecerdasan buatan untuk meneroka kecekapan yang lebih tinggi dan prestasi yang lebih baik. Memandangkan teknologi seperti AI generatif terus berkembang dalam dunia digital, galium nitrida (GaN) telah menjadi penyelesaian utama untuk pengurusan kuasa yang mampan dan cekap, terutamanya dalam pusat data. Laman web ini memetik pengumuman rasmi bahawa semasa pengambilalihan ini, pasukan kejuruteraan Tagore Technology akan menyertai GLOBALFOUNDRIES untuk membangunkan lagi teknologi gallium nitride. G
