Keluarkan sumber pengaturcaraan yang sangat baik, model dan ejen gergasi akan mencetuskan kuasa yang lebih berkuasa

Sama seperti tongkat Rhysford mencipta legenda ahli silap mata yang luar biasa dari semua peringkat umur, seperti Dumbledore, model bahasa berskala besar tradisional dengan potensi besar, selepas pra-latihan/penalaan kod korpus, telah menguasai pengetahuan di luar Perlaksanaan asal .

Secara khusus, versi lanjutan model besar telah dipertingkatkan dari segi penulisan kod, penaakulan yang lebih kukuh, rujukan bebas kepada antara muka pelaksanaan, penambahbaikan bebas, dsb., yang akan memudahkannya untuk berfungsi sebagai AI ejen dan melaksanakan tugas hiliran Faedah dalam semua aspek.

Baru-baru ini, pasukan penyelidik dari Universiti Illinois di Urbana-Champaign (UIUC) menerbitkan ulasan penting.

Pautan kertas: https://arxiv.org/abs/2401.00812

Semakan ini meneroka cara kod memperkasakan model bahasa besar (LLM) dan ejen pintar mereka yang berkuasa (Agen pintar) berdasarkannya .

Antaranya, kod secara khusus merujuk kepada bahasa formal yang boleh dilaksanakan oleh mesin dan boleh dibaca oleh manusia, seperti bahasa pengaturcaraan, satu set fungsi yang telah ditetapkan, dsb. Sama seperti cara kami membimbing LLM untuk memahami/menjana bahasa semula jadi tradisional, menjadikan LLM mahir dalam kod hanya memerlukan penggunaan objektif latihan pemodelan bahasa yang sama pada data kod.

Berbeza daripada model bahasa tradisional, LLM biasa hari ini, seperti Llama2 dan GPT4, bukan sahaja meningkat dengan ketara dalam saiz, tetapi mereka juga telah menjalani latihan korpus kod yang bebas daripada korpus bahasa semula jadi yang biasa. Kod mempunyai sintaks piawai, ketekalan logik, abstraksi dan modulariti, dan boleh mengubah matlamat peringkat tinggi kepada langkah boleh laku, menjadikannya medium yang ideal untuk menghubungkan manusia dan komputer.

Seperti yang ditunjukkan dalam Rajah 2, dalam ulasan ini, penyelidik menyusun kerja yang berkaitan dan menganalisis secara terperinci pelbagai kelebihan memasukkan kod ke dalam data latihan LLM.

Secara khusus, penyelidik memerhatikan bahawa sifat unik kod membantu:

1 Meningkatkan keupayaan menulis kod LLM, keupayaan penaakulan dan keupayaan untuk memproses maklumat semula jadi yang lebih kompleks. tugas bahasa;

2. Membimbing LLM untuk menjana langkah perantaraan yang berstruktur dan tepat, yang boleh disambungkan ke pengakhiran pelaksanaan luaran melalui panggilan fungsi

3.

Selain itu, para penyelidik juga memerhati dengan mendalam bagaimana item pengoptimuman LLM yang diberikan oleh kod ini boleh mengukuhkan mereka sebagai pusat pembuat keputusan Ejen Pintar, memahami arahan, menguraikan matlamat, merancang dan melaksanakan tindakan, dan bertambah baik daripada keupayaan siri maklum balas.

Seperti yang ditunjukkan dalam Rajah 3, pada bahagian pertama, penyelidik mendapati bahawa pra-latihan LLM mengenai kod telah meluaskan skop tugas LLM melebihi bahasa semula jadi. Model ini boleh menyokong pelbagai aplikasi, termasuk penjanaan kod untuk teori matematik, tugas pengaturcaraan am dan pengambilan data. Kod perlu menghasilkan urutan langkah yang teratur dan koheren secara logik, yang penting untuk pelaksanaan yang berkesan. Selain itu, kebolehlaksanaan setiap langkah dalam kod membenarkan pengesahan langkah demi langkah bagi logik. Mengeksploitasi dan membenamkan atribut kod ini dalam pra-latihan meningkatkan prestasi Rantaian Pemikiran (CoT) LLM dalam banyak tugas hiliran bahasa semula jadi tradisional, mengesahkan peningkatan mereka dalam kemahiran penaakulan yang kompleks. Pada masa yang sama, dengan mempelajari format kod berstruktur secara tersirat, codeLLM berfungsi dengan lebih baik pada tugasan penaakulan berstruktur akal, seperti yang berkaitan dengan bahasa penanda, HTML dan pemahaman rajah.

Seperti yang ditunjukkan dalam Rajah 4, menyambungkan LLM dengan hujung berfungsi lain (iaitu melanjutkan keupayaan LLM melalui alatan luaran dan modul pelaksanaan) membantu LLM melaksanakan tugas dengan lebih tepat dan boleh dipercayai.

Dalam bahagian kedua, seperti yang ditunjukkan dalam Jadual 1, penyelidik memerhatikan trend umum: LLM mewujudkan sambungan dengan titik akhir berfungsi lain dengan menjana bahasa pengaturcaraan atau memanfaatkan fungsi yang telah ditetapkan. "Paradigma berpusatkan kod" ini berbeza daripada pendekatan tegar bagi panggilan alat pengekodan keras dalam mekanisme inferens LLM, yang membolehkan LLM menjana token secara dinamik yang memanggil modul pelaksanaan, dengan parameter boleh laras.

Paradigma ini menyediakan cara yang mudah dan jelas untuk LLM berinteraksi dengan tujuan fungsian yang lain, meningkatkan fleksibiliti dan kebolehskalaan aplikasinya. Lebih penting lagi, ia juga membolehkan LLM berinteraksi dengan banyak titik akhir berfungsi yang meliputi pelbagai modaliti dan domain. LLM mampu mengendalikan tugas yang lebih kompleks dengan mengembangkan bilangan dan pelbagai hujung fungsi yang boleh diakses oleh LLM.

Seperti yang ditunjukkan dalam Rajah 5, membenamkan LLM ke dalam persekitaran pelaksanaan kod boleh mencapai maklum balas automatik dan penambahbaikan model bebas. LLM berprestasi melebihi julat parameter latihan mereka, sebahagiannya kerana mereka dapat menampung maklum balas. Walau bagaimanapun, maklum balas mesti dipilih dengan teliti kerana input isyarat yang bising boleh menghalang prestasi LLM pada tugas hiliran. Selain itu, memandangkan sumber manusia mahal, maklum balas perlu dikumpul secara automatik sambil mengekalkan keasliannya. Dalam bahagian ketiga, penyelidik mendapati bahawa membenamkan LLM ke dalam persekitaran pelaksanaan kod boleh menghasilkan maklum balas yang memenuhi semua kriteria ini.

Pertama sekali, memandangkan pelaksanaan kod adalah deterministik, mendapatkan maklum balas daripada hasil pelaksanaan kod boleh secara langsung dan jujur ​​​​mencerminkan tugas yang dilakukan oleh LLM. Selain itu, jurubahasa kod menyediakan LLM cara untuk bertanya maklum balas dalaman secara automatik, menghapuskan keperluan untuk anotasi manusia yang mahal apabila memanfaatkan LLM untuk nyahpepijat atau mengoptimumkan kod yang salah. Persekitaran penyusunan dan pelaksanaan Kod juga membolehkan LLM menggabungkan borang maklum balas luaran yang pelbagai dan komprehensif, seperti penjanaan ringkas penilaian betul dan ralat binari, penjelasan bahasa semula jadi yang lebih kompleks tentang hasil pelaksanaan, dan pelbagai peringkat dengan kaedah maklum balas, semuanya jadikan kaedah meningkatkan prestasi sangat disesuaikan.

Dengan menganalisis pelbagai cara penyepaduan data latihan kod meningkatkan keupayaan LLM, penyelidik seterusnya mendapati bahawa kelebihan kod memperkasakan LLM amat jelas dalam bidang aplikasi LLM utama pembangunan Agen Pintar.

Rajah 6 menunjukkan aliran kerja standard pembantu pintar. Para penyelidik mendapati bahawa penambahbaikan yang dibawa oleh latihan kod dalam LLM juga mempengaruhi langkah sebenar yang mereka lakukan sebagai pembantu pintar.

Langkah-langkah ini termasuk: (1) meningkatkan keupayaan membuat keputusan IA dalam kesedaran dan perancangan konteks, (2) mengoptimumkan pelaksanaan strategi dengan melaksanakan tindakan ke dalam primitif tindakan modular dan ingatan organisasi yang cekap, dan (3) Mengoptimumkan prestasi melalui maklum balas yang diperoleh secara automatik daripada persekitaran pelaksanaan kod.

Ringkasnya, dalam semakan ini, penyelidik menganalisis dan menjelaskan cara kod memberikan keupayaan hebat kepada LLM dan cara kod membantu LLM bekerja sebagai pusat membuat keputusan Ejen Pintar.

Melalui tinjauan literatur yang komprehensif, penyelidik mendapati bahawa selepas latihan kod, LLM meningkatkan kemahiran pengaturcaraan dan keupayaan penaakulan mereka, memperoleh keupayaan untuk melaksanakan sambungan fleksibel dengan pelbagai hujung fungsi merentas mod dan domain, dan mengukuhkan keupayaan untuk berinteraksi dengan modul penilaian disepadukan dalam persekitaran pelaksanaan kod dan mencapai peningkatan diri automatik.

Selain itu, keupayaan LLM yang dipertingkat yang dibawa oleh latihan kod membantu prestasi mereka sebagai Ejen Pintar dalam aplikasi hiliran, dicerminkan dalam langkah operasi khusus seperti membuat keputusan, pelaksanaan dan peningkatan diri. Di samping mengkaji penyelidikan terdahulu, penyelidik juga mencadangkan beberapa cabaran dalam bidang sebagai elemen panduan untuk hala tuju masa depan yang berpotensi.

Sila rujuk artikel asal untuk butiran lanjut!

Atas ialah kandungan terperinci Keluarkan sumber pengaturcaraan yang sangat baik, model dan ejen gergasi akan mencetuskan kuasa yang lebih berkuasa. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!