Jadual Kandungan
Kaedah
Eksperimen dan Keputusan
Rumah Peranti teknologi AI Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Apr 08, 2023 am 11:11 AM
alat Model

Dalam tugas pemprosesan bahasa semula jadi, model bahasa besar telah mencapai hasil yang mengagumkan dalam pembelajaran sifar dan beberapa pukulan. Walau bagaimanapun, semua model mempunyai batasan yang wujud yang selalunya hanya boleh ditangani sebahagiannya melalui sambungan lanjut. Khususnya, batasan model termasuk ketidakupayaan untuk mengakses maklumat terkini, "halusinasi maklumat" fakta, kesukaran memahami bahasa sumber rendah, kekurangan kemahiran matematik untuk pengiraan yang tepat, dsb.

Cara mudah untuk menyelesaikan masalah ini adalah dengan melengkapkan model dengan alat luaran, seperti enjin carian, kalkulator atau kalendar. Walau bagaimanapun, kaedah sedia ada sering bergantung pada anotasi manual yang meluas atau mengehadkan penggunaan alatan kepada tetapan tugas tertentu, menjadikan penggunaan model bahasa digabungkan dengan alatan luaran sukar untuk digeneralisasikan.

Untuk memecahkan kesesakan ini, Meta AI baru-baru ini mencadangkan kaedah baharu yang dipanggil Toolformer, yang membolehkan model bahasa belajar "menggunakan" pelbagai alatan luaran.

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Alamat kertas: https://arxiv.org/pdf/2302.04761v1.pdf

Pembentuk alat dengan cepat menarik perhatian ramai orang percaya bahawa kertas kerja ini menyelesaikan banyak masalah model bahasa berskala besar semasa dan memuji: "Ini adalah artikel paling penting dalam beberapa minggu kebelakangan ini. kertas" .

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Sesetengah orang menyatakan bahawa Toolformer menggunakan pembelajaran diselia sendiri untuk membenarkan model bahasa besar belajar menggunakan beberapa API dan alatan, yang sangat fleksibel dan cekap:

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Malah ada yang berpendapat bahawa Toolformer akan menjauhkan kita daripada kecerdasan buatan am ( AGI) Selangkah lebih dekat.

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Toolformer mendapat rating yang tinggi kerana ia memenuhi keperluan sebenar berikut:

  • Model bahasa yang besar harus mempelajari penggunaan alat dengan cara yang diselia sendiri tanpa memerlukan anotasi manusia yang meluas. Ini penting kerana kos anotasi manusia adalah tinggi, tetapi yang lebih penting, perkara yang difikirkan berguna oleh manusia mungkin berbeza daripada perkara yang difikirkan berguna oleh model.
  • Model bahasa memerlukan penggunaan alat yang lebih komprehensif yang tidak terikat pada tugas tertentu.

Ini jelas memecahkan kesesakan yang dinyatakan di atas. Mari kita lihat dengan lebih dekat kaedah Toolformer dan hasil percubaan.

Kaedah

Toolformer menjana set data dari awal berdasarkan model bahasa yang besar dengan pembelajaran dalam konteks (ICL) (Schick dan Schütze, 2021b; Honovich et al. , 2022; Wang et al., 2022) idea: Hanya berikan beberapa sampel manusia yang menggunakan API dan biarkan LM menganotasi set data pemodelan bahasa dengan potensi panggilan API, kemudian gunakan fungsi kehilangan yang diselia sendiri untuk menentukan yang mana Panggilan API sebenarnya membantu model meramalkan token masa hadapan dan akhirnya memperhalusi berdasarkan panggilan API yang berguna kepada LM itu sendiri.

Memandangkan Toolformer adalah agnostik kepada set data yang digunakan, ia boleh digunakan pada set data yang sama persis dengan model yang telah dilatih terlebih dahulu, yang memastikan model tidak kehilangan sebarang keumuman dan keupayaan Pemodelan bahasa.

Secara khusus, matlamat penyelidikan ini adalah untuk melengkapkan model bahasa M dengan keupayaan untuk menggunakan pelbagai alatan melalui panggilan API. Ini memerlukan input dan output setiap API boleh dicirikan sebagai urutan teks. Ini membolehkan panggilan API dimasukkan dengan lancar ke dalam mana-mana teks tertentu, dengan token khas digunakan untuk menandakan permulaan dan akhir setiap panggilan tersebut.

Kajian ini mewakili setiap panggilan API sebagai tupel

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

, dengan a_c ialah nama API dan i_c ialah input yang sepadan. Memandangkan panggilan API c dengan hasil r yang sepadan, kajian ini mewakili jujukan linear panggilan API tidak termasuk dan termasuk keputusannya sebagai:

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Antaranya, , dan "→" ialah token istimewa. Seperti yang ditunjukkan dalam Rajah 1 di bawah, pendekatan ini membolehkan LM belajar mengawal pelbagai alat dan memilih sendiri alat yang hendak digunakan bila dan bagaimana.

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Diberi set data

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

, kajian mula-mula mengubah set data ini menjadi set data C* dengan tambahan panggilan API. Ini dilakukan dalam tiga langkah, seperti yang ditunjukkan dalam Rajah 2 di bawah: Pertama, kajian ini memanfaatkan keupayaan pembelajaran dalam konteks M untuk mencuba sejumlah besar panggilan API yang berpotensi, kemudian melaksanakan panggilan API ini, dan kemudian menyemak sama ada respons yang diperolehi membantu ramalan. Token masa hadapan untuk digunakan sebagai kriteria penapisan. Selepas penapisan, kajian menggabungkan panggilan API ke alat yang berbeza, akhirnya menjana set data C* dan memperhalusi M itu sendiri pada set data ini.

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Eksperimen dan Keputusan

Kajian ini dijalankan ke atas pelbagai tugas hiliran yang berbeza Keputusan eksperimen menunjukkan bahawa Toolformer berdasarkan parameter 6.7B model GPT-J yang telah dilatih (dipelajari menggunakan pelbagai API dan alatan) dengan ketara mengatasi model GPT-3 yang lebih besar dan beberapa garis dasar lain pada pelbagai tugas.

Kajian ini menilai beberapa model pada subset SQuAD, GoogleRE dan T-REx bagi penanda aras LAMA Keputusan eksperimen ditunjukkan dalam Jadual 3 di bawah:

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Untuk menguji keupayaan penaakulan matematik Toolformer, kajian ini menjalankan eksperimen pada tanda aras ASDiv, SVAMP dan MAWPS. Eksperimen menunjukkan bahawa Toolformer menggunakan alat kalkulator dalam kebanyakan kes, yang jauh lebih baik daripada OPT (66B) dan GPT-3 (175B).

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Dari segi menjawab soalan, kajian menjalankan eksperimen ke atas tiga set data menjawab soalan: Soalan Web, Soalan Semulajadi dan TriviaQA. Toolformer dengan ketara mengatasi model garis dasar dengan saiz yang sama, tetapi lebih rendah daripada GPT-3 (175B).

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Dari segi tugasan merentas bahasa, kajian ini membandingkan semua model garis dasar pada Toolformer dan MLQA, dan hasilnya adalah seperti berikut Seperti yang ditunjukkan dalam Jadual 6:

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Bagi mengkaji utiliti API kalendar, kajian telah dijalankan pada TEMPLAMA dan yang baharu dipanggil Eksperimen DATESET telah dijalankan pada beberapa model pada set data. Toolformer mengatasi semua garis dasar tetapi tidak menggunakan alat kalendar TEMPLAMA.

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Selain mengesahkan penambahbaikan prestasi pada pelbagai tugas hiliran, kajian ini juga berharap untuk memastikan prestasi pemodelan bahasa Toolformer tidak terjejas oleh penalaan halus panggilan API. Untuk tujuan ini, kajian ini menjalankan eksperimen ke atas dua set data pemodelan bahasa untuk dinilai, dan kebingungan model ditunjukkan dalam Jadual 8 di bawah.

Untuk pemodelan bahasa tanpa sebarang panggilan API, tiada kos untuk menambah panggilan API.

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Akhir sekali, penyelidik menganalisis bahawa apabila saiz model bahasa meningkat, keupayaan untuk mendapatkan bantuan daripada alat luaran mempunyai kesan ke atas model. Kesan prestasi, hasil analisis ditunjukkan dalam Rajah 4 di bawah

Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer

Pembaca yang berminat boleh membaca teks asal kertas untuk mengetahui lebih lanjut Kaji butiran.

Atas ialah kandungan terperinci Adakah model bahasa belajar menggunakan enjin carian sendiri? Meta AI mencadangkan API panggilan penyeliaan sendiri kaedah pembelajaran Toolformer. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Cara Menggunakan MySQL Selepas Pemasangan Cara Menggunakan MySQL Selepas Pemasangan Apr 08, 2025 am 11:48 AM

Artikel ini memperkenalkan operasi pangkalan data MySQL. Pertama, anda perlu memasang klien MySQL, seperti MySqlworkbench atau Command Line Client. 1. Gunakan perintah MySQL-Uroot-P untuk menyambung ke pelayan dan log masuk dengan kata laluan akaun root; 2. Gunakan CreateTatabase untuk membuat pangkalan data, dan gunakan Pilih pangkalan data; 3. Gunakan createtable untuk membuat jadual, menentukan medan dan jenis data; 4. Gunakan InsertInto untuk memasukkan data, data pertanyaan, kemas kini data dengan kemas kini, dan padam data dengan padam. Hanya dengan menguasai langkah -langkah ini, belajar menangani masalah biasa dan mengoptimumkan prestasi pangkalan data anda boleh menggunakan MySQL dengan cekap.

Penyelesaian kepada kesilapan yang dilaporkan oleh MySQL pada versi sistem tertentu Penyelesaian kepada kesilapan yang dilaporkan oleh MySQL pada versi sistem tertentu Apr 08, 2025 am 11:54 AM

Penyelesaian kepada ralat pemasangan MySQL adalah: 1. Berhati -hati memeriksa persekitaran sistem untuk memastikan keperluan perpustakaan ketergantungan MySQL dipenuhi. Sistem operasi dan keperluan versi yang berbeza adalah berbeza; 2. Berhati -hati membaca mesej ralat dan mengambil langkah -langkah yang sepadan mengikut arahan (seperti fail perpustakaan yang hilang atau kebenaran yang tidak mencukupi), seperti memasang kebergantungan atau menggunakan arahan sudo; 3 Jika perlu, cuba pasang kod sumber dan periksa dengan teliti log kompilasi, tetapi ini memerlukan pengetahuan dan pengalaman Linux tertentu. Kunci untuk menyelesaikan masalah akhirnya adalah dengan teliti memeriksa persekitaran sistem dan maklumat ralat, dan merujuk kepada dokumen rasmi.

Fail muat turun MySQL rosak dan tidak boleh dipasang. Penyelesaian pembaikan Fail muat turun MySQL rosak dan tidak boleh dipasang. Penyelesaian pembaikan Apr 08, 2025 am 11:21 AM

Fail muat turun mysql adalah korup, apa yang perlu saya lakukan? Malangnya, jika anda memuat turun MySQL, anda boleh menghadapi rasuah fail. Ia benar -benar tidak mudah hari ini! Artikel ini akan bercakap tentang cara menyelesaikan masalah ini supaya semua orang dapat mengelakkan lencongan. Selepas membacanya, anda bukan sahaja boleh membaiki pakej pemasangan MySQL yang rosak, tetapi juga mempunyai pemahaman yang lebih mendalam tentang proses muat turun dan pemasangan untuk mengelakkan terjebak pada masa akan datang. Mari kita bercakap tentang mengapa memuat turun fail rosak. Terdapat banyak sebab untuk ini. Masalah rangkaian adalah pelakunya. Gangguan dalam proses muat turun dan ketidakstabilan dalam rangkaian boleh menyebabkan rasuah fail. Terdapat juga masalah dengan sumber muat turun itu sendiri. Fail pelayan itu sendiri rosak, dan sudah tentu ia juga dipecahkan jika anda memuat turunnya. Di samping itu, pengimbasan "ghairah" yang berlebihan beberapa perisian antivirus juga boleh menyebabkan rasuah fail. Masalah Diagnostik: Tentukan sama ada fail itu benar -benar korup

Cara menyelesaikan masalah kebergantungan yang hilang semasa memasang mysql Cara menyelesaikan masalah kebergantungan yang hilang semasa memasang mysql Apr 08, 2025 pm 12:00 PM

Kegagalan pemasangan MySQL biasanya disebabkan oleh kekurangan ketergantungan. Penyelesaian: 1. Pengurus Pakej Sistem Penggunaan (seperti Linux Apt, Yum atau DNF, Windows Visualc Redistributable) untuk memasang perpustakaan pergantungan yang hilang, seperti sudoaptinstalllibmysqlclient-dev; 2. Berhati -hati semak maklumat ralat dan selesaikan kebergantungan kompleks satu demi satu; 3. Pastikan sumber Pengurus Pakej dikonfigurasi dengan betul dan boleh mengakses rangkaian; 4. Untuk Windows, muat turun dan pasang perpustakaan runtime yang diperlukan. Membangunkan kebiasaan membaca dokumen rasmi dan memanfaatkan enjin carian yang baik dapat menyelesaikan masalah dengan berkesan.

Cara mengoptimumkan prestasi pangkalan data selepas pemasangan MySQL Cara mengoptimumkan prestasi pangkalan data selepas pemasangan MySQL Apr 08, 2025 am 11:36 AM

Pengoptimuman prestasi MySQL perlu bermula dari tiga aspek: konfigurasi pemasangan, pengindeksan dan pengoptimuman pertanyaan, pemantauan dan penalaan. 1. Selepas pemasangan, anda perlu menyesuaikan fail my.cnf mengikut konfigurasi pelayan, seperti parameter innodb_buffer_pool_size, dan tutup query_cache_size; 2. Buat indeks yang sesuai untuk mengelakkan indeks yang berlebihan, dan mengoptimumkan pernyataan pertanyaan, seperti menggunakan perintah menjelaskan untuk menganalisis pelan pelaksanaan; 3. Gunakan alat pemantauan MySQL sendiri (ShowProcessList, ShowStatus) untuk memantau kesihatan pangkalan data, dan kerap membuat semula dan mengatur pangkalan data. Hanya dengan terus mengoptimumkan langkah -langkah ini, prestasi pangkalan data MySQL diperbaiki.

Penyelesaian kepada perkhidmatan yang tidak dapat dimulakan selepas pemasangan MySQL Penyelesaian kepada perkhidmatan yang tidak dapat dimulakan selepas pemasangan MySQL Apr 08, 2025 am 11:18 AM

MySQL enggan memulakan? Jangan panik, mari kita periksa! Ramai kawan mendapati bahawa perkhidmatan itu tidak dapat dimulakan selepas memasang MySQL, dan mereka sangat cemas! Jangan risau, artikel ini akan membawa anda untuk menangani dengan tenang dan mengetahui dalang di belakangnya! Selepas membacanya, anda bukan sahaja dapat menyelesaikan masalah ini, tetapi juga meningkatkan pemahaman anda tentang perkhidmatan MySQL dan idea anda untuk masalah penyelesaian masalah, dan menjadi pentadbir pangkalan data yang lebih kuat! Perkhidmatan MySQL gagal bermula, dan terdapat banyak sebab, mulai dari kesilapan konfigurasi mudah kepada masalah sistem yang kompleks. Mari kita mulakan dengan aspek yang paling biasa. Pengetahuan asas: Penerangan ringkas mengenai proses permulaan perkhidmatan MySQL Startup. Ringkasnya, sistem operasi memuatkan fail yang berkaitan dengan MySQL dan kemudian memulakan daemon MySQL. Ini melibatkan konfigurasi

Cara sandarkan dan memulihkan pangkalan data selepas pemasangan MySQL Cara sandarkan dan memulihkan pangkalan data selepas pemasangan MySQL Apr 08, 2025 am 11:45 AM

Tidak ada penyelesaian sandaran dan pemulihan pangkalan data MySQL terbaik, dan ia perlu dipilih berdasarkan jumlah data, kepentingan perniagaan, RTO dan RPO. 1. Sandaran logik (mysqldump) adalah mudah dan mudah digunakan, sesuai untuk pangkalan data kecil, tetapi fail lambat dan besar; 2. Backup Fizikal (XTrabackup) pantas, sesuai untuk pangkalan data yang besar, tetapi lebih rumit untuk digunakan. Strategi sandaran perlu mempertimbangkan frekuensi sandaran (keputusan RPO), kaedah sandaran (kuantiti data dan keputusan keperluan masa) dan lokasi penyimpanan (storan luar tapak lebih selamat), dan kerap menguji proses sandaran dan pemulihan untuk mengelakkan rasuah fail sandaran, masalah kebenaran, ruang penyimpanan yang tidak mencukupi, gangguan rangkaian dan isu-isu yang belum diuji, dan memastikan keselamatan data.

Penyelesaian ralat pemasangan mysql Penyelesaian ralat pemasangan mysql Apr 08, 2025 am 10:48 AM

Alasan dan penyelesaian yang sama untuk kegagalan pemasangan MySQL: 1. Nama pengguna atau kata laluan yang tidak betul, atau perkhidmatan MySQL tidak dimulakan, anda perlu menyemak nama pengguna dan kata laluan dan memulakan perkhidmatan; 2. Konflik pelabuhan, anda perlu menukar pelabuhan pendengaran MySQL atau menutup program yang menduduki port 3306; 3. Perpustakaan Ketergantungan hilang, anda perlu menggunakan Pengurus Pakej Sistem untuk memasang perpustakaan ketergantungan yang diperlukan; 4. Kebenaran yang tidak mencukupi, anda perlu menggunakan hak sudo atau pentadbir untuk menjalankan pemasang; 5. Fail konfigurasi yang salah, anda perlu menyemak fail konfigurasi My.cnf untuk memastikan konfigurasi adalah betul. Hanya dengan bekerja dengan mantap dan teliti boleh mysql dipasang dengan lancar.

See all articles