​GPT bertindak sebagai otak, mengarahkan berbilang model untuk bekerjasama untuk menyelesaikan pelbagai tugas Sistem umum AutoML-GPT ada di sini.

Pada masa ini, walaupun model AI telah terlibat dalam pelbagai bidang aplikasi yang sangat luas, kebanyakan model AI direka untuk tugas tertentu, dan mereka sering memerlukan banyak tenaga kerja untuk melengkapkan seni bina model yang betul, algoritma pengoptimuman dan hiperparameter . Selepas ChatGPT dan GPT-4 menjadi popular, orang ramai melihat potensi besar model bahasa besar (LLM) dalam pemahaman teks, penjanaan, interaksi, penaakulan, dll. Sesetengah penyelidik cuba menggunakan LLM untuk meneroka laluan baharu ke arah kecerdasan am buatan (AGI).

Baru-baru ini, penyelidik dari University of Texas di Austin mencadangkan idea baharu - untuk membangunkan gesaan berorientasikan tugas dan menggunakan LLM untuk mengautomasikan saluran latihan, dan berdasarkan Idea ini melancarkan sistem AutoML-GPT.

Alamat kertas:

https: //www.php.cn/link/39d4b545fb02556829aab1db805021c3

AutoML-GPT menggunakan GPT sebagai jambatan antara pelbagai model AI dan menggunakan model hiperparameter dinamik yang dioptimumkan . AutoML-GPT menerima permintaan pengguna secara dinamik daripada Kad Model [Mitchell et al., 2019] dan Kad Data [Gebru et al., 2021] dan mengarang perenggan gesaan yang sepadan. Akhir sekali, AutoML-GPT menggunakan perenggan gesaan ini untuk melaksanakan berbilang percubaan secara automatik, termasuk memproses data, membina seni bina model, menala hiperparameter dan meramalkan log latihan.

AutoML-GPT menyelesaikan tugas AI yang kompleks merentas pelbagai ujian dan set data dengan memaksimumkan keupayaan NLP yang berkuasa dan model AI sedia ada. Sebilangan besar eksperimen dan kajian ablasi telah menunjukkan bahawa AutoML-GPT adalah serba boleh dan berkesan untuk banyak tugas kecerdasan buatan (termasuk tugas CV dan tugasan NLP).

Pengenalan kepada AutoML-GPT

AutoML-GPT ialah sistem kerjasama yang bergantung pada data dan maklumat model untuk memformat perenggan input segera. Antaranya, LLM berfungsi sebagai pengawal, dan pelbagai model pakar berfungsi sebagai pelaksana kolaboratif. Aliran kerja AutoML-GPT merangkumi empat peringkat: pemprosesan data, reka bentuk seni bina model, pelarasan hiperparameter dan penjanaan log latihan.

Secara khusus, mekanisme kerja AutoML-GPT adalah seperti berikut:

• Melalui Kad Model dan Kad Data menjana perenggan gesaan format tetap
• Bina saluran latihan untuk mengendalikan keperluan pengguna pada set data dan seni bina model yang dipilih
• Jana log latihan prestasi dan tala hiperparameter
• Tala model berdasarkan hiperparameter yang dicadangkan secara automatik

Penguraian Input

Peringkat pertama AutoML-GPT ialah membenarkan LLM menerima input pengguna. Untuk meningkatkan prestasi LLM dan menjana gesaan yang berkesan, kajian ini menggunakan arahan khusus untuk gesaan input. Arahan ini termasuk tiga bahagian: Kad Data, Kad Model, Metrik Penilaian dan Keperluan Tambahan.

Seperti yang ditunjukkan dalam Rajah 2 di bawah, bahagian utama Kad Data terdiri daripada nama set data, jenis set data input (seperti data imej atau data teks), ruang label ( seperti kategori atau resolusi) dan penunjuk penilaian lalai.

Seperti yang ditunjukkan dalam Rajah 3 di bawah, Kad Model terdiri daripada nama model, struktur model, penerangan model dan hiperparameter seni bina. Dengan memberikan maklumat ini, Kad Model boleh memberitahu LLM model yang digunakan sepanjang sistem pembelajaran mesin, serta pilihan pengguna untuk seni bina model.

Selain Kad Data dan Kad Model, pengguna juga boleh memilih untuk meminta lebih banyak penanda aras penilaian, metrik penilaian atau sebarang kekangan. AutoML-GPT menyediakan spesifikasi tugas ini sebagai arahan peringkat tinggi kepada LLM untuk menganalisis keperluan pengguna dengan sewajarnya.

Apabila terdapat beberapa siri tugasan yang perlu diproses, AutoML-GPT perlu memadankan model yang sepadan untuk setiap tugasan. Untuk mencapai matlamat ini, sistem terlebih dahulu perlu mendapatkan penerangan model daripada Kad Model dan input pengguna.

AutoML-GPT kemudian menggunakan mekanisme penetapan model tugas dalam konteks untuk memperuntukkan model kepada tugasan secara dinamik. Pendekatan ini membolehkan akses model tambahan dan memberikan keterbukaan dan fleksibiliti yang lebih besar dengan menggabungkan penerangan model dengan pemahaman yang lebih baik tentang keperluan pengguna.

Laraskan hiperparameter menggunakan log latihan ramalan

AutoML-GPT menetapkan hiperparameter berdasarkan Kad Data dan Kad Model, Dan ramalkan prestasi dengan menjana log latihan hiperparameter. Sistem secara automatik melaksanakan latihan dan mengembalikan log latihan. Log latihan prestasi model pada set data merekodkan pelbagai metrik dan maklumat yang dikumpul semasa proses latihan, yang membantu memahami kemajuan latihan model, mengenal pasti masalah yang berpotensi dan menilai keberkesanan seni bina, hiperparameter dan kaedah pengoptimuman yang dipilih.

Eksperimen

Untuk menilai prestasi AutoML-GPT, kajian ini menggunakan ChatGPT (versi GPT-4 OpenAI) untuk melaksanakannya dan menjalankan berbilang eksperimen dari pelbagai Perspektif ini menunjukkan kesan AutoML-GPT.

Rajah 4 di bawah menunjukkan hasil latihan pada set data yang tidak diketahui menggunakan AutoML-GPT:

Rajah 5 di bawah menunjukkan proses AutoML-GPT melengkapkan tugas pengesanan sasaran pada set data COCO:

Rajah 6 di bawah menunjukkan AutoML-GPT Keputusan percubaan pada Set Data Terbuka NQ (set data Terbuka Soalan Asli, [Kwiatkowski et al., 2019]):

Kajian ini juga menggunakan penilaian XGBoost AutoML-GPT pada set data Dewasa UCI [Dua dan Graff, 2017] untuk meneroka prestasinya pada tugas pengelasan Hasil percubaan ditunjukkan dalam Rajah 7 di bawah:

<.>

Pembaca yang berminat boleh membaca teks asal kertas kerja untuk mengetahui lebih banyak butiran penyelidikan.

Atas ialah kandungan terperinci ​GPT bertindak sebagai otak, mengarahkan berbilang model untuk bekerjasama untuk menyelesaikan pelbagai tugas Sistem umum AutoML-GPT ada di sini.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!