BLOOM boleh mencipta budaya baharu untuk penyelidikan AI, tetapi cabaran masih ada

​Penterjemah |. Li Rui

Penilai |. Sun Shujuan

Projek penyelidikan BigScience baru-baru ini mengeluarkan model bahasa besar BLOOM -3.

Tetapi apa yang membezakan BLOOM daripada model bahasa semula jadi (LLM) berskala besar lain ialah usahanya dalam menyelidik, membangun, melatih dan mengeluarkan model pembelajaran mesin.

Dalam beberapa tahun kebelakangan ini, syarikat teknologi besar telah menyembunyikan model bahasa semula jadi (LLM) berskala besar seperti rahsia perdagangan yang dikawal ketat, dan pasukan BigScience telah meletakkan ketelusan dan keterbukaan di tengah-tengah BLOOM dari awal projek .

Hasilnya ialah model bahasa yang besar, sedia untuk penyelidikan dan pembelajaran, serta tersedia untuk semua orang. Contoh sumber terbuka dan kerjasama terbuka yang diwujudkan oleh BLOOM akan sangat bermanfaat untuk penyelidikan masa depan dalam model bahasa semula jadi (LLM) berskala besar dan bidang kecerdasan buatan yang lain. Tetapi masih terdapat beberapa cabaran yang wujud dalam model bahasa besar yang perlu ditangani.

Apakah itu BLOOM?

BLOOM ialah singkatan daripada "BigScience Open Access Multilingual Model". Dari sudut data, ia tidak jauh berbeza dengan GPT-3 dan OPT-175B. Ia adalah model Transformer yang sangat besar, dengan 176 bilion parameter, dilatih menggunakan 1.6TB data, termasuk bahasa semula jadi dan kod sumber perisian.

Seperti GPT-3, ia boleh melaksanakan banyak tugas melalui pembelajaran sifar atau beberapa pukulan, termasuk penjanaan teks, ringkasan, menjawab soalan dan pengaturcaraan.

Tetapi kepentingan BLOOM terletak pada organisasi dan proses pembinaan di belakangnya.

BigScience ialah projek penyelidikan yang dilancarkan pada 2021 oleh Pusat Model Pembelajaran Mesin "Hugging Face". Menurut laman webnya, projek itu "bertujuan untuk menunjukkan cara alternatif untuk mencipta, mempelajari dan berkongsi model bahasa yang besar dan artifak penyelidikan yang besar dalam komuniti penyelidikan AI/NLP."

Dalam hal ini, BigScience mendapat inspirasi daripada inisiatif pembuatan sains seperti CERN dan Large Hadron Collider (LHC), di mana kerjasama saintifik terbuka mempromosikan artifak berskala besar yang berguna kepada seluruh komuniti penyelidikan penciptaan.

Dalam satu tahun sejak Mei 2021, lebih 1,000 penyelidik dari 60 negara dan lebih 250 institusi telah mencipta bersama BLOOM dalam BigScience.

Ketelusan, keterbukaan dan keterangkuman

Walaupun kebanyakan model bahasa semula jadi (LLM) berskala besar utama dilatih pada teks bahasa Inggeris sahaja, korpus latihan BLOOM merangkumi 46 bahasa semula jadi dan 13 bahasa pengaturcaraan. Ini berguna di banyak wilayah yang bahasa utamanya bukan bahasa Inggeris.

BLOOM juga memecahkan pergantungan sebenar pada model syarikat latihan teknologi besar. Salah satu masalah utama dengan model bahasa semula jadi yang besar (LLM) ialah kos latihan dan penalaan yang tinggi. Halangan ini menjadikan model bahasa semula jadi yang besar (LLM) dengan 100 bilion parameter domain eksklusif syarikat teknologi besar dengan poket yang dalam. Dalam beberapa tahun kebelakangan ini, makmal kecerdasan buatan telah tertarik oleh syarikat teknologi besar untuk mendapatkan sumber pengkomputeran awan bersubsidi dan membiayai penyelidikan mereka.

Sebaliknya, pasukan penyelidik BigScience menerima geran 3 juta euro daripada Pusat Penyelidikan Saintifik Kebangsaan Perancis untuk melatih BLOOM pada superkomputer Jean Zay. Tiada perjanjian memberikan lesen eksklusif kepada teknologi kepada syarikat komersial, dan tiada komitmen untuk mengkomersialkan model dan menjadikannya produk yang menguntungkan.

Selain itu, pasukan BigScience benar-benar telus tentang keseluruhan proses latihan model. Mereka menerbitkan set data, transkrip mesyuarat, perbincangan dan kod, serta log dan butiran teknikal model latihan.

Penyelidik sedang mengkaji data dan metadata model dan menerbitkan penemuan menarik.

Sebagai contoh, penyelidik David McClure menulis tweet pada 12 Julai 2022, “Saya telah melihat set data latihan di sebalik model BLOOM yang sangat hebat daripada Bigscience dan Hugging Face Terdapat 10 juta sampel daripada korpus bahasa Inggeris , kira-kira 1.25% daripada jumlah keseluruhan, dikodkan dengan 'all-distilroberta-v1', dan kemudian UMAP kepada 2d "

Sudah tentu, model terlatih itu sendiri boleh digunakan dalam Hugging. Platform Face, yang melegakan penyelidik. dari kesakitan menghabiskan berjuta-juta dolar untuk melatih.

Facebook sumber terbuka salah satu model bahasa semula jadi (LLM) berskala besarnya di bawah beberapa sekatan bulan lepas. Walau bagaimanapun, ketelusan yang dibawa oleh BLOOM tidak pernah berlaku sebelum ini dan berjanji untuk menetapkan standard baharu untuk industri.

Teven LeScao, ketua bersama latihan BLOOM, berkata, "Berbanding dengan kerahsiaan makmal penyelidikan AI industri, BLOOM menunjukkan bahawa model AI yang paling berkuasa boleh dibangunkan secara bertanggungjawab dan terbuka oleh komuniti penyelidikan yang lebih luas "

Cabaran kekal

Walaupun usaha BigScience untuk membawa keterbukaan dan ketelusan kepada penyelidikan AI dan model bahasa berskala besar patut dipuji, cabaran masih wujud dalam bidang itu.

Penyelidikan model bahasa semula jadi (LLM) berskala besar sedang bergerak ke arah model yang lebih besar dan lebih besar, yang akan meningkatkan lagi kos latihan dan pengendalian. BLOOM menggunakan 384 GPU Nvidia Tesla A100 (berharga kira-kira $32,000 setiap satu) untuk latihan. Dan model yang lebih besar akan memerlukan kelompok pengkomputeran yang lebih besar. Pasukan BigScience telah mengumumkan bahawa ia akan terus mencipta model bahasa semula jadi besar (LLM) sumber terbuka lain, tetapi masih perlu dilihat bagaimana pasukan itu akan membiayai penyelidikannya yang semakin mahal. Sebagai contoh, OpenAI bermula sebagai organisasi bukan untung dan kemudian menjadi organisasi untung yang menjual produk dan bergantung pada pembiayaan daripada Microsoft.

Isu lain yang masih perlu diselesaikan ialah kos besar untuk menjalankan model ini. Model BLOOM termampat bersaiz 227GB, dan menjalankannya memerlukan perkakasan khusus dengan beratus-ratus GB memori. Sebagai perbandingan, GPT-3 memerlukan kluster pengkomputeran yang setara dengan Nvidia DGX 2, yang berharga kira-kira $400,000. Hugging Face merancang untuk melancarkan platform API yang akan membolehkan penyelidik menggunakan model itu untuk kira-kira $40 sejam, yang merupakan kos yang besar.

Kos menjalankan BLOOM juga akan memberi kesan kepada komuniti pembelajaran mesin gunaan, syarikat permulaan dan organisasi yang ingin membina produk yang dikuasakan oleh model bahasa semula jadi (LLM) berskala besar. Pada masa ini, API GPT-3 yang disediakan oleh OpenAI lebih sesuai untuk pembangunan produk. Menarik untuk melihat arah mana yang diambil oleh BigScience dan Hugging Face untuk membolehkan pembangun membina produk berdasarkan penyelidikan berharga mereka.

Dalam hal ini, seseorang menjangkakan versi model BigScience yang lebih kecil dalam keluaran akan datang. Bertentangan dengan apa yang sering dipaparkan dalam media, Model Bahasa Semulajadi Besar (LLM) masih mematuhi prinsip "tiada makan tengah hari percuma". Ini bermakna apabila menggunakan pembelajaran mesin, model yang lebih padat yang diperhalusi untuk tugasan tertentu adalah lebih berkesan daripada model yang sangat besar dengan prestasi purata pada banyak tugasan. Sebagai contoh, Codex ialah versi GPT-3 yang diubah suai yang memberikan bantuan besar dengan pengaturcaraan pada sebahagian kecil daripada saiz dan kos GPT-3. GitHub kini menawarkan produk berasaskan Codex, Copilot, dengan harga $10 sebulan.

Adalah menarik untuk meneliti ke mana perginya AI akademik dan gunaan pada masa hadapan kerana BLOOM berharap dapat mewujudkan budaya baharu.

Tajuk asal: ​​BLOOM boleh menetapkan budaya baharu untuk penyelidikan AI—tetapi cabaran kekal​​​, pengarang ：Ben Dickson​

Atas ialah kandungan terperinci BLOOM boleh mencipta budaya baharu untuk penyelidikan AI, tetapi cabaran masih ada. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!