Ketua Pegawai Eksekutif OpenAI berkata: Memperluas skala bukan satu-satunya cara untuk maju, dan era model AI gergasi mungkin akan berakhir

Menurut berita pada 18 April, chatbot OpenAI ChatGPT sangat berkuasa sehingga ia telah menimbulkan minat dan pelaburan yang besar dalam kecerdasan buatan. Bagaimanapun, Ketua Pegawai Eksekutif syarikat Sam Altman percaya bahawa strategi penyelidikan sedia ada telah gagal dan kemajuan AI masa depan memerlukan idea baharu.

Dalam beberapa tahun kebelakangan ini, OpenAI telah membuat satu siri kemajuan yang mengagumkan dalam bahasa pemprosesan dengan menskalakan algoritma pembelajaran mesin sedia ada kepada skala yang tidak dapat dibayangkan sebelum ini. Projeknya yang paling baru dibangunkan ialah GPT-4, yang dikatakan telah dilatih menggunakan trilion perkataan teks dan beribu-ribu cip komputer berkuasa dengan kos lebih daripada $100 juta.

Walau bagaimanapun, Altman berkata bahawa kemajuan masa depan dalam AI tidak lagi bergantung pada menjadikan model lebih besar. "Saya fikir kita berada di penghujung era, " katanya pada acara MIT "Dalam era [keluar] ini, model menjadi lebih besar dan lebih besar. Sekarang, kita akan melakukannya dengan cara lain lebih baik.”

Komen Altman mewakili giliran yang tidak dijangka dalam perlumbaan untuk membangunkan dan menggunakan algoritma AI baharu. Sejak melancarkan ChatGPT pada bulan November, Microsoft telah memanfaatkan teknologi asas untuk menambah chatbots pada enjin carian Bingnya, dan Google telah melancarkan pesaing yang dipanggil Bard. Ramai orang tidak sabar-sabar untuk mencuba bot sembang baharu ini untuk membantu tugasan kerja atau peribadi.

Sementara itu, banyak syarikat permulaan yang dibiayai dengan baik, termasuk Anthropic, AI21, Cohere dan Character.AI, menumpukan sumber yang signifikan untuk membina algoritma yang lebih besar dalam usaha untuk mengejar OpenAI. Versi awal ChatGPT dibina pada GPT-3, tetapi pengguna kini turut mempunyai akses kepada versi yang disokong GPT-4 yang lebih berkuasa.

Kenyataan Altman juga membayangkan bahawa selepas menggunakan strategi mengembangkan model dan menyediakan lebih banyak data untuk latihan, GPT-4 mungkin merupakan pencapaian utama terakhir OpenAI. Bagaimanapun, beliau tidak mendedahkan sebarang strategi atau teknik penyelidikan yang mungkin menggantikan kaedah semasa. Dalam kertas kerja yang menerangkan GPT-4, OpenAI berkata anggarannya menunjukkan pulangan yang semakin berkurangan daripada meningkatkan model. Terdapat juga had fizikal kepada bilangan pusat data yang boleh dibina oleh syarikat dan seberapa cepat ia boleh membinanya, kata Altman.

Pengasas bersama Cohere Nick Frosst, yang bekerja pada penyelidikan kecerdasan buatan di Google, berkata bahawa apa yang Altman katakan "menambah saiz model secara berterusan bukanlah penyelesaian yang berkesan kepada pelan tanpa had" adalah betul. Beliau percaya bahawa model pembelajaran mesin untuk GPT-4 dan jenis transformer lain (kumpulan penyuntingan: transformer diterjemahkan secara literal sebagai penukar, dan GPT ialah singkatan daripada transformer pra-latihan Generatif, yang bermaksud model pra-latihan generatif berdasarkan transformer), kemajuan. bukan setakat scaling lagi.

Frost menambah: "Terdapat banyak cara untuk menjadikan transformer lebih baik dan lebih berguna, dan kebanyakannya tidak melibatkan penambahan parameter pada model reka bentuk atau seni bina model AI Baharu, dan berdasarkan pelarasan lanjut berasaskan manusia maklum balas adalah arah ke hadapan yang telah diterokai oleh ramai penyelidik "

Dalam keluarga algoritma bahasa OpenAI, setiap versi terdiri daripada rangkaian saraf tiruan, dan reka bentuk perisian ini diilhamkan oleh rangkaian saraf. elemen berinteraksi antara satu sama lain, selepas latihan, ia boleh meramalkan perkataan yang sepatutnya mengikut rentetan teks yang diberikan.

Pada 2019, OpenAI mengeluarkan model bahasa pertamanya GPT-2. Ia melibatkan sehingga 1.5 bilion parameter dan merupakan ukuran bilangan sambungan boleh laras antara neuron. Itu jumlah yang sangat besar, sebahagiannya terima kasih kepada penemuan oleh penyelidik OpenAI yang meningkatkan skala menjadikan model lebih koheren.

Pada 2020, OpenAI melancarkan GPT-3, pengganti GPT-2, yang merupakan model yang lebih besar dengan 175 bilion parameter. Keupayaan luas GPT-3 untuk menjana puisi, e-mel dan teks lain telah menyebabkan syarikat dan institusi penyelidikan lain percaya bahawa mereka boleh menskalakan model AI mereka sendiri kepada skala yang serupa atau lebih besar daripada GPT-3.

Selepas ChatGPT memulakan kerjaya pada November tahun lepas, pembuat meme dan pakar teknologi membuat spekulasi bahawa apabila GPT-4 keluar, ia akan menjadi model yang lebih kompleks dengan lebih banyak parameter. Walau bagaimanapun, apabila OpenAI akhirnya mengumumkan model AI baharunya, syarikat itu tidak mendedahkan berapa besarnya, mungkin kerana saiz bukan lagi satu-satunya faktor yang penting. Pada acara MIT, Altman ditanya sama ada kos latihan untuk GPT-4 ialah $100 juta, dan dia menjawab: "Lebih daripada itu."

Walaupun OpenAI merahsiakan skala dan kerja dalaman GPT-4, kemungkinan besar ia tidak lagi bergantung semata-mata pada peningkatan untuk meningkatkan prestasi. Satu kemungkinan ialah syarikat itu menggunakan kaedah yang dipanggil "pembelajaran pengukuhan dengan maklum balas manusia" untuk meningkatkan keupayaan ChatGPT, termasuk meminta manusia menilai kualiti jawapan model untuk membimbingnya dalam menyediakan perkhidmatan yang lebih cenderung dinilai sebagai jawapan yang berkualiti tinggi .

Keupayaan luar biasa GPT-4 telah membimbangkan ramai pakar dan mencetuskan perdebatan tentang potensi AI untuk mengubah ekonomi, serta kebimbangan bahawa ia boleh menyebarkan maklumat yang salah dan mewujudkan pengangguran. Sebilangan usahawan dan pakar AI baru-baru ini menandatangani surat terbuka yang menggesa moratorium enam bulan ke atas pembangunan model yang lebih berkuasa daripada GPT-4, termasuk Ketua Pegawai Eksekutif Tesla Elon Musk.

Pada acara MIT, Altman mengesahkan bahawa syarikatnya tidak sedang membangunkan GPT-5. Dia menambah: "Versi awal surat terbuka ini mendakwa bahawa OpenAI sedang melatih GPT-5. Kami sebenarnya tidak melakukan ini dan tidak akan melakukannya dalam masa terdekat."

Atas ialah kandungan terperinci Ketua Pegawai Eksekutif OpenAI berkata: Memperluas skala bukan satu-satunya cara untuk maju, dan era model AI gergasi mungkin akan berakhir. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!