Keluaran besar, 'sains seperti otak' atau penyelesaian optimum kepada masalah penggunaan kuasa pengkomputeran dan panjang konteks model bahasa besar kecerdasan buatan!

Dalam acara besar fiksyen sains dan sains, fiksyen sains tiba-tiba bersinar menjadi realiti.

Baru-baru ini, di Shenzhen Advanced Institute, Shenzhen University of Technology Education Foundation dan Science and Fantasy Growth Fund mengadakan acara dengan latar belakang fiksyen sains dan kemunculan AI. Pasukan dari Shenzhen yang dipanggil Luxi Technology telah mengeluarkan model bahasa besar kecerdasan buatan mereka---NLM (Model Bahasa Pra-latihan Neuromorfik Generatif) secara terbuka, model bahasa besar yang tidak berdasarkan Transformer.

Berbeza daripada banyak model besar di dalam dan luar negara, pasukan ini mengambil sains seperti otak dan kecerdasan seperti otak sebagai terasnya, sambil menyepadukan ciri rangkaian saraf berulang, dan membangunkan model bahasa besar yang diilhamkan oleh ciri pengkomputeran yang cekap daripada otak.

Apa yang lebih menakjubkan ialah penggunaan kuasa pengkomputeran model ini di bawah tahap parameter yang sama ialah 1/22 daripada seni bina Transformer mengenai isu panjang konteks, NLM juga memberikan jawapan yang sempurna: tetingkap panjang konteks boleh mencapai pertumbuhan tanpa had sama ada had 2k LLM sumber terbuka, atau had panjang konteks lain 32k atau 100k, ia tidak menjadi masalah.

Apakah pengkomputeran yang diilhamkan oleh otak?

Pengkomputeran seperti otak ialah model pengkomputeran yang meniru struktur dan fungsi otak manusia Ia mensimulasikan sambungan rangkaian saraf otak manusia dari segi seni bina, prinsip reka bentuk dan kaedah pemprosesan maklumat. Pengkomputeran jenis ini melampaui sekadar cuba mensimulasikan ciri-ciri permukaan rangkaian saraf biologi, tetapi mendalami cara mensimulasikan pembinaan asas rangkaian saraf biologi-iaitu, memproses dan menyimpan maklumat jujukan melalui interkoneksi berskala besar neuron dan sinaps .

Tidak seperti algoritma berasaskan peraturan tradisional, pengkomputeran yang diilhamkan oleh otak bergantung pada sejumlah besar rangkaian saraf yang saling berkaitan untuk mempelajari dan mengekstrak maklumat secara autonomi, sama seperti otak manusia. Pendekatan ini membolehkan sistem pengkomputeran belajar daripada pengalaman, menyesuaikan diri dengan situasi baharu, memahami corak yang kompleks, dan membuat keputusan dan ramalan lanjutan.

Disebabkan tahap kebolehsuaian yang tinggi dan keupayaan pemprosesan selari, sistem pengkomputeran yang diilhamkan oleh otak telah menunjukkan kecekapan dan ketepatan yang sangat tinggi dalam memproses data besar, pengecaman imej dan pertuturan, pemprosesan bahasa semula jadi dan bidang lain. Sistem ini bukan sahaja boleh memproses maklumat yang kompleks dan berubah dengan cepat, tetapi ia juga menggunakan tenaga dan sumber pengkomputeran yang jauh lebih sedikit daripada seni bina pengkomputeran tradisional kerana ia tidak memerlukan pra-pengaturcaraan dan input data yang meluas.

Secara umumnya, pengkomputeran yang diilhamkan oleh otak membuka paradigma pengkomputeran baharu. Ia melangkaui rangkaian saraf tiruan tradisional dan bergerak ke arah sistem pintar termaju yang boleh belajar sendiri, mengatur diri dan juga mempunyai tahap kesedaran diri tertentu.

Kemajuan model besar yang diilhamkan oleh otak

Pada majlis itu, Dr. Zhou Peng daripada pasukan Lu Xi menerangkan secara terperinci mekanisme pelaksanaan model besar seperti otak itu.

Sebagai model rangkaian neural generasi baharu, juga dikenali sebagai rangkaian neural seperti otak, ia menerobos kelemahan dua generasi pertama rangkaian saraf.

-Rangkaian saraf generasi pertama (juga dikenali sebagai: MLP multi-layer perceptron), yang menghantar isyarat sebagai 0 dan 1, tidak dapat mengendalikan tugas yang terlalu rumit dan tidak memerlukan banyak kuasa pengkomputeran.

-Rangkaian saraf generasi kedua, juga dikenali sebagai rangkaian saraf tiruan, menukar isyarat penghantaran kepada selang berterusan [0-1], yang mempunyai kerumitan yang mencukupi, tetapi overhed kuasa pengkomputeran juga meningkat.

- Generasi ketiga rangkaian saraf, juga dikenali sebagai rangkaian saraf seperti otak, menukar isyarat kepada urutan nadi Walaupun mempunyai kerumitan yang mencukupi, ia juga menjadikan kos kuasa pengkomputeran boleh dikawal. Urutan nadi ini dicapai dengan meniru dinamik dalam struktur saraf. Pada masa yang sama, jujukan bermaksud masa, dan rangkaian neural generasi ketiga boleh mengintegrasikan dan mengeluarkan maklumat masa dalam maklumat dengan berkesan.

-Berbanding dengan dua generasi rangkaian saraf sebelumnya, ia boleh memproses maklumat jujukan dengan dimensi masa dengan lebih berkesan dan memahami dunia sebenar dengan lebih berkesan.

Prinsip penaakulan model besar berdasarkan algoritma seperti otak juga berbeza sama sekali daripada Transformer. Semasa proses penaakulan, terdapat perbezaan yang ketara dalam mekanisme operasi model Transformer dan model seperti otak. Apabila model Transformer melakukan inferens, ia akan mempertimbangkan semua maklumat kontekstual untuk menjana token seterusnya. Operasi ini boleh dibandingkan dengan semasa berbual, setiap kali kita menyebut perkataan, kita perlu mengimbas kembali semua pengalaman hari itu. Ini juga merupakan sebab utama mengapa kos pengiraan model berskala besar terus meningkat manakala parameternya terus meningkat.

Secara relatifnya, model seperti otak hanya perlu bergantung pada keadaan dalamannya dan token apabila membuat alasan. Ini boleh dibandingkan dengan apabila kita meluahkan perkataan seterusnya apabila bercakap, tanpa perlu mengingati secara khusus semua situasi sebelumnya, dan kandungan ucapan juga secara intrinsiknya berkaitan dengan pengalaman terdahulu. Mekanisme ini adalah kunci kepada keupayaan NLM untuk mengurangkan overhed kuasa pengkomputeran dengan ketara, menjadikannya lebih dekat dengan cara otak manusia beroperasi, dan dengan itu meningkatkan prestasinya dengan ketara.

Juga kerana ciri yang diilhamkan oleh otak, panjang konteks yang terhad bukan lagi masalah yang membimbangkan. Model besar NLM menggunakan rangkaian neural generasi ketiga tidak mempunyai kesesakan panjang konteks kerana kuasa pengkomputeran yang diperlukan untuk memproses token seterusnya tidak berkaitan dengan panjang konteks. Panjang konteks model bahasa besar seni bina Transformer yang tersedia untuk umum adalah hanya 100k Meningkatkan panjang konteks bukan sahaja soal overhed kuasa pengkomputeran, tetapi juga persoalan "bolehkah".

Konteks panjang tak terhingga NLM akan membuka pintu kepada imaginasi aplikasi model bahasa yang besar, sama ada mengkaji laporan kewangan yang kompleks, membaca ratusan ribu perkataan novel atau membuat model besar "melalui konteks panjang tak terhingga" Memahami anda dengan lebih baik” boleh menjadi kenyataan.

AI di mata pasukan Lu Xi

Pada acara ini, Dr. Zhou Peng, pengasas dan CTO Teknologi Luxi, menerangkan misi semasa pasukan itu-untuk memperkasakan semua perkara.

Dalam era kecerdasan buatan, kecerdasan buatan perlu dipopularkan di mana-mana, sama seperti Internet dan elektrik sudah ada di mana-mana di sekeliling kita. Walaupun kecerdasan buatan semasa mengagumkan dari segi keupayaan, kos operasinya memberi beban yang besar kepada perniagaan dan pengguna. Sebilangan besar telefon mudah alih, jam tangan, tablet dan komputer riba tidak dapat menjalankan model bahasa besar kecerdasan buatan generatif dengan cara yang lengkap, sistematik, cekap dan berkualiti tinggi di bawah teknologi semasa Ambang untuk membangunkan aplikasi model besar juga telah menghalang banyak yang cemerlang pemaju yang berminat dengan ini.

Pada acara itu, Luxi Technology menunjukkan kepada penonton cara menggunakan model besar "NLM-GPT" dalam mod luar talian telefon Android biasa untuk menyelesaikan pelbagai tugas biasa dalam kerja dan kehidupan, mendorong acara ke kemuncak hadapan .

- Telefon mudah alih yang mengambil bahagian dalam demonstrasi dilengkapi dengan seni bina cip biasa di pasaran, dan prestasinya adalah serupa dengan model Android biasa dalam pasaran pengguna. Dengan telefon dalam mod pesawat dan tidak disambungkan ke Internet, Luxi Technology menunjukkan model besar "NLM-GPT" yang boleh bercakap dengan pengguna dalam masa nyata melalui telefon, menjawab soalan yang dibangkitkan oleh pengguna dan menyelesaikan tugas termasuk penciptaan puisi, penulisan resipi, pengetahuan Arahan seperti mendapatkan semula dan tafsiran fail adalah sangat kompleks, memerlukan parameter prestasi tinggi perkakasan telefon mudah alih, dan secara tradisinya memerlukan rangkaian untuk diselesaikan.

- Semasa keseluruhan proses demonstrasi, penggunaan tenaga telefon mudah alih adalah stabil, dengan kesan minimum pada masa siap sedia biasa, dan tiada kesan ke atas prestasi keseluruhan telefon mudah alih.

-Demonstrasi ini berjaya membuktikan bahawa model besar "NLM-GPT" berpotensi untuk dijalankan dalam semua senario, dengan kecekapan tinggi, penggunaan kuasa yang rendah dan penggunaan trafik sifar dalam peranti komersial kecil C-end seperti telefon pintar dan tablet . Ini bermakna, berkat pemerkasaan model besar "NLM-GPT", telefon bimbit, jam tangan, tablet, komputer riba dan peranti lain dapat memahami niat sebenar manusia dengan lebih tepat dan cekap, serta boleh digunakan dalam pelbagai situasi seperti pejabat, belajar, rangkaian sosial, hiburan, dll. Lengkapkan pelbagai arahan dan tugasan yang dikemukakan oleh manusia dengan kualiti yang lebih tinggi dalam senario aplikasi, meningkatkan kecekapan dan kualiti pengeluaran sosial dan kehidupan manusia.

Luxi Technology percaya bahawa "model bahasa besar kecerdasan buatan buatan" yang dipacu oleh "teknologi seperti otak" akan meluaskan pemikiran, persepsi dan tindakan manusia secara menyeluruh dalam pelbagai bidang seperti pengajian, kerja dan kehidupan, serta meningkatkan Keseluruhan keseluruhan. kecerdasan manusia. Terima kasih kepada pemerkasaan teknologi seperti otak, kecerdasan buatan tidak lagi menjadi agen pintar baharu yang menggantikan manusia, tetapi akan menjadi alat pintar yang cekap untuk manusia mengubah dunia dan mencipta masa depan yang lebih baik.

Sama seperti orang zaman dahulu melatih anjing dan elang, profesion pemburu tidak akan hilang kerana kemunculan anjing dan burung helang. Sebaliknya, pemburu telah mendapat manfaat daripada ini dan telah menguasai kuasa yang dimiliki oleh anjing dan burung helang tetapi tidak dimiliki oleh manusia sendiri Mereka boleh mendapatkan mangsa dengan lebih cekap, memberikan kuasa dan nutrien untuk pertumbuhan kumpulan manusia dan pembangunan tamadun manusia.

Pada masa hadapan, menggunakan model bahasa besar kecerdasan buatan dalam kerja dan kehidupan harian tidak lagi menjadi projek sistem berbilang proses yang kompleks, tetapi akan menjadi seperti "membuka kod pembayaran semasa mendaftar keluar" dan "menekan pengatup apabila mengambil foto" , "Satu klik dan tiga klik berturut-turut apabila melihat video pendek" secara amnya mudah, semula jadi dan lancar. Pasukan Lu Xi akan terus bekerja dalam bidang pengkomputeran yang diilhamkan oleh otak, menjalankan penyelidikan mendalam tentang otak, anugerah alam semula jadi yang paling berharga kepada manusia, dan membawa kecerdasan yang diilhamkan oleh otak ke dalam kehidupan seharian.

Mungkin, dalam masa terdekat, manusia akan mempunyai lebih ramai rakan kongsi kecerdasan buatan yang baharu. Tidak ada darah yang mengalir dalam tubuh mereka, dan kecerdasan mereka tidak akan menggantikan manusia. Dengan sokongan teknologi yang diilhamkan oleh otak, mereka akan bekerjasama dengan kami untuk menerokai misteri alam semesta, meluaskan sempadan masyarakat dan mencipta masa depan yang lebih baik.

Sumber: Life Newspaper

(Sumber: undefined)

Untuk maklumat yang lebih menarik, sila muat turun klien "Jimu News" dalam pasaran aplikasi Tolong jangan cetak semula tanpa kebenaran Anda dialu-alukan untuk memberikan petunjuk berita, dan anda akan dibayar sebaik sahaja diterima. Talian pelaporan 24 jam ialah 027-86777777.

Atas ialah kandungan terperinci Keluaran besar, 'sains seperti otak' atau penyelesaian optimum kepada masalah penggunaan kuasa pengkomputeran dan panjang konteks model bahasa besar kecerdasan buatan!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!