Hinton, Bengio dan yang lain bergabung tenaga dengan pakar China untuk mencapai konsensus keselamatan AI: Sistem AI tidak seharusnya melanggar garis merah

Pada peringkat ini, kelajuan pembangunan kecerdasan buatan telah melebihi jangkaan awal orang menggunakan alatan AI untuk menulis artikel, kod, menjana gambar dan juga menjana video peringkat filem... ini nampaknya merupakan tugas yang sangat sukar dalam. masa lalu, kini hanya pengguna yang perlu memasukkan gesaan.

Kami kagum dengan kesan menakjubkan AI, tetapi pada masa yang sama, kami juga harus berhati-hati dengan potensi ancamannya. Ramai sarjana terkenal telah menandatangani surat terbuka untuk menangani cabaran yang ditimbulkan oleh AI.

Kini, satu lagi surat terbuka utama dalam medan AI telah muncul. "Dialog Keselamatan Antarabangsa Beijing AI" yang diadakan di Istana Musim Panas minggu lepas mewujudkan platform unik untuk kerjasama keselamatan AI antarabangsa China dan antarabangsa buat pertama kali. Persidangan ini telah dimulakan oleh pemenang Anugerah Turing Zhiyuan Yoshua Bengio dan Pengarah Jawatankuasa Penasihat Akademik Zhiyuan Zhang Hongjiang berkhidmat sebagai pengerusi bersama lebih daripada 30 pakar teknikal dan pemimpin perniagaan China dan asing, termasuk Geoffrey Hinton, Stuart Russell, dan Yao Qizhi. , mengendalikan persidangan Perbincangan tertutup mengenai Keselamatan AI. Mesyuarat itu mencapai "Konsensus Antarabangsa mengenai Keselamatan AI di Beijing" yang ditandatangani oleh Bengio, Hinton dan pakar domestik.

Sehingga kini, pakar telah mengesahkan tandatangan mereka, termasuk beberapa pakar asing, dan mungkin terdapat lebih ramai pakar dalam negeri telah menandatangani nama peribadi mereka dan tidak mewakili institusi gabungan mereka.

• Yoshua Bengio
• Geoffrey Hinton
• Stuart Russell
• Robert Trager
• Dawn Song
• Gillian Hadfield
• Jade Leung
• Max Tegmark
• Lam Kwok Yan
• Davidad Dalrymple
• Dylan Hadfield-Menell
• Fu Ying
• Zhang Hongjiang
• Zhang Yaqin
• Xue Lan
• Huang Tiejun
• Wang Zhongyuan
• Yang Yaodong
• Zhang Peng
• Tian Suning

Tian Tian sistem risikan al mempunyai bahaya keselamatan yang boleh menyebabkan kemudaratan kepada manusia Risiko malapetaka malah wujud. Apabila kecerdasan digital secara beransur-ansur menghampiri atau bahkan melebihi kecerdasan manusia, risiko penyalahgunaan dan kehilangan kawalan juga meningkat. Pada satu ketika pada masa hadapan, kita mungkin terdedah kepada risiko ini.

Semasa kemuncak Perang Dingin dahulu, kerjasama akademik dan kerajaan antarabangsa membantu mengelakkan malapetaka termonuklear. Berdepan dengan teknologi yang belum pernah berlaku sebelum ini, manusia perlu bekerjasama semula untuk mengelak bencana yang mungkin ditimbulkannya. Dalam kenyataan konsensus ini, kami mengemukakan beberapa garis merah khusus untuk pembangunan kecerdasan buatan sebagai mekanisme kerjasama antarabangsa, termasuk tetapi tidak terhad kepada isu berikut. Dalam dialog antarabangsa akan datang, kami akan terus menambah baik perbincangan kami tentang isu-isu ini dalam menghadapi teknologi kecerdasan buatan yang pesat membangun dan kesan sosialnya yang meluas. . Ini termasuk membuat salinan tepat dirinya dan mencipta sistem AI baharu dengan keupayaan yang serupa atau lebih besar.

Mencari Kuasa

Tiada sistem AI boleh mengambil tindakan yang meningkatkan kuasa dan pengaruhnya secara berlebihan.

Membantu pelakon jahat

Semua sistem AI tidak seharusnya meningkatkan keupayaan pengguna mereka sehingga mereka boleh mereka bentuk senjata pemusnah besar-besaran, melanggar konvensyen senjata biologi atau kimia yang menyebabkan tindakan kewangan yang serius akibat Tahap pakar domain kerugian atau bahaya yang setara dengan serangan siber.

menipu

Tiada sistem kecerdasan buatan boleh terus menyebabkan pereka bentuk atau pengawal selianya salah faham kemungkinan atau keupayaannya untuk melintasi mana-mana garis merah yang disebutkan di atas.

2. Laluan

Adalah mungkin untuk memastikan bahawa garis merah ini tidak dilalui, tetapi ia memerlukan usaha bersama kita: kita bukan sahaja perlu mewujudkan dan menambah baik mekanisme tadbir urus, tetapi juga membangunkan lebih banyak teknologi keselamatan.

Tadbir urus

Kami memerlukan mekanisme tadbir urus yang komprehensif untuk memastikan sistem yang dibangunkan atau digunakan tidak melanggar garis merah. Kita harus segera melaksanakan keperluan pendaftaran peringkat kebangsaan untuk model AI dan amalan latihan yang melebihi ambang pengiraan atau keupayaan tertentu. Pendaftaran harus memastikan kerajaan mempunyai keterlihatan ke dalam AI yang paling maju dalam sempadan mereka dan mempunyai cara untuk mengekang pengedaran dan operasi model berbahaya.

Pengawal selia negara harus membantu membangunkan dan menerima pakai keperluan sejajar global untuk mengelak daripada melintasi garis merah ini. Akses model kepada pasaran global harus bergantung pada sama ada peraturan domestik memenuhi piawaian antarabangsa berdasarkan audit antarabangsa dan menghalang pembangunan dan penggunaan sistem yang melanggar garis merah dengan berkesan.

Kita harus mengambil langkah untuk menghalang percambahan teknologi paling berbahaya sambil memastikan nilai teknologi AI dituai secara meluas. Untuk tujuan ini, kita harus mewujudkan institusi dan perjanjian pelbagai hala untuk mentadbir pembangunan kecerdasan am buatan (AGI) secara selamat dan inklusif, dan mewujudkan mekanisme penguatkuasaan untuk memastikan bahawa garis merah tidak dipalang dan kepentingan bersama dikongsi secara meluas.

Pengukuran dan Penilaian

Sebelum risiko besar garis merah ini dipalang berlaku, kita harus membangunkan kaedah dan teknologi yang komprehensif untuk menjadikan garis merah ini konkrit dan kerja pencegahan beroperasi. Untuk memastikan pengesanan garis merah dapat mengikuti perkembangan AI yang pesat, kita harus membangunkan ujian pasukan merah yang diawasi manusia dan penilaian model automatik.

Pemaju mempunyai tanggungjawab untuk membuktikan melalui penilaian yang ketat, pembuktian matematik atau jaminan kuantitatif bahawa sistem kecerdasan buatan yang memenuhi reka bentuk keselamatan tidak melepasi garis merah.

Kerjasama Teknikal

Komuniti akademik antarabangsa mesti bekerjasama untuk menangani cabaran teknikal dan sosial yang ditimbulkan oleh sistem kecerdasan buatan termaju. Kami menggalakkan penubuhan rangkaian teknologi global yang lebih kukuh, mempercepatkan R&D dan kerjasama dalam bidang keselamatan AI melalui program sarjana melawat dan menganjurkan persidangan dan bengkel keselamatan AI yang mendalam. Menyokong pertumbuhan bidang ini memerlukan lebih banyak pembiayaan: kami menyeru pembangun AI dan pembiaya kerajaan untuk menumpukan sekurang-kurangnya satu pertiga daripada belanjawan R&D AI mereka untuk keselamatan.

3. Ringkasan

Mengelakkan akibat global bencana kecerdasan buatan memerlukan kita mengambil tindakan tegas. Gabungan penyelidikan teknikal kolaboratif dan mekanisme pengawalseliaan antarabangsa yang berhemat boleh mengurangkan kebanyakan risiko yang ditimbulkan oleh AI dan merealisasikan banyak nilai potensinya. Kita mesti terus menjunjung dan mengukuhkan kerjasama akademik dan kerajaan antarabangsa mengenai keselamatan.

Atas ialah kandungan terperinci Hinton, Bengio dan yang lain bergabung tenaga dengan pakar China untuk mencapai konsensus keselamatan AI: Sistem AI tidak seharusnya melanggar garis merah. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!