Penyelidik meta mencipta korteks visual buatan yang membolehkan robot beroperasi secara visual

Penyelidik dari jabatan penyelidikan AI Meta baru-baru ini mengeluarkan pengumuman yang mengumumkan kemajuan penting dalam penyelarasan kemahiran penyesuaian robot dan replikasi korteks visual. Mereka mengatakan kemajuan ini membolehkan robot berkuasa AI beroperasi di dunia nyata melalui penglihatan dan tanpa perlu memperoleh sebarang data dari dunia nyata.

Mereka mendakwa ini adalah kemajuan besar dalam mencipta robot "Embodied AI" tujuan umum yang boleh beroperasi tanpa campur tangan manusia Berinteraksi dengan dunia nyata. Para penyelidik juga berkata mereka mencipta korteks visual buatan yang dipanggil "VC-1" yang dilatih pada set data Ego4D, yang merekodkan aktiviti harian daripada beribu-ribu peserta penyelidikan di seluruh dunia.

Seperti yang dijelaskan oleh penyelidik dalam catatan blog yang diterbitkan sebelum ini, korteks visual ialah kawasan otak yang membolehkan organisma menukar penglihatan kepada pergerakan. Oleh itu, mempunyai korteks visual buatan adalah keperluan utama bagi mana-mana robot yang perlu melaksanakan tugas berdasarkan pemandangan di hadapannya.

Memandangkan korteks visual buatan "VC-1" diperlukan untuk melaksanakan pelbagai tugas sensorimotor yang berbeza dengan baik dalam pelbagai persekitaran, set data Ego4D memainkan peranan yang sangat penting kerana ia mengandungi peserta penyelidikan Pengguna boleh pakai kamera untuk merakam beribu-ribu jam video aktiviti harian, termasuk memasak, membersihkan, bersenam, membuat kerajinan dan banyak lagi.

Para penyelidik berkata: "Organisme biologi mempunyai korteks visual universal, yang merupakan agen perwakilan yang kami cari. Oleh itu, kami bercadang untuk mencipta set data yang berfungsi dengan baik dalam pelbagai tugas, dengan Ego4D sebagai teras set data dan menambah baik VC-1 dengan menambahkan set data tambahan Memandangkan Ego4D tertumpu terutamanya pada aktiviti harian seperti memasak, berkebun dan membuat kerajinan, kami juga menggunakan set data video egosentrik yang meneroka rumah dan pangsapuri."

Walau bagaimanapun, visual. korteks hanyalah satu elemen "AI konkrit". Jika robot ingin bekerja sepenuhnya secara autonomi di dunia nyata, ia juga mesti boleh memanipulasi objek di dunia nyata. Robot memerlukan penglihatan untuk menavigasi, mencari dan membawa objek, mengalihkannya ke lokasi lain, dan kemudian meletakkannya dengan betul—semua tindakan yang dilakukannya secara autonomi berdasarkan perkara yang dilihat dan didengarinya.

Untuk menyelesaikan masalah ini, pakar AI Meta bekerjasama dengan penyelidik di Institut Teknologi Georgia untuk membangunkan teknologi baharu yang dipanggil Penyelarasan Kemahiran Adaptif (ASC), yang robot gunakan untuk mensimulasikan latihan, dan kemudian mereplikasi kemahiran ini ke dalam robot dunia sebenar.

Meta juga bekerjasama dengan Boston Dynamics untuk menunjukkan keberkesanan teknologi ASCnya. Kedua-dua syarikat itu menggabungkan teknologi ASC dengan robot Spot Boston Dynamics untuk memberikan robotnya keupayaan penderiaan, navigasi dan manipulasi yang berkuasa, walaupun ia juga memerlukan campur tangan manusia yang ketara. Contohnya, memilih objek memerlukan seseorang mengklik pada objek yang dipaparkan pada tablet robot.

Para penyelidik menulis dalam artikel itu: "Matlamat kami adalah untuk membina model AI yang boleh melihat dunia daripada penderiaan atas kapal dan arahan motor melalui Boston Dynamics API

Ujian Robot Spot ialah dijalankan menggunakan simulator Habitat, persekitaran simulasi yang dibina dengan set data HM3D dan ReplicaCAD yang mengandungi data imbasan 3D dalaman lebih 1,000 rumah. Robot Spot kemudiannya dilatih untuk bergerak di sekitar rumah yang tidak pernah dilihatnya sebelum ini, membawa objek dan meletakkannya di lokasi yang sesuai. Pengetahuan dan maklumat yang diperoleh oleh robot Spot terlatih kemudiannya direplikasi kepada robot Spot yang beroperasi di dunia nyata, yang secara automatik melaksanakan tugas yang sama berdasarkan pengetahuan mereka tentang susun atur rumah.

Kami menggunakan dua persekitaran dunia sebenar yang sangat berbeza, sebuah pangsapuri berkeluasan 185 meter persegi dan makmal universiti seluas 65 meter persegi, tulis para penyelidik robot telah diuji, memerlukannya untuk menempatkan semula pelbagai item Secara keseluruhannya, robot Spot dengan teknologi ASC melakukan hampir sempurna, berjaya 59 kali daripada 60 ujian, mengatasi ketidakstabilan perkakasan, gangguan memilih dan pergerakan musuh seperti halangan atau laluan yang disekat. "

Penyelidik meta berkata mereka turut membuka kod sumber model VC-1 dan berkongsi cara menskala saiz model dalam kertas lain. Butiran tentang saiz set data, dsb. Sementara itu, tumpuan seterusnya pasukan akan cuba mengintegrasikan VC-1 dengan ASC untuk mencipta sistem AI perwakilan yang lebih seperti manusia.

Atas ialah kandungan terperinci Penyelidik meta mencipta korteks visual buatan yang membolehkan robot beroperasi secara visual. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!