Penanda aras kawalan robot berskala besar sumber terbuka Berkeley, tidak lagi sukar untuk menghadapi tugas kawalan autonomi yang kompleks

Dengan perkembangan pesat kecerdasan buatan dan teknologi robotik, kepentingan manipulasi berfungsi dalam robotik telah menjadi semakin menonjol. Ujian penanda aras tradisional tidak lagi dapat memenuhi keperluan semasa robot untuk tugasan manipulasi yang kompleks, yang memerlukan kemunculan penanda aras manipulasi baharu (Tanda Aras Manipulasi Fungsian).

Ikhtisar

Manipulasi robot menghadapi dua cabaran utama: cara robot bijak mengendalikan dinamik sentuhan yang kompleks dan cara menangani kepelbagaian persekitaran dan objek. Sebagai tindak balas kepada cabaran ini, teknologi pembelajaran robot dianggap sebagai penyelesaian utama. Oleh itu, medan memerlukan rangka kerja yang komprehensif dan boleh diakses yang menyediakan tugasan dunia sebenar yang mencabar, data berkualiti tinggi, tetapan yang mudah ditiru dan kaedah yang berkaitan yang menyepadukan hasil garis dasar, penyelidik boleh menjalankan eksperimen pada tugasan yang dicadangkan analisis yang mendalam.

Pasukan penyelidik di University of California, Berkeley, Robotics Intelligent Laboratory (RAIL) mencadangkan penanda aras dunia sebenar seperti yang dinyatakan di atas, dipanggil FMB (Functional Manipulation Benchmark for Generalizable Robotic Learning).

• Laman utama projek: https://functional-manipulation-benchmark.github.io/
• Alamat kertas: https://arxiv.org/abs/2401.08553
Tajuk FMB : Penanda Aras Manipulasi Berfungsi untuk Pembelajaran Robotik Boleh Digeneralisasikan
Laman utama pengarang bersama pertama: https://people.eecs.berkeley.edu/~jianlanluo/
https://charlesxu0124.github.io/
• .

Tugas yang pelbagai: termasuk tugasan manipulasi berbilang peringkat objek tunggal dan berbilang objek, benar-benar meniru cabaran dalam persekitaran harian.

Set Data Besar: Melalui sejumlah besar demonstrasi manusia, robot itu disediakan dengan set data yang kaya.

Garis Asas Pembelajaran Peniruan: Menggunakan kaedah pembelajaran mesin yang canggih, hasil asas dan komponen modular disediakan untuk digunakan oleh penyelidik lain.

• Objek dan tugasan
• Tugasan dalam FMB secara kasar dibahagikan kepada dua kategori: tugasan manipulasi berbilang-langkah objek tunggal dan tugasan manipulasi berbilang objek. Tugasan ini direka bentuk untuk menguji kemahiran asas robot seperti menggenggam, meletakkan semula dan memasang, yang diperlukan untuk menyelesaikan keseluruhan tugasan. Tugasan dalam FMB memerlukan robot bukan sahaja melengkapkan satu kemahiran kawalan, tetapi juga memerlukan robot untuk menggabungkan kemahiran ini untuk menyelesaikan tugasan berbilang langkah yang lebih kompleks.

Reka bentuk tugas FMB adalah fleksibel dan boleh diubah Penyelidik boleh memilih untuk menumpukan pada satu kemahiran dan mengkaji keupayaan kawalan robot secara mendalam seperti yang diperlukan, atau mereka boleh mengkaji tugasan berbilang langkah yang lengkap, yang memerlukan robot untuk membuat masa yang panjang. -perancangan jangka dan mempunyai keupayaan untuk pulih daripada kegagalan. Tugasan berbilang langkah yang lebih kompleks memerlukan robot membuat keputusan masa nyata yang kompleks, kerana ia melibatkan pemilihan objek yang sesuai dan membuat alasan tentang urutan memanipulasinya.

Set Data Besar

Dalam proses pembelajaran robot, peranan data tidak boleh dipandang remeh. Untuk membolehkan robot lebih memahami dan menguasai tugas yang kompleks, pasukan penyelidik mengumpul set data demonstrasi manusia pakar berskala besar yang meliputi tugas di atas, yang mengandungi lebih daripada 20,000 trajektori operasi. Pasukan penyelidik menggunakan empat kamera berbeza untuk merakam data demonstrasi ini, dua daripadanya dipasang pada pergelangan tangan robot dan dua daripadanya memberikan perspektif global. Kamera ini menangkap data seperti maklumat imej warna RGB, maklumat kedalaman dan banyak lagi yang penting untuk robot belajar menyelesaikan tugas.

Selain itu, set data juga merekodkan maklumat daya/torsi pengesan akhir robot, yang sangat penting untuk tugas seperti pemasangan yang memerlukan sentuhan dengan sejumlah besar objek. Melalui data yang kaya ini, robot dapat memahami dengan mendalam setiap butiran tugas dan meniru kemahiran pengendalian manusia dengan lebih tepat. Ia adalah tepat kerana kedalaman dan keluasan data yang menyediakan asas yang kukuh untuk pembelajaran robot. Ini membolehkan robot bertindak balas terhadap tugas dengan lebih berperikemanusiaan dan cekap apabila melakukan tugas yang rumit.

Garis asas pembelajaran imitasi

^{Rajah seni bina strategi garis dasar.}

Kedua-dua model berdasarkan Transformer dan ResNet menggunakan pengekod ResNet dengan berat yang dikongsi untuk mengekod setiap paparan imej, dan kemudian menggabungkannya dengan maklumat proprioseptif dan objek pilihan serta ciri pengekodan kemahiran robot yang sepadan, untuk meramalkan tindakan dengan 7 darjah kebebasan.

Bahagian percubaan FMB menjalankan satu siri ujian ke atas prestasi sistem pembelajaran tiruan, membandingkan kaedah pembelajaran yang berbeza dan meneroka kesan mod input dan keputusan reka bentuk yang berbeza. Eksperimen mendapati bahawa menggunakan maklumat mendalam membantu meningkatkan keberkesanan strategi memahami, dan maklumat daya/torsi adalah sangat penting untuk tugas pemasangan. Untuk tugasan berbilang langkah, kaedah ResNet, Transformer dan Diffusion tradisional telah gagal, tetapi kaedah kawalan hierarki yang dicadangkan dalam kertas ini menunjukkan potensi.

Tugas merangkak

Hasil eksperimen menunjukkan bahawa strategi ResNet yang menggabungkan maklumat mendalam secara konsisten berprestasi lebih baik dalam tugas merangkak berbanding strategi yang hanya menggunakan maklumat RGB. Melalui kajian pengurangan data, pasukan penyelidik meneroka kesan jumlah data latihan yang berbeza terhadap prestasi tugas merangkak. Keputusan menunjukkan bahawa prestasi strategi ResNet yang menggabungkan maklumat mendalam semasa memproses objek yang dilihat akan bertambah baik apabila jumlah data latihan meningkat. Terutama, strategi ini menunjukkan prestasi yang serupa dengan objek yang dilihat untuk objek yang tidak kelihatan, menunjukkan bahawa kepelbagaian objek latihan sangat menyumbang kepada keupayaan generalisasi robot.

Tugas Perhimpunan

Dalam tugas pemasangan, kepentingan maklumat daya/torsi disahkan. Maklumat daya/torsi adalah sangat penting untuk strategi yang diguna pakai oleh robot untuk menentukan sama ada objek telah menghubungi permukaan sasaran dan untuk menjalankan tindakan secara berkesan seperti mencari.

Walau bagaimanapun, apabila dasar dilatih pada semua objek, robot tidak selalu dapat menyelesaikan tugas pemasangan dengan jayanya. Ini kerana strategi perlu terlebih dahulu menentukan lubang mana objek harus dipasang dan kemudian menjana tindakan yang sepadan, yang meningkatkan kerumitan tugas dengan ketara. Untuk menyelesaikan masalah ini, pasukan penyelidik menambah mekanisme pemilihan objek kepada strategi untuk membantu strategi menentukan bentuk objek yang perlu dipasang, dengan itu memfokuskan pada penjanaan tindakan pemasangan yang betul.

Tugas pelbagai langkah

Rangka kerja FMB terdiri daripada dua tugas yang kompleks. Tugas kompleks ini memerlukan robot untuk dapat menyelesaikan beberapa langkah berturut-turut sama seperti manusia. Kaedah sebelumnya adalah untuk membiarkan robot mempelajari keseluruhan proses, tetapi kaedah ini terdedah kepada terkumpul ralat disebabkan oleh ralat dalam satu pautan, akhirnya membawa kepada kegagalan keseluruhan tugas. Pendekatan ini mempunyai kadar kejayaan 0/10 dalam kedua-dua tugasan manipulasi objek tunggal dan berbilang.

Untuk menangani masalah ralat kumulatif, pasukan penyelidik menggunakan strategi kawalan hierarki. Strategi hierarki menguraikan tugas kepada beberapa bahagian kecil Setiap bahagian yang telah dilengkapkan bersamaan dengan melepasi titik keputusan Walaupun ralat berlaku, ia boleh dibetulkan dengan cepat untuk mengelak daripada menjejaskan pautan berikutnya. Contohnya, jika robot gagal memegang objek dengan selamat semasa genggaman, ia akan terus mencuba sehingga berjaya.

Pasukan penyelidik menguji dua kaedah hierarki Kaedah pertama menyediakan vektor berkesan yang menunjukkan jenis tugasan untuk satu strategi, manakala kaedah kedua melatih strategi yang berbeza secara berasingan untuk setiap kemahiran manipulasi, kedua-duanya menggunakan arahan operator sebagai bahagian atas. strategi peringkat, dalam ujian, pasukan penyelidik mendapati bahawa kedua-dua kaedah menunjukkan prestasi yang baik.

Keputusan ujian menunjukkan keberkesanan pendekatan hierarki dalam mengendalikan tugas robotik yang kompleks dan menyediakan arah penyelidikan baharu untuk penyelidikan masa hadapan.

Seperti yang ditunjukkan dalam gambar di atas, robot boleh mengawal fungsi secara autonomi selepas pembelajaran.

Secara amnya, eksperimen di atas menunjukkan inovasi teknologi pasukan penyelidik dalam bidang pembelajaran robot, dan juga mengesahkan bahawa FMB ialah penanda aras yang sesuai untuk membangunkan kaedah pembelajaran robot lanjutan. Pasukan penyelidik menantikan penyelidikan masa depan yang boleh menolak lagi sempadan pembelajaran robot berdasarkan FMB.

Atas ialah kandungan terperinci Penanda aras kawalan robot berskala besar sumber terbuka Berkeley, tidak lagi sukar untuk menghadapi tugas kawalan autonomi yang kompleks. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!