


Teknologi teras Byte AI Lab memenangi Kejohanan Navigasi Aktif Cabaran Habitat 2022, yang menggabungkan kaedah tradisional dengan pembelajaran tiruan.
Navigasi Objek ialah salah satu tugas asas robot pintar. Dalam tugasan ini, robot pintar secara aktif meneroka dan mencari jenis objek tertentu yang ditetapkan oleh manusia dalam persekitaran baharu yang tidak diketahui. Tugas navigasi sasaran objek berorientasikan kepada keperluan aplikasi robot perkhidmatan rumah masa hadapan Apabila orang memerlukan robot untuk menyelesaikan tugasan tertentu, seperti mendapatkan segelas air, robot perlu terlebih dahulu mencari dan bergerak ke lokasi cawan air. , dan kemudian bantu orang ramai mendapatkan cawan air.
Cabaran Habitat dianjurkan bersama oleh Meta AI dan institusi lain Ia merupakan salah satu pertandingan yang terkenal dalam bidang navigasi objek Setakat 2022, ia telah diadakan selama 4 tahun berturut-turut daripada 54 pasukan telah menyertai pertandingan ini. Dalam pertandingan itu, penyelidik dari pasukan ByteDance AI Lab-Research mencadangkan rangka kerja navigasi sasaran objek baharu untuk menangani kelemahan kaedah sedia ada. Rangka kerja ini dengan bijak menggabungkan pembelajaran tiruan dengan kaedah tradisional untuk menonjol daripada orang ramai dan memenangi kejuaraan. Keputusan yang jauh melebihi keputusan tempat kedua dan pasukan lain yang mengambil bahagian dalam SPL metrik utama. Dari segi sejarah, pasukan kejohanan acara ini umumnya merupakan institusi penyelidikan yang terkenal seperti CMU, UC Berkerly, dan Facebook.
Senarai Standard Ujian
Senarai Cabaran Ujian
Laman Web Rasmi Cabaran Habitat : https ://aihabitat.org/challenge/2022/
Papan Pemimpin Pertandingan Cabaran Habitat: https://eval.ai/web/challenges/challenge-page/1615/leaderboard
1 motivasi
Kaedah navigasi sasaran objek semasa boleh dibahagikan secara kasar kepada dua kategori: kaedah hujung ke hujung dan kaedah berasaskan peta. Kaedah hujung-ke-hujung mengekstrak ciri-ciri data penderia input dan kemudian menyuapnya ke dalam model pembelajaran mendalam untuk mendapatkan tindakan kaedah tersebut secara amnya berdasarkan pembelajaran pengukuhan atau pembelajaran tiruan (Rajah 1 Kaedah tanpa peta); -kaedah berasaskan umumnya membina peta eksplisit Atau tersirat, kemudian pilih titik sasaran pada peta melalui pembelajaran pengukuhan dan kaedah lain, dan akhirnya merancang laluan dan mendapatkan tindakan (Rajah 1 Kaedah berasaskan Peta).
Rajah 1 Carta alir kaedah hujung ke hujung (atas) dan kaedah berasaskan peta (bawah)
Selepas banyak eksperimen Selepas membandingkan kedua-dua jenis kaedah, penyelidik mendapati bahawa kedua-dua jenis kaedah mempunyai kelebihan dan kekurangan mereka sendiri: kaedah hujung ke hujung tidak perlu membina peta persekitaran, jadi ia lebih ringkas dan mempunyai keupayaan generalisasi yang lebih kukuh dalam senario yang berbeza. Walau bagaimanapun, kerana rangkaian perlu mempelajari maklumat spatial persekitaran pengekodan, ia bergantung pada sejumlah besar data latihan, dan sukar untuk mempelajari beberapa tingkah laku mudah pada masa yang sama, seperti berhenti berhampiran objek sasaran. Kaedah berasaskan peta menggunakan raster untuk menyimpan ciri atau semantik dan mempunyai maklumat spatial yang jelas, jadi ambang pembelajaran untuk jenis tingkah laku ini lebih rendah. Walau bagaimanapun, ia sangat bergantung pada keputusan kedudukan yang tepat, dan dalam sesetengah persekitaran seperti tangga, reka bentuk tiruan persepsi dan strategi perancangan laluan diperlukan.
Berdasarkan kesimpulan di atas, penyelidik dari pasukan Penyelidikan Makmal ByteDance AI berharap dapat menggabungkan kelebihan kedua-dua kaedah tersebut. Walau bagaimanapun, proses algoritma kedua-dua kaedah ini sangat berbeza dan sukar untuk digabungkan secara langsung di samping itu, ia juga sukar untuk mereka bentuk strategi untuk mengintegrasikan secara langsung output kedua-dua kaedah. Oleh itu, penyelidik mereka bentuk strategi mudah tetapi berkesan yang membolehkan kedua-dua jenis kaedah melakukan penerokaan aktif dan pencarian objek secara bergilir-gilir mengikut status robot, seterusnya memaksimumkan kelebihan masing-masing.
2. Kaedah pertandingan
Algoritma terutamanya terdiri daripada dua cabang: cawangan berasaskan peta kebarangkalian dan cawangan hujung ke hujung. Input algoritma ialah imej RGB-D paparan pertama dan pose robot, serta kategori objek sasaran untuk ditemui, dan output adalah tindakan seterusnya (tindakan). Imej RGB adalah contoh pertama dibahagikan dan dihantar ke kedua-dua cawangan bersama-sama dengan data input mentah yang lain. Kedua-dua cawangan mengeluarkan tindakan mereka sendiri masing-masing, dan strategi pensuisan menentukan tindakan keluaran akhir.
Rajah 2 Carta alir algoritma
Cawangan berasaskan peta kemungkinan
Cawangan berasaskan peta kemungkinan menggunakan idea Peta pemautan semantik[2], berdasarkan kertas asal pengarang yang diterbitkan di Robot IROS Kaedah persidangan[3] telah dipermudahkan. Cawangan ini membina peta semantik 2D berdasarkan hasil pembahagian contoh input, peta kedalaman, dan pose robot sebaliknya, ia mengemas kini peta kebarangkalian berdasarkan kebarangkalian perkaitan yang telah dipelajari antara objek.
Kaedah kemas kini peta kebarangkalian termasuk yang berikut: Apabila objek sasaran dikesan tetapi tidak cukup yakin (skor keyakinan lebih rendah daripada ambang), anda harus terus memerhati lebih dekat pada masa ini, jadi kawasan yang sepadan pada peta kebarangkalian Nilai kebarangkalian perlu ditingkatkan (seperti yang ditunjukkan di bahagian atas Rajah 3 sama, jika objek yang berkaitan dengan objek sasaran dikesan (contohnya, kebarangkalian meja dan kerusi diletakkan bersama adalah agak tinggi), nilai kebarangkalian bagi kawasan yang sepadan juga akan meningkat (Seperti yang ditunjukkan di bawah dalam Rajah 3). Dengan memilih kawasan yang mempunyai kebarangkalian tertinggi sebagai titik sasaran, algoritma menggalakkan robot mendekati objek sasaran yang berpotensi dan objek berkaitan untuk pemerhatian selanjutnya sehingga ia menemui objek sasaran dengan kebarangkalian keyakinan lebih tinggi daripada ambang.
Rajah 3 Gambar rajah skema kaedah kemas kini peta kebarangkalian
Cawangan hujung ke hujung
Input cawangan hujung ke hujung termasuk imej RGB-D, hasil pembahagian contoh, pose robot dan kategori objek sasaran serta tindakan dikeluarkan secara langsung. Fungsi utama cawangan hujung ke hujung adalah untuk membimbing robot mencari objek seperti manusia, jadi model dan proses latihan kaedah Habitat-Web[4] diguna pakai. Kaedah tersebut berdasarkan pembelajaran tiruan, di mana rangkaian dilatih dengan mengumpul contoh manusia mencari objek dalam set latihan.
Strategi penukaran
Strategi pensuisan terutamanya berdasarkan keputusan peta kebarangkalian dan perancangan laluan, memilih salah satu daripada dua tindakan yang dikeluarkan oleh cabang peta kebarangkalian dan cawangan hujung ke hujung sebagai output akhir. Apabila tiada raster dengan kebarangkalian lebih besar daripada ambang dalam peta kebarangkalian, robot perlu meneroka persekitaran apabila laluan yang boleh dilaksanakan tidak dapat dirancang pada peta, robot mungkin berada dalam beberapa persekitaran khas (seperti tangga). Dalam kedua-dua kes, percabangan hujung ke hujung hujung ke hujung membolehkan robot mempunyai kebolehsuaian persekitaran yang mencukupi. Dalam kes lain, cabang peta kebarangkalian dipilih untuk memberikan permainan penuh kepada kelebihannya dalam mencari objek sasaran.
Kesan strategi pensuisan ini ditunjukkan dalam video Robot biasanya menggunakan cawangan hujung ke hujung untuk meneroka persekitaran dengan cekap Sebaik sahaja objek sasaran atau objek berkaitan ditemui, ia beralih kepada cabang peta kebarangkalian untuk pemerhatian yang lebih dekat Jika kebarangkalian keyakinan objek sasaran lebih besar daripada ambang, ia akan berhenti pada objek sasaran jika tidak, nilai kebarangkalian dalam kawasan akan terus berkurangan sehingga tiada grid dengan kebarangkalian yang lebih besar daripada ambang, dan robot akan bertukar kembali ke hujung ke hujung untuk meneruskan penerokaan.
Seperti yang dapat dilihat daripada video, pendekatan ini menggabungkan kelebihan kedua-dua pendekatan hujung ke hujung dan pendekatan berasaskan peta. Kedua-dua cawangan melaksanakan tugas mereka sendiri Kaedah hujung-ke-hujung terutamanya bertanggungjawab untuk menerokai alam sekitar cawangan peta kebarangkalian bertanggungjawab untuk memerhatikan dekat dengan kawasan yang diminati. Oleh itu, kaedah ini bukan sahaja dapat meneroka adegan yang kompleks (seperti tangga), tetapi juga mengurangkan keperluan latihan cawangan hujung ke hujung.
3. Ringkasan
Untuk tugas navigasi sasaran aktif objek, pasukan Penyelidikan Makmal AI ByteDance mencadangkan rangka kerja yang menggabungkan peta kebarangkalian klasik dengan pembelajaran tiruan moden. Rangka kerja ini merupakan percubaan yang berjaya untuk menggabungkan kaedah tradisional dengan pendekatan hujung ke hujung. Dalam pertandingan Habitat, kaedah yang dicadangkan oleh pasukan ByteDance AI Lab-Research dengan ketara melebihi keputusan tempat kedua dan pasukan lain yang mengambil bahagian, membuktikan kemajuan algoritma. Dengan memperkenalkan kaedah tradisional ke dalam kaedah hujung-ke-hujung AI Embodied semasa arus perdana, kami boleh mengimbangi beberapa kelemahan kaedah hujung-ke-hujung, dengan itu menjadikan robot pintar melangkah lebih jauh untuk membantu dan berkhidmat kepada orang ramai.
Baru-baru ini, penyelidikan pasukan ByteDance AI Lab-Research dalam bidang robotik juga telah dimasukkan dalam persidangan robotik teratas seperti CoRL, IROS dan ICRA, termasuk anggaran pose objek, rampasan objek, navigasi sasaran dan automatik pemasangan, interaksi manusia-komputer dan tugas teras robot yang lain.
【CoRL 2022】Anggaran Bentuk dan Pose Peringkat Kategori Generatif dengan Primitif Semantik
- Alamat kertas: https://arxiv.org/abs/2210.01112
- Alamat kertas: https://arxiv.org/abs/2207.01779
02IROS 2 】Menavigasi ke Objek dalam Persekitaran Ghaib mengikut Ramalan Jarak
- Alamat kertas: https://arxiv.org/abs/2202.03735
[EMNLP 2022] Ke Arah Menyatukan Penjanaan dan Kefahaman Ungkapan Rujukan
- Kertas Alamat: https://arxiv.org/pdf/2210.13076
[ICRA 2022] Reka Bentuk dan Pembinaan Pembelajaran dengan Bahan Bersaiz Berpelbagai melalui Penetapan Semula Memori Diutamakan
- Alamat kertas : https://arxiv.org/abs/2204.05509
[IROS 2021] Pembelajaran Semantik dan Perlanggaran Serentak untuk 6-DoF Grasp Pose Estimation
- Alamat kertas: https ://arxiv.org/abs/2108.02425
[IROS 2021] Belajar Merekabentuk dan Membina Jambatan tanpa Pelan Tindakan
- Alamat kertas: https://arxiv.org /abs/2108.02439
4. Rujukan
[1] Yadav, Karmesh, et al. "Semantik 3D Habitat-Matterport."
[2] Zeng, Zhen, Adrian Röfer dan Odest Chadwicke Jenkins "Peta pemautan semantik untuk carian objek visual yang aktif 2020 IEEE International Conference on Robotics and Automation (ICRA, 2020).
[3] Minzhao Zhu, Binglei Zhao, dan Tao Kong "Menavigasi ke Objek dalam Persekitaran Ghaib mengikut Ramalan Jarak." [4] Ramrakhya, Ram, et al. "Habitat-Web: Strategi Carian Objek Terwujud daripada Demonstrasi Manusia pada Skala." 5. Mengenai KamiByteDance AI Lab NLP&Research memfokuskan pada penyelidikan teknologi termaju dalam bidang kecerdasan buatan, meliputi pemprosesan bahasa semula jadi, robotik dan bidang penyelidikan teknikal yang lain. Ia juga komited untuk mempraktikkan hasil penyelidikan untuk Produk dan perniagaan sedia ada syarikat menyediakan sokongan teknikal teras dan perkhidmatan. Keupayaan teknikal pasukan dibuka kepada dunia luar melalui Enjin Volcano, memperkasakan inovasi AI.
ByteDance AI-Lab NLP&Research Maklumat Hubungan
Perundingan pengambilan: fankaijing@bytedance.comKerjasama akademik: luomanping@bytedance.comAtas ialah kandungan terperinci Teknologi teras Byte AI Lab memenangi Kejohanan Navigasi Aktif Cabaran Habitat 2022, yang menggabungkan kaedah tradisional dengan pembelajaran tiruan.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Robot humanoid Ameca telah dinaik taraf kepada generasi kedua! Baru-baru ini, di Persidangan Komunikasi Mudah Alih Sedunia MWC2024, robot Ameca paling canggih di dunia muncul semula. Di sekitar venue, Ameca menarik sejumlah besar penonton. Dengan restu GPT-4, Ameca boleh bertindak balas terhadap pelbagai masalah dalam masa nyata. "Jom kita menari." Apabila ditanya sama ada dia mempunyai emosi, Ameca menjawab dengan beberapa siri mimik muka yang kelihatan sangat hidup. Hanya beberapa hari yang lalu, EngineeredArts, syarikat robotik British di belakang Ameca, baru sahaja menunjukkan hasil pembangunan terkini pasukan itu. Dalam video tersebut, robot Ameca mempunyai keupayaan visual dan boleh melihat serta menerangkan keseluruhan bilik dan objek tertentu. Perkara yang paling menakjubkan ialah dia juga boleh

Minggu ini, FigureAI, sebuah syarikat robotik yang dilaburkan oleh OpenAI, Microsoft, Bezos, dan Nvidia, mengumumkan bahawa ia telah menerima hampir $700 juta dalam pembiayaan dan merancang untuk membangunkan robot humanoid yang boleh berjalan secara bebas dalam tahun hadapan. Dan Optimus Prime Tesla telah berulang kali menerima berita baik. Tiada siapa yang meragui bahawa tahun ini akan menjadi tahun apabila robot humanoid meletup. SanctuaryAI, sebuah syarikat robotik yang berpangkalan di Kanada, baru-baru ini mengeluarkan robot humanoid baharu, Phoenix. Pegawai mendakwa bahawa ia boleh menyelesaikan banyak tugas secara autonomi pada kelajuan yang sama seperti manusia. Pheonix, robot pertama di dunia yang boleh menyelesaikan tugas secara autonomi pada kelajuan manusia, boleh mencengkam, menggerakkan dan meletakkan setiap objek secara elegan di sisi kiri dan kanannya dengan perlahan. Ia boleh mengenal pasti objek secara autonomi

Dalam bidang teknologi automasi perindustrian, terdapat dua titik panas terkini yang sukar diabaikan: kecerdasan buatan (AI) dan Nvidia. Jangan ubah maksud kandungan asal, perhalusi kandungan, tulis semula kandungan, jangan teruskan: “Bukan itu sahaja, kedua-duanya berkait rapat, kerana Nvidia tidak terhad kepada unit pemprosesan grafik asalnya (GPU ), ia sedang mengembangkan GPUnya Teknologi ini meluas ke bidang kembar digital dan berkait rapat dengan teknologi AI yang baru muncul "Baru-baru ini, NVIDIA telah mencapai kerjasama dengan banyak syarikat industri, termasuk syarikat automasi industri terkemuka seperti Aveva, Rockwell Automation, Siemens. dan Schneider Electric, serta Teradyne Robotics dan syarikat MiR dan Universal Robotsnya. Baru-baru ini, Nvidiahascoll

Editor Laporan Kuasa Mesin: Wu Xin Versi domestik robot humanoid + pasukan model besar menyelesaikan tugas operasi bahan fleksibel yang kompleks seperti melipat pakaian buat kali pertama. Dengan pelancaran Figure01, yang mengintegrasikan model besar berbilang modal OpenAI, kemajuan berkaitan rakan domestik telah menarik perhatian. Baru semalam, UBTECH, "stok robot humanoid nombor satu" China, mengeluarkan demo pertama robot humanoid WalkerS yang disepadukan secara mendalam dengan model besar Baidu Wenxin, menunjukkan beberapa ciri baharu yang menarik. Kini, WalkerS, diberkati oleh keupayaan model besar Baidu Wenxin, kelihatan seperti ini. Seperti Rajah01, WalkerS tidak bergerak, tetapi berdiri di belakang meja untuk menyelesaikan satu siri tugasan. Ia boleh mengikut perintah manusia dan melipat pakaian

10 robot humanoid berikut sedang membentuk masa depan kita: 1. ASIMO: Dibangunkan oleh Honda, ASIMO ialah salah satu robot humanoid yang paling terkenal. Berdiri setinggi 4 kaki dan seberat 119 paun, ASIMO dilengkapi dengan penderia termaju dan keupayaan kecerdasan buatan yang membolehkannya menavigasi persekitaran yang kompleks dan berinteraksi dengan manusia. Fleksibiliti ASIMO menjadikannya sesuai untuk pelbagai tugas, daripada membantu orang kurang upaya kepada menyampaikan pembentangan di acara. 2. Pepper: Dicipta oleh Softbank Robotics, Pepper bertujuan untuk menjadi teman sosial bagi manusia. Dengan wajah ekspresif dan keupayaan untuk mengenali emosi, Pepper boleh mengambil bahagian dalam perbualan, membantu dalam tetapan runcit, dan juga memberikan sokongan pendidikan. Lada punya

Robot menyapu dan mengemop adalah salah satu perkakas rumah pintar yang paling popular di kalangan pengguna sejak beberapa tahun kebelakangan ini. Kemudahan operasi yang dibawanya, atau bahkan keperluan tanpa operasi, membolehkan orang yang malas membebaskan tangan mereka, membolehkan pengguna "membebaskan" daripada kerja rumah harian dan menghabiskan lebih banyak masa untuk perkara yang mereka sukai Peningkatan kualiti hidup dalam bentuk yang menyamar. Menunggang kegilaan ini, hampir semua jenama perkakas rumah di pasaran membuat robot menyapu dan mengemop mereka sendiri, menjadikan keseluruhan pasaran robot menyapu dan mengemop sangat meriah. Walau bagaimanapun, perkembangan pesat pasaran pasti akan membawa bahaya tersembunyi: banyak pengeluar akan menggunakan taktik laut mesin untuk menduduki lebih banyak bahagian pasaran dengan cepat, menyebabkan banyak produk baru tanpa sebarang titik peningkatan mereka adalah model "matryoshka" Tidak keterlaluan. Walau bagaimanapun, tidak semua robot menyapu dan mengemop

Dalam sekelip mata, robot telah belajar melakukan sihir? Kelihatan ia mula-mula mengambil sudu air di atas meja, membuktikan kepada penonton bahawa tiada apa-apa di dalamnya... Kemudian, ia meletakkan objek seperti telur di tangannya, kemudian meletakkan sudu air itu semula di atas meja. dan mula "menjampi"... ...Apabila ia mengambil sudu air sekali lagi, satu keajaiban berlaku. Telur yang pada asalnya dimasukkan hilang, dan benda yang melompat keluar berubah menjadi bola keranjang... Mari lihat aksi berterusan sekali lagi: △ Animasi ini menunjukkan satu set aksi pada kelajuan 2x, dan ia mengalir dengan lancar hanya dengan menonton video berulang kali pada kelajuan 0.5x bolehkah ia berfungsi Akhirnya, saya menemui petunjuk: jika kelajuan tangan saya lebih pantas, saya mungkin dapat menyembunyikannya daripada musuh. Beberapa netizen mengeluh bahawa kemahiran sihir robot itu lebih tinggi daripada mereka sendiri: Mag adalah orang yang melakukan sihir ini untuk kami.

"The Legend of Zelda: Tears of the Kingdom" menjadi permainan Nintendo terpantas dalam sejarah Bukan sahaja Zonav Technology membawakan pelbagai kandungan komuniti "Zelda Creator", tetapi ia juga menjadi satu kursus kejuruteraan baru di Universiti. Maryland (UMD). Tulis Semula: The Legend of Zelda: Tears of the Kingdom ialah salah satu permainan terpantas Nintendo dalam rekod. Bukan sahaja Teknologi Zonav membawa kandungan komuniti yang kaya, ia juga telah menjadi sebahagian daripada kursus kejuruteraan baharu di Universiti Maryland pada musim gugur ini, Profesor Madya Ryan D. Sochol dari Universiti Maryland membuka kursus yang dipanggil ".
