


Biarkan robot merasakan 'Anda di sini', pasukan Tsinghua menggunakan berjuta-juta senario untuk mencipta penyerahan mesin manusia sejagat
Penyelidik dari Institut Maklumat Antara Disiplin Universiti Tsinghua mencadangkan rangka kerja yang dipanggil "GenH2R", yang bertujuan untuk membolehkan robot mempelajari strategi penyerahan mesin manusia berasaskan penglihatan universal. Strategi ini membolehkan robot menangkap pelbagai objek dengan pelbagai bentuk dan trajektori gerakan yang kompleks dengan lebih dipercayai, membawa kemungkinan baharu untuk interaksi manusia-komputer. Penyelidikan ini memberikan satu kejayaan penting untuk pembangunan bidang kecerdasan buatan dan membawa fleksibiliti dan kebolehsuaian yang lebih besar kepada aplikasi robot dalam senario kehidupan sebenar.
Dengan kemunculan era kecerdasan terkandung (Embodied AI), kami mengharapkan badan pintar berinteraksi secara aktif dengan alam sekitar. Dalam proses ini, menjadi penting untuk mengintegrasikan robot ke dalam persekitaran hidup manusia dan berinteraksi dengan manusia (Human Robot Interaction). Kita perlu memikirkan cara untuk memahami tingkah laku dan niat manusia, memenuhi keperluan mereka dengan cara yang paling sesuai dengan jangkaan manusia, dan meletakkan manusia sebagai pusat kecerdasan yang terkandung (Human-Centered Embodied AI). Salah satu kemahiran utama ialah Penyerahan Manusia-ke-Robot Boleh Digeneralisasikan, yang membolehkan robot bekerjasama dengan lebih baik dengan manusia untuk menyelesaikan pelbagai tugas harian biasa, seperti memasak, mengatur rumah dan pemasangan perabot.
Pembangunan model besar yang meletup menunjukkan bahawa data besar-besaran berkualiti tinggi + pembelajaran berskala besar adalah cara yang mungkin untuk bergerak ke arah kecerdasan am Jadi, bolehkah kemahiran penyerahan manusia-mesin secara umum diperolehi melalui data robot besar-besaran dan besar- peniruan strategi skala? Walau bagaimanapun, adalah berbahaya dan mahal untuk membenarkan pembelajaran interaktif berskala besar antara robot dan manusia di dunia nyata, dan mesin itu mungkin membahayakan manusia:
Latih dalam persekitaran simulasi dan gunakan simulasi manusia serta dinamik memahami perancangan gerakan untuk menyediakan sejumlah besar data pembelajaran robot yang pelbagai secara automatik, dan kemudian menggunakan data ini pada robot sebenar Kaedah berasaskan pembelajaran ini dipanggil "Pemindahan Sim-to-Real", yang boleh meningkatkan hubungan antara robot dan sebenar dengan ketara. robot. Keupayaan interaksi kolaboratif antara manusia dengan kebolehpercayaan yang lebih tinggi.
Oleh itu, rangka kerja "GenH2R" telah dicadangkan, bermula dari tiga perspektif: Simulasi, Demonstrasi dan Peniruan, membenarkan robot belajar buat kali pertama secara menyeluruh untuk sebarang kaedah merebut, sebarang trajektori penyerahan dan sebarang geometri objek: 1) Menyediakan berjuta-juta tahap pelbagai senario penyerahan simulasi kompleks yang mudah dijana dalam persekitaran "GenH2R-Sim", 2) Memperkenalkan satu set penjanaan Demonstrasi Pakar automatik proses berdasarkan kolaborasi visi-tindakan, 3) menggunakan kaedah Pembelajaran Tiruan berdasarkan maklumat 4D dan bantuan ramalan (awan titik + masa).
Berbanding dengan kaedah SOTA (CVPR2023 Highlight), purata kadar kejayaan kaedah GenH2R pada pelbagai set ujian meningkat sebanyak 14%, masa dipendekkan sebanyak 13%, dan ia berfungsi dengan lebih mantap dalam eksperimen mesin sebenar.
- Alamat kertas: https://arxiv.org/abs/2401.00929
- Laman utama kertas: https://GenH video: https: //youtu.be/BbphK5QlS1Y
- Pengenalan kaedah
Untuk membantu pemain yang belum menyelesaikan tahap, mari kita belajar tentang kaedah penyelesaian teka-teki khusus "Simulation Environment (GenH2R) )".
Untuk menjana set data objek tangan manusia berskala besar berkualiti tinggi, persekitaran GenH2R-Sim memodelkan pemandangan dari segi pose menangkap dan trajektori gerakan.
Dari segi pose menggenggam, GenH2R-Sim memperkenalkan model objek 3D yang kaya daripada ShapeNet, memilih 3266 objek harian yang sesuai untuk penyerahan, dan menggunakan kaedah penjanaan genggaman tangkas (DexGraspNet) untuk menghasilkan sejumlah 100 A adegan berpuluh-puluh beribu-ribu tangan mencengkam objek. Dari segi trajektori gerakan, GenH2R-Sim menggunakan beberapa titik kawalan untuk menjana berbilang lengkung Bézier yang licin, dan memperkenalkan putaran tangan dan objek manusia untuk mensimulasikan pelbagai trajektori gerakan kompleks objek hantaran tangan.
Dalam 1 juta adegan GenH2R-Sim, ia bukan sahaja jauh melebihi kerja terkini dari segi trajektori gerakan (1,000 vs 1 juta) dan bilangan objek (20 vs 3266), tetapi juga memperkenalkan kaedah yang hampir dengan situasi sebenar. maklumat interaktif (contohnya, apabila lengan robot cukup dekat dengan objek, orang itu akan bekerjasama untuk menghentikan pergerakan dan menunggu penyerahan selesai), bukannya main balik trajektori yang mudah. Walaupun data yang dijana melalui simulasi tidak boleh realistik sepenuhnya, keputusan eksperimen menunjukkan bahawa data simulasi berskala besar lebih kondusif untuk pembelajaran berbanding data sebenar berskala kecil.
B. Penjanaan contoh pakar berskala besar yang memudahkan penyulingan
Berdasarkan data trajektori gerakan tangan manusia dan objek berskala besar, GenH2R menjana sejumlah besar contoh pakar. "Pakar" yang dicari oleh GenH2R ialah Perancang Pergerakan yang dipertingkatkan (seperti Perancang OMG, kaedah ini bukan pembelajaran, pengoptimuman berasaskan kawalan, tidak bergantung pada awan titik visual dan selalunya memerlukan beberapa keadaan pemandangan (seperti kedudukan meraih sasaran). daripada objek). Untuk memastikan bahawa rangkaian dasar visual seterusnya dapat menyaring maklumat yang bermanfaat untuk pembelajaran, kuncinya adalah untuk memastikan bahawa contoh yang diberikan oleh "pakar" mempunyai korelasi visi-tindakan. Jika titik pendaratan terakhir diketahui semasa perancangan, lengan robot boleh mengabaikan penglihatan dan terus merancang ke kedudukan akhir untuk "tunggu dan tunggu". Ini boleh menyebabkan kamera robot tidak dapat melihat objek rangkaian strategi visual hiliran; Dan jika lengan robot sering dirancang semula berdasarkan kedudukan objek, ia boleh menyebabkan lengan robot bergerak secara tidak berterusan dan muncul dalam bentuk yang pelik, menjadikannya mustahil untuk menyelesaikan genggaman yang munasabah.
Untuk menjana contoh pakar mesra Penyulingan, GenH2R memperkenalkan Perancangan Mercu Tanda. Trajektori pergerakan tangan manusia akan dibahagikan kepada beberapa segmen mengikut kelancaran dan jarak trajektori, dengan Landmark sebagai tanda segmentasi. Dalam setiap segmen, trajektori tangan manusia adalah lancar dan kaedah pakar merancang ke arah titik Mercu Tanda. Pendekatan ini menjamin kedua-dua korelasi tindakan visual dan kesinambungan tindakan. Rangkaian pembelajaran tiruan 4D berbantukan ramalan penguraian geometri dan kinematik. Untuk setiap awan titik bingkai, transformasi pose antara awan titik bingkai sebelumnya dan algoritma titik terdekat berulang dikira untuk menganggarkan maklumat aliran setiap titik, supaya awan titik setiap bingkai Semua mempunyai ciri pergerakan. Kemudian, gunakan PointNet++ untuk mengekod setiap bingkai awan titik Akhir sekali, ia bukan sahaja menyahkod tindakan egosentrik 6D yang diperlukan, tetapi juga mengeluarkan ramalan tambahan pose masa depan objek, meningkatkan keupayaan rangkaian dasar untuk meramalkan pergerakan tangan dan objek masa hadapan.
Berbeza dengan Tulang Belakang 4D yang lebih kompleks (seperti berasaskan Transformer), kelajuan penaakulan seni bina rangkaian ini sangat pantas, dan ia lebih sesuai untuk senario interaksi manusia-komputer seperti penyerahan objek yang memerlukan kependaman rendah Pada masa yang sama, ia juga boleh menggunakan maklumat pemasaan dengan berkesan, mencapai keseimbangan antara kesederhanaan dan keberkesanan.
experiment
a. -data simulasi berskala untuk latihan boleh mencapai kelebihan yang ketara (kadar kejayaan pada pelbagai set ujian meningkat secara purata 14% dan masa dipendekkan sebanyak 13%).
Dalam set ujian data sebenar s0, kaedah GenH2R boleh berjaya menyerahkan objek yang lebih kompleks, dan boleh melaraskan postur terlebih dahulu untuk mengelakkan pelarasan postur yang kerap apabila penggenggam dekat dengan objek:
Dalam set ujian data simulasi t0 (diperkenalkan oleh GenH2R-sim), kaedah GenH2R boleh meramalkan postur masa depan objek untuk mencapai trajektori pendekatan yang lebih munasabah:
Dalam set ujian data sebenar t1 ( GenH2R -sim telah diperkenalkan daripada HOI4D (kira-kira 7 kali lebih besar daripada set ujian s0 kerja sebelumnya), kaedah GenH2R boleh digeneralisasikan kepada objek dunia nyata yang tidak kelihatan dengan geometri yang berbeza.
B. Percubaan mesin sebenar
GenH2R juga menggunakan strategi yang dipelajari ke lengan robot di dunia nyata untuk melengkapkan lompatan "sim-to-real".
Untuk trajektori gerakan yang lebih kompleks (seperti putaran), strategi GenH2R menunjukkan kebolehsuaian yang lebih kuat; untuk geometri yang lebih kompleks, kaedah GenH2R boleh menunjukkan generalisasi yang lebih kukuh:
2 telah menyelesaikan ujian mesin dan pengguna GenH2R yang sebenar pelbagai objek penyerahan, menunjukkan keteguhan yang kuat.
Untuk lebih banyak eksperimen dan kaedah, sila rujuk halaman utama kertas.
Pengenalan pasukan
Kertas kerja ini berasal dari Makmal 3DVICI Universiti Tsinghua, Makmal Kepintaran Buatan Shanghai dan Institut Penyelidikan Qizhi Shanghai -pengarang), Chen Ziqing dan Xie Pengwei, pengajarnya ialah Yi Li dan Chen Rui.
Makmal Pengkomputeran Visi 3D dan Makmal Perisikan Mesin Universiti Tsinghua (dirujuk sebagai Makmal 3DVICI) ialah makmal kecerdasan buatan di bawah Institut Maklumat Antara Disiplin Universiti Tsinghua Ia ditubuhkan dan diarahkan oleh Profesor Yi Li. 3DVICI Lab menyasarkan kepada isu-isu termaju penglihatan tiga dimensi am dan interaksi robot pintar dalam kecerdasan buatan Arah penyelidikannya meliputi persepsi yang terkandung, perancangan dan penjanaan interaksi, kerjasama manusia-mesin, dsb., dan berkait rapat dengan aplikasi. bidang seperti robotik, realiti maya dan pemanduan autonomi. Matlamat penyelidikan pasukan adalah untuk membolehkan ejen pintar memahami dan berinteraksi dengan dunia tiga dimensi Hasilnya telah diterbitkan dalam persidangan dan jurnal komputer utama.
Atas ialah kandungan terperinci Biarkan robot merasakan 'Anda di sini', pasukan Tsinghua menggunakan berjuta-juta senario untuk mencipta penyerahan mesin manusia sejagat. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

0. Apakah fungsi artikel ini? Kami mencadangkan DepthFM: model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens. Mari kita baca karya ini bersama-sama ~ 1. Tajuk maklumat kertas: DepthFM: FastMonocularDepthEstimationwithFlowMatching Pengarang: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

Saya menangis hingga mati. Dunia sedang membina model besar. Data di Internet tidak mencukupi. Model latihan kelihatan seperti "The Hunger Games", dan penyelidik AI di seluruh dunia bimbang tentang cara memberi makan data ini kepada pemakan yang rakus. Masalah ini amat ketara dalam tugas berbilang modal. Pada masa mereka mengalami kerugian, pasukan pemula dari Jabatan Universiti Renmin China menggunakan model baharu mereka sendiri untuk menjadi yang pertama di China untuk menjadikan "suapan data yang dijana model itu sendiri" menjadi kenyataan. Selain itu, ia merupakan pendekatan serampang dua mata dari segi pemahaman dan sisi penjanaan Kedua-dua pihak boleh menjana data baharu berbilang modal yang berkualiti tinggi dan memberikan maklum balas data kepada model itu sendiri. Apakah model? Awaker 1.0, model berbilang modal besar yang baru sahaja muncul di Forum Zhongguancun. Siapa pasukan itu? Enjin Sophon. Diasaskan oleh Gao Yizhao, pelajar kedoktoran di Sekolah Kecerdasan Buatan Hillhouse Universiti Renmin.

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh
