


Biarkan robot merasakan 'Anda di sini', pasukan Tsinghua menggunakan berjuta-juta senario untuk mencipta penyerahan mesin manusia sejagat
Penyelidik dari Institut Maklumat Antara Disiplin Universiti Tsinghua mencadangkan rangka kerja yang dipanggil "GenH2R", yang bertujuan untuk membolehkan robot mempelajari strategi penyerahan mesin manusia berasaskan penglihatan universal. Strategi ini membolehkan robot menangkap pelbagai objek dengan pelbagai bentuk dan trajektori gerakan yang kompleks dengan lebih dipercayai, membawa kemungkinan baharu untuk interaksi manusia-komputer. Penyelidikan ini memberikan satu kejayaan penting untuk pembangunan bidang kecerdasan buatan dan membawa fleksibiliti dan kebolehsuaian yang lebih besar kepada aplikasi robot dalam senario kehidupan sebenar.
Dengan kemunculan era kecerdasan terkandung (Embodied AI), kami mengharapkan badan pintar berinteraksi secara aktif dengan alam sekitar. Dalam proses ini, menjadi penting untuk mengintegrasikan robot ke dalam persekitaran hidup manusia dan berinteraksi dengan manusia (Human Robot Interaction). Kita perlu memikirkan cara untuk memahami tingkah laku dan niat manusia, memenuhi keperluan mereka dengan cara yang paling sesuai dengan jangkaan manusia, dan meletakkan manusia sebagai pusat kecerdasan yang terkandung (Human-Centered Embodied AI). Salah satu kemahiran utama ialah Penyerahan Manusia-ke-Robot Boleh Digeneralisasikan, yang membolehkan robot bekerjasama dengan lebih baik dengan manusia untuk menyelesaikan pelbagai tugas harian biasa, seperti memasak, mengatur rumah dan pemasangan perabot.
Pembangunan model besar yang meletup menunjukkan bahawa data besar-besaran berkualiti tinggi + pembelajaran berskala besar adalah cara yang mungkin untuk bergerak ke arah kecerdasan am Jadi, bolehkah kemahiran penyerahan manusia-mesin secara umum diperolehi melalui data robot besar-besaran dan besar- peniruan strategi skala? Walau bagaimanapun, adalah berbahaya dan mahal untuk membenarkan pembelajaran interaktif berskala besar antara robot dan manusia di dunia nyata, dan mesin itu mungkin membahayakan manusia:
Latih dalam persekitaran simulasi dan gunakan simulasi manusia serta dinamik memahami perancangan gerakan untuk menyediakan sejumlah besar data pembelajaran robot yang pelbagai secara automatik, dan kemudian menggunakan data ini pada robot sebenar Kaedah berasaskan pembelajaran ini dipanggil "Pemindahan Sim-to-Real", yang boleh meningkatkan hubungan antara robot dan sebenar dengan ketara. robot. Keupayaan interaksi kolaboratif antara manusia dengan kebolehpercayaan yang lebih tinggi.
Oleh itu, rangka kerja "GenH2R" telah dicadangkan, bermula dari tiga perspektif: Simulasi, Demonstrasi dan Peniruan, membenarkan robot belajar buat kali pertama secara menyeluruh untuk sebarang kaedah merebut, sebarang trajektori penyerahan dan sebarang geometri objek: 1) Menyediakan berjuta-juta tahap pelbagai senario penyerahan simulasi kompleks yang mudah dijana dalam persekitaran "GenH2R-Sim", 2) Memperkenalkan satu set penjanaan Demonstrasi Pakar automatik proses berdasarkan kolaborasi visi-tindakan, 3) menggunakan kaedah Pembelajaran Tiruan berdasarkan maklumat 4D dan bantuan ramalan (awan titik + masa).
Berbanding dengan kaedah SOTA (CVPR2023 Highlight), purata kadar kejayaan kaedah GenH2R pada pelbagai set ujian meningkat sebanyak 14%, masa dipendekkan sebanyak 13%, dan ia berfungsi dengan lebih mantap dalam eksperimen mesin sebenar.
- Alamat kertas: https://arxiv.org/abs/2401.00929
- Laman utama kertas: https://GenH video: https: //youtu.be/BbphK5QlS1Y
- Pengenalan kaedah
Untuk membantu pemain yang belum menyelesaikan tahap, mari kita belajar tentang kaedah penyelesaian teka-teki khusus "Simulation Environment (GenH2R) )".
Untuk menjana set data objek tangan manusia berskala besar berkualiti tinggi, persekitaran GenH2R-Sim memodelkan pemandangan dari segi pose menangkap dan trajektori gerakan.
Dari segi pose menggenggam, GenH2R-Sim memperkenalkan model objek 3D yang kaya daripada ShapeNet, memilih 3266 objek harian yang sesuai untuk penyerahan, dan menggunakan kaedah penjanaan genggaman tangkas (DexGraspNet) untuk menghasilkan sejumlah 100 A adegan berpuluh-puluh beribu-ribu tangan mencengkam objek. Dari segi trajektori gerakan, GenH2R-Sim menggunakan beberapa titik kawalan untuk menjana berbilang lengkung Bézier yang licin, dan memperkenalkan putaran tangan dan objek manusia untuk mensimulasikan pelbagai trajektori gerakan kompleks objek hantaran tangan.
Dalam 1 juta adegan GenH2R-Sim, ia bukan sahaja jauh melebihi kerja terkini dari segi trajektori gerakan (1,000 vs 1 juta) dan bilangan objek (20 vs 3266), tetapi juga memperkenalkan kaedah yang hampir dengan situasi sebenar. maklumat interaktif (contohnya, apabila lengan robot cukup dekat dengan objek, orang itu akan bekerjasama untuk menghentikan pergerakan dan menunggu penyerahan selesai), bukannya main balik trajektori yang mudah. Walaupun data yang dijana melalui simulasi tidak boleh realistik sepenuhnya, keputusan eksperimen menunjukkan bahawa data simulasi berskala besar lebih kondusif untuk pembelajaran berbanding data sebenar berskala kecil.
B. Penjanaan contoh pakar berskala besar yang memudahkan penyulingan
Berdasarkan data trajektori gerakan tangan manusia dan objek berskala besar, GenH2R menjana sejumlah besar contoh pakar. "Pakar" yang dicari oleh GenH2R ialah Perancang Pergerakan yang dipertingkatkan (seperti Perancang OMG, kaedah ini bukan pembelajaran, pengoptimuman berasaskan kawalan, tidak bergantung pada awan titik visual dan selalunya memerlukan beberapa keadaan pemandangan (seperti kedudukan meraih sasaran). daripada objek). Untuk memastikan bahawa rangkaian dasar visual seterusnya dapat menyaring maklumat yang bermanfaat untuk pembelajaran, kuncinya adalah untuk memastikan bahawa contoh yang diberikan oleh "pakar" mempunyai korelasi visi-tindakan. Jika titik pendaratan terakhir diketahui semasa perancangan, lengan robot boleh mengabaikan penglihatan dan terus merancang ke kedudukan akhir untuk "tunggu dan tunggu". Ini boleh menyebabkan kamera robot tidak dapat melihat objek rangkaian strategi visual hiliran; Dan jika lengan robot sering dirancang semula berdasarkan kedudukan objek, ia boleh menyebabkan lengan robot bergerak secara tidak berterusan dan muncul dalam bentuk yang pelik, menjadikannya mustahil untuk menyelesaikan genggaman yang munasabah.
Untuk menjana contoh pakar mesra Penyulingan, GenH2R memperkenalkan Perancangan Mercu Tanda. Trajektori pergerakan tangan manusia akan dibahagikan kepada beberapa segmen mengikut kelancaran dan jarak trajektori, dengan Landmark sebagai tanda segmentasi. Dalam setiap segmen, trajektori tangan manusia adalah lancar dan kaedah pakar merancang ke arah titik Mercu Tanda. Pendekatan ini menjamin kedua-dua korelasi tindakan visual dan kesinambungan tindakan. Rangkaian pembelajaran tiruan 4D berbantukan ramalan penguraian geometri dan kinematik. Untuk setiap awan titik bingkai, transformasi pose antara awan titik bingkai sebelumnya dan algoritma titik terdekat berulang dikira untuk menganggarkan maklumat aliran setiap titik, supaya awan titik setiap bingkai Semua mempunyai ciri pergerakan. Kemudian, gunakan PointNet++ untuk mengekod setiap bingkai awan titik Akhir sekali, ia bukan sahaja menyahkod tindakan egosentrik 6D yang diperlukan, tetapi juga mengeluarkan ramalan tambahan pose masa depan objek, meningkatkan keupayaan rangkaian dasar untuk meramalkan pergerakan tangan dan objek masa hadapan.
Berbeza dengan Tulang Belakang 4D yang lebih kompleks (seperti berasaskan Transformer), kelajuan penaakulan seni bina rangkaian ini sangat pantas, dan ia lebih sesuai untuk senario interaksi manusia-komputer seperti penyerahan objek yang memerlukan kependaman rendah Pada masa yang sama, ia juga boleh menggunakan maklumat pemasaan dengan berkesan, mencapai keseimbangan antara kesederhanaan dan keberkesanan.
experiment
a. -data simulasi berskala untuk latihan boleh mencapai kelebihan yang ketara (kadar kejayaan pada pelbagai set ujian meningkat secara purata 14% dan masa dipendekkan sebanyak 13%).
Dalam set ujian data sebenar s0, kaedah GenH2R boleh berjaya menyerahkan objek yang lebih kompleks, dan boleh melaraskan postur terlebih dahulu untuk mengelakkan pelarasan postur yang kerap apabila penggenggam dekat dengan objek:
Dalam set ujian data simulasi t0 (diperkenalkan oleh GenH2R-sim), kaedah GenH2R boleh meramalkan postur masa depan objek untuk mencapai trajektori pendekatan yang lebih munasabah:
Dalam set ujian data sebenar t1 ( GenH2R -sim telah diperkenalkan daripada HOI4D (kira-kira 7 kali lebih besar daripada set ujian s0 kerja sebelumnya), kaedah GenH2R boleh digeneralisasikan kepada objek dunia nyata yang tidak kelihatan dengan geometri yang berbeza.
B. Percubaan mesin sebenar
GenH2R juga menggunakan strategi yang dipelajari ke lengan robot di dunia nyata untuk melengkapkan lompatan "sim-to-real".
Untuk trajektori gerakan yang lebih kompleks (seperti putaran), strategi GenH2R menunjukkan kebolehsuaian yang lebih kuat; untuk geometri yang lebih kompleks, kaedah GenH2R boleh menunjukkan generalisasi yang lebih kukuh:
2 telah menyelesaikan ujian mesin dan pengguna GenH2R yang sebenar pelbagai objek penyerahan, menunjukkan keteguhan yang kuat.
Untuk lebih banyak eksperimen dan kaedah, sila rujuk halaman utama kertas.
Pengenalan pasukan
Kertas kerja ini berasal dari Makmal 3DVICI Universiti Tsinghua, Makmal Kepintaran Buatan Shanghai dan Institut Penyelidikan Qizhi Shanghai -pengarang), Chen Ziqing dan Xie Pengwei, pengajarnya ialah Yi Li dan Chen Rui.
Makmal Pengkomputeran Visi 3D dan Makmal Perisikan Mesin Universiti Tsinghua (dirujuk sebagai Makmal 3DVICI) ialah makmal kecerdasan buatan di bawah Institut Maklumat Antara Disiplin Universiti Tsinghua Ia ditubuhkan dan diarahkan oleh Profesor Yi Li. 3DVICI Lab menyasarkan kepada isu-isu termaju penglihatan tiga dimensi am dan interaksi robot pintar dalam kecerdasan buatan Arah penyelidikannya meliputi persepsi yang terkandung, perancangan dan penjanaan interaksi, kerjasama manusia-mesin, dsb., dan berkait rapat dengan aplikasi. bidang seperti robotik, realiti maya dan pemanduan autonomi. Matlamat penyelidikan pasukan adalah untuk membolehkan ejen pintar memahami dan berinteraksi dengan dunia tiga dimensi Hasilnya telah diterbitkan dalam persidangan dan jurnal komputer utama.
Atas ialah kandungan terperinci Biarkan robot merasakan 'Anda di sini', pasukan Tsinghua menggunakan berjuta-juta senario untuk mencipta penyerahan mesin manusia sejagat. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

0. Apakah fungsi artikel ini? Kami mencadangkan DepthFM: model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens. Mari kita baca karya ini bersama-sama ~ 1. Tajuk maklumat kertas: DepthFM: FastMonocularDepthEstimationwithFlowMatching Pengarang: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Saya menangis hingga mati. Dunia sedang membina model besar. Data di Internet tidak mencukupi. Model latihan kelihatan seperti "The Hunger Games", dan penyelidik AI di seluruh dunia bimbang tentang cara memberi makan data ini kepada pemakan yang rakus. Masalah ini amat ketara dalam tugas berbilang modal. Pada masa mereka mengalami kerugian, pasukan pemula dari Jabatan Universiti Renmin China menggunakan model baharu mereka sendiri untuk menjadi yang pertama di China untuk menjadikan "suapan data yang dijana model itu sendiri" menjadi kenyataan. Selain itu, ia merupakan pendekatan serampang dua mata dari segi pemahaman dan sisi penjanaan Kedua-dua pihak boleh menjana data baharu berbilang modal yang berkualiti tinggi dan memberikan maklum balas data kepada model itu sendiri. Apakah model? Awaker 1.0, model berbilang modal besar yang baru sahaja muncul di Forum Zhongguancun. Siapa pasukan itu? Enjin Sophon. Diasaskan oleh Gao Yizhao, pelajar kedoktoran di Sekolah Kecerdasan Buatan Hillhouse Universiti Renmin.

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Apa? Adakah Zootopia dibawa menjadi realiti oleh AI domestik? Didedahkan bersama-sama dengan video itu ialah model penjanaan video domestik berskala besar baharu yang dipanggil "Keling". Sora menggunakan laluan teknikal yang serupa dan menggabungkan beberapa inovasi teknologi yang dibangunkan sendiri untuk menghasilkan video yang bukan sahaja mempunyai pergerakan yang besar dan munasabah, tetapi juga mensimulasikan ciri-ciri dunia fizikal dan mempunyai keupayaan gabungan konsep dan imaginasi yang kuat. Mengikut data, Keling menyokong penjanaan video ultra panjang sehingga 2 minit pada 30fps, dengan resolusi sehingga 1080p dan menyokong berbilang nisbah aspek. Satu lagi perkara penting ialah Keling bukanlah demo atau demonstrasi hasil video yang dikeluarkan oleh makmal, tetapi aplikasi peringkat produk yang dilancarkan oleh Kuaishou, pemain terkemuka dalam bidang video pendek. Selain itu, tumpuan utama adalah untuk menjadi pragmatik, bukan untuk menulis cek kosong, dan pergi ke dalam talian sebaik sahaja ia dikeluarkan Model besar Ke Ling telah pun dikeluarkan di Kuaiying.

Baru-baru ini, bulatan tentera telah terharu dengan berita: jet pejuang tentera AS kini boleh melengkapkan pertempuran udara automatik sepenuhnya menggunakan AI. Ya, baru-baru ini, jet pejuang AI tentera AS telah didedahkan buat pertama kali, mendedahkan misterinya. Nama penuh pesawat pejuang ini ialah Variable Stability Simulator Test Aircraft (VISTA). Ia diterbangkan sendiri oleh Setiausaha Tentera Udara AS untuk mensimulasikan pertempuran udara satu lawan satu. Pada 2 Mei, Setiausaha Tentera Udara A.S. Frank Kendall berlepas menggunakan X-62AVISTA di Pangkalan Tentera Udara Edwards Ambil perhatian bahawa semasa penerbangan selama satu jam, semua tindakan penerbangan telah diselesaikan secara autonomi oleh AI! Kendall berkata - "Sejak beberapa dekad yang lalu, kami telah memikirkan tentang potensi tanpa had pertempuran udara-ke-udara autonomi, tetapi ia sentiasa kelihatan di luar jangkauan." Namun kini,
