Menggunakan Apple Vision Pro untuk mengawal robot dari jauh, NVIDIA: Tidak sukar untuk 'mengintegrasikan manusia dan mesin'

Huang Renxun sagte: „Die nächste Welle der KI sind Roboter, und eine der aufregendsten Entwicklungen sind humanoide Roboter.“ Heute hat das Projekt GR00T einen weiteren wichtigen Schritt getan.

Gestern sprach NVIDIA-Gründer Huang Jensen in seiner SIGGRAPH 2024 Keynote-Rede über sein universelles Grundmodell des humanoiden Roboters „Project GR00T“. Das Modell erhält eine Reihe von Updates hinsichtlich der Funktionalität.

Assistenzprofessor an der University of Texas in Austin und NVIDIA Senior Research Scientist Yuke Zhu twitterte und demonstrierte in dem Video, wie NVIDIA das allgemeine Trainings-Framework für Haushaltsroboter-Großsimulationen RoboCasa und das MimicGen-System in die NVIDIA Omniverse-Plattform integriert und Isaac-Roboterentwicklungsplattform .

                                                                              ^{Deckt die drei Computerplattformen von Nvidia ab, darunter AI, Omniverse und Jetson Thor. Nutzen Sie sie, um Entwickler-Workflows zu vereinfachen und zu beschleunigen. Durch die gemeinsame Stärkung dieser Computerplattformen wird erwartet, dass wir in die Ära humanoider Roboter eintreten, die von physischer KI angetrieben werden.}

Das größte Highlight ist, dass Entwickler mit Apple Vision Pro humanoide Roboter fernsteuern können, um Aufgaben auszuführen.

Unterdessen sagte ein weiterer leitender Forschungswissenschaftler von Nvidia, Jim Fan, dass die Aktualisierungen des Projekts GR00T aufregend seien. NVIDIA nutzt einen systematischen Ansatz zur Skalierung von Robotikdaten, um die schwierigsten Herausforderungen in der Robotik zu lösen.

Die Idee ist auch ganz einfach: Menschen sammeln Demonstrationsdaten an echten Robotern, und NVIDIA erweitert diese Daten in der Simulation um das Tausendfache oder mehr. Mit der GPU-beschleunigten Simulation können Menschen nun Rechenleistung gegen die zeitaufwändige, arbeitsintensive und kostspielige Arbeit des Menschen beim Sammeln von Daten eintauschen.

Er spricht darüber, wie er vor nicht allzu langer Zeit dachte, Fernbedienung sei grundsätzlich nicht skalierbar, weil wir in der Atomwelt immer auf 24 Stunden/Roboter/Tage beschränkt waren. NVIDIAs neue Pipeline für synthetische Daten auf GR00T durchbricht diese Einschränkung in der Bit-Welt.

                                                                                     

^{In Bezug auf Nvidias neueste Fortschritte im Bereich humanoider Roboter sagten einige Internetnutzer, dass Apple Vision Pro die beste Lösung gefunden habe. NVIDIA beginnt die nächste Welle anzuführen: physische KI} Um die Entwicklung humanoider Roboter weltweit zu beschleunigen, kündigte NVIDIA eine Reihe von Diensten, Modellen und Computerplattformen für die weltweit führenden Roboterhersteller, KI-Modellentwickler und Softwarehersteller an, um die nächste Generation humanoider Roboter zu entwickeln, zu trainieren und zu bauen.

Suit produk ini termasuk perkhidmatan mikro dan rangka kerja NVIDIA NIM baharu untuk simulasi dan pembelajaran robotik, perkhidmatan orkestra NVIDIA OSMO untuk menjalankan beban kerja robotik berbilang peringkat, dan aliran kerja operasi jauh yang didayakan AI dan simulasi yang membolehkan pembangunan Penyelidik menggunakan sejumlah kecil data demonstrasi manusia. untuk melatih robot.

Jensen Huang berkata: "Gelombang AI seterusnya ialah robot, dan salah satu perkembangan paling menarik ialah robot humanoid. Kami sedang memajukan pembangunan keseluruhan timbunan robot NVIDIA, terbuka kepada pemaju robot humanoid dan syarikat di sekitar World Access, membolehkan mereka menggunakan platform, perpustakaan pecutan dan model AI yang paling sesuai dengan keperluan mereka

Mempercepatkan pembangunan dengan NVIDIA NIM dan OSMO

dikuasakan oleh perisian mikro NVIDIA bekas pra-bina yang membolehkan pembangun mengurangkan masa penggunaan dari minggu ke minit.

Dua perkhidmatan mikro AI baharu akan membolehkan pakar robotik meningkatkan aliran kerja simulasi AI fizik generatif dalam NVIDIA Isaac Sim.

Perkhidmatan mikro MimicGen NIM menjana data gerakan sintetik daripada data jauh yang direkodkan daripada peranti pengkomputeran spatial seperti Apple Vision Pro. Perkhidmatan mikro Robocasa NIM menjana tugas robotik dan persekitaran simulasi dalam OpenUSD.

Perkhidmatan terurus asli awan NVIDIA OSMO kini tersedia, membolehkan pengguna mengatur dan menskalakan aliran kerja pembangunan robotik yang kompleks merentas sumber pengkomputeran teragih, sama ada di premis atau dalam awan. Kemunculan OSMO sangat memudahkan latihan robot dan aliran kerja simulasi, memendekkan kitaran penggunaan dan pembangunan daripada bulan kepada kurang daripada seminggu.

Menyediakan aliran kerja penangkapan data lanjutan untuk pembangun robot humanoid

Melatih model asas di sebalik robot humanoid memerlukan sejumlah besar data. Satu cara untuk mendapatkan data demonstrasi manusia ialah menggunakan operasi jauh, tetapi ini menjadi semakin mahal dan panjang.

Melalui alur kerja rujukan manipulasi jauh NVIDIA AI dan Omniverse yang ditunjukkan pada persidangan grafik komputer SIGGRAPH, penyelidik dan pembangun AI boleh menjana sejumlah besar gerakan sintetik dan data persepsi daripada sebilangan kecil demonstrasi manusia yang ditangkap dari jauh.

Pertama, pembangun menggunakan Apple Vision Pro untuk menangkap segelintir tunjuk cara jauh. Mereka kemudian mensimulasikan rakaman dalam NVIDIA Isaac Sim dan menggunakan perkhidmatan mikro MimicGen NIM untuk menjana set data sintetik daripada rakaman.

Pembangun menggunakan data sebenar dan sintetik untuk melatih model asas robot humanoid Project GR00T, menjimatkan banyak masa dan mengurangkan kos. Mereka kemudian menggunakan perkhidmatan mikro Robocasa NIM di Isaac Lab, rangka kerja pembelajaran robot, untuk menjana pengalaman untuk melatih semula model robot. Sepanjang keseluruhan aliran kerja, NVIDIA OSMO mengagihkan tugas pengkomputeran dengan lancar kepada sumber yang berbeza, menjimatkan minggu beban kerja pentadbiran pembangun.

EXPAND ACCESS TO NVIDIA Humanoid Robot Developer Technology

nvidia menawarkan tiga platform pengkomputeran untuk memudahkan pembangunan robot humanoid: superkomputer NVIDIA AI untuk model latihan; robot untuk belajar dan kemahiran yang sempurna dalam dunia simulasi; dan komputer robotik humanoid NVIDIA Jetson Thor yang digunakan untuk menjalankan model. Pembangun boleh mengakses dan menggunakan semua atau bahagian platform berdasarkan keperluan khusus mereka.

Melalui Program Pembangun Humanoid NVIDIA baharu, pembangun boleh mendapatkan akses awal kepada produk baharu dan versi terkini NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor dan model asas humanoid universal Project GR00T.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra dan Skild AI ialah syarikat pertama yang menyertai program akses awal.

Pembangun kini boleh menyertai Program Pembangun NVIDIA Humanoid untuk mendapatkan akses kepada NVIDIA OSMO dan Isaac Lab, dan tidak lama lagi akan mendapat akses kepada perkhidmatan mikro NVIDIA NIM.

^{Pautan blog:}

^{https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development}

Atas ialah kandungan terperinci Menggunakan Apple Vision Pro untuk mengawal robot dari jauh, NVIDIA: Tidak sukar untuk 'mengintegrasikan manusia dan mesin'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!