Apple Vision Pro를 사용하여 멀리서 로봇을 제어하는 ​​NVIDIA: '사람과 기계를 통합'하는 것은 어렵지 않습니다.

Huang Renxun은 "AI의 다음 물결은 로봇이며, 가장 흥미로운 개발 중 하나는 휴머노이드 로봇입니다."라고 말했습니다. 오늘 프로젝트 GR00T는 또 다른 중요한 단계를 밟았습니다.

어제 NVIDIA 창립자 Huang Jensen은 SIGGRAPH 2024 기조 연설에서 휴머노이드 로봇 "Project GR00T"의 범용 기본 모델에 대해 이야기했습니다. 이 모델은 기능 측면에서 일련의 업데이트를 받습니다.

오스틴 소재 텍사스 대학의 조교수와 NVIDIA 수석 연구 과학자 Yuke Zhu가 트윗을 통해 NVIDIA가 어떻게 일반 가정용 로봇 대규모 시뮬레이션 교육 프레임워크 RoboCasa 및 MimicGen 시스템을 NVIDIA Omniverse 플랫폼에 통합하는지 시연했습니다. 그리고 Isaac 로봇 개발 플랫폼 . ㅋㅋㅋ             AI, Omniverse 및 Jetson Thor를 포함한 Nvidia의 세 가지 컴퓨팅 플랫폼을 다루며, 이를 활용하여 개발자 워크플로를 단순화하고 가속화합니다. 이러한 컴퓨팅 플랫폼의 공동 역량 강화를 통해 우리는 물리적 AI가 구동하는 휴머노이드 로봇 시대로 진입할 것으로 예상됩니다.

가장 큰 특징은 개발자가 Apple Vision Pro를 사용하여 휴머노이드 로봇을 원격으로 제어하여 작업을 수행할 수 있다는 것입니다.

한편, 또 다른 Nvidia 수석 연구 과학자인 Jim Fan은 Project GR00T의 업데이트가 흥미롭다고 말했습니다. NVIDIA는 로봇 공학의 가장 어려운 과제를 해결하기 위해 로봇 공학 데이터를 확장하는 체계적인 접근 방식을 사용합니다.

아이디어도 매우 간단합니다. 인간은 실제 로봇에 대한 데모 데이터를 수집하고 NVIDIA는 시뮬레이션을 통해 이러한 데이터를 천 배 이상 확장합니다. GPU 가속 시뮬레이션을 통해 사람들은 이제 시간이 많이 걸리고 노동 집약적이며 비용이 많이 드는 인간의 데이터 수집 작업과 컴퓨팅 성능을 교환할 수 있습니다.

그는 얼마 전까지만 해도 원자 세계에서 우리는 항상 24시간/로봇/일로 제한되어 있었기 때문에 원격 제어가 근본적으로 확장 불가능하다고 생각했다고 말했습니다. GR00T에 대한 NVIDIA의 새로운 합성 데이터 파이프라인은 비트 세계에서 이러한 한계를 뛰어넘습니다. ㅋㅋ     

휴머노이드 로봇 분야의 Nvidia의 최근 발전과 관련하여 일부 네티즌들은 Apple Vision Pro가 최고의 솔루션을 찾았다고 말했습니다.

NVIDIA는 다음 물결을 주도하기 시작했습니다. 물리적 AI

NVIDIA는 또한 블로그에서 휴머노이드 로봇을 가속화하는 기술 프로세스를 자세히 설명했습니다.

전 세계적으로 휴머노이드 로봇의 개발을 가속화하기 위해 NVIDIA는 세계 최고의 로봇 제조업체, AI 모델 개발자 및 소프트웨어 제조업체가 차세대 휴머노이드 로봇을 개발, 교육 및 구축할 수 있는 일련의 서비스, 모델 및 컴퓨팅 플랫폼을 발표했습니다.

이 제품군에는 로봇 시뮬레이션 및 학습을 위한 새로운 NVIDIA NIM 마이크로서비스 및 프레임워크, 다단계 로봇 워크로드 실행을 위한 NVIDIA OSMO 오케스트레이션 서비스, 개발을 가능하게 하는 AI 및 시뮬레이션 지원 원격 운영 워크플로우가 포함되어 있습니다. 연구원들은 소량의 인간 데모 데이터를 사용합니다. 로봇을 훈련시키다.

Jensen Huang은 다음과 같이 말했습니다. "AI의 다음 물결은 로봇이며 가장 흥미로운 개발 중 하나는 휴머노이드 로봇입니다. 우리는 전체 NVIDIA 로봇 스택의 개발을 발전시키고 있으며 전 세계 휴머노이드 로봇 개발자와 회사에 열려 있습니다.

NIM 및 OSMO로 개발을 가속화하세요.

NIM 마이크로서비스는 NVIDIA 추론 소프트웨어로 구동됩니다. 개발자가 배포 시간을 몇 주에서 몇 분으로 단축할 수 있는 사전 구축된 컨테이너입니다.

두 가지 새로운 AI 마이크로서비스를 통해 로봇 전문가는 NVIDIA Isaac Sim에서 생성 물리학 AI 시뮬레이션 워크플로우를 향상할 수 있습니다.

MimicGen NIM 마이크로서비스는 Apple Vision Pro와 같은 공간 컴퓨팅 장치에서 기록된 원격 데이터로부터 합성 동작 데이터를 생성합니다. Robocasa NIM 마이크로서비스는 OpenUSD에서 로봇 작업 및 시뮬레이션 환경을 생성합니다.

이제 클라우드 기반 관리형 서비스 NVIDIA OSMO를 사용할 수 있습니다. 이를 통해 사용자는 온프레미스든 클라우드든 분산 컴퓨팅 리소스 전반에 걸쳐 복잡한 로봇 개발 워크플로우를 조율하고 확장할 수 있습니다. OSMO의 등장으로 로봇 교육 및 시뮬레이션 워크플로가 크게 단순화되어 배포 및 개발 주기가 몇 달에서 일주일 미만으로 단축되었습니다.

휴머노이드 로봇 개발자를 위한 고급 데이터 캡처 워크플로 제공

휴머노이드 로봇의 기본 모델을 교육하려면 많은 양의 데이터가 필요합니다. 인간의 데모 데이터를 얻는 한 가지 방법은 원격 작업을 사용하는 것이지만 이 방법은 점점 더 많은 비용과 시간이 소요되고 있습니다.

SIGGRAPH 컴퓨터 그래픽 컨퍼런스에서 시연된 NVIDIA AI 및 Omniverse 원격 조작 참조 워크플로를 통해 연구원과 AI 개발자는 원격으로 캡처한 극소수의 인간 시연에서 대량의 합성 동작 및 인식 데이터를 생성할 수 있습니다.

먼저 개발자들은 Apple Vision Pro를 사용하여 몇 가지 원격 데모를 캡처했습니다. 그런 다음 NVIDIA Isaac Sim에서 녹음을 시뮬레이션하고 MimicGen NIM 마이크로서비스를 사용하여 녹음에서 합성 데이터 세트를 생성했습니다.

개발자는 실제 및 합성 데이터를 사용하여 Project GR00T 휴머노이드 로봇 기본 모델을 교육하여 많은 시간과 비용을 절감합니다. 그런 다음 로봇 학습 프레임워크인 Isaac Lab의 Robocasa NIM 마이크로서비스를 사용하여 로봇 모델을 재교육하기 위한 경험을 생성했습니다. 전체 워크플로우 전반에 걸쳐 NVIDIA OSMO는 컴퓨팅 작업을 다양한 리소스에 원활하게 분배하여 개발자가 몇 주 동안 소요되는 관리 작업량을 절약합니다.

NVIDIA 휴머노이드 로봇 개발자 기술에 대한 액세스 확대

NVIDIA는 휴머노이드 로봇 개발을 단순화하는 세 가지 컴퓨팅 플랫폼을 제공합니다. 훈련 모델용 NVIDIA AI 슈퍼컴퓨터, 시뮬레이션된 세계에서 기술을 배우고 완성하는 로봇과 모델을 실행하는 데 사용되는 NVIDIA Jetson Thor 휴머노이드 로봇 컴퓨터. 개발자는 특정 요구 사항에 따라 플랫폼의 전체 또는 일부에 액세스하고 사용할 수 있습니다.

새로운 NVIDIA 휴머노이드 개발자 프로그램을 통해 개발자는 새로운 제품과 NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor 및 Project GR00T 범용 휴머노이드 기본 모델의 최신 버전에 조기에 액세스할 수 있습니다.

1x, Boston Dynamics, ByteDance, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra 및 Skild AI가 조기 액세스 프로그램에 참여한 최초의 회사입니다.

개발자는 이제 NVIDIA 휴머노이드 개발자 프로그램에 참여하여 NVIDIA OSMO 및 Isaac Lab에 액세스할 수 있으며 곧 NVIDIA NIM 마이크로서비스에 액세스할 수 있게 됩니다.

^{블로그 링크:}

^{https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development}

위 내용은 Apple Vision Pro를 사용하여 멀리서 로봇을 제어하는 ​​NVIDIA: '사람과 기계를 통합'하는 것은 어렵지 않습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!