用蘋果Vision Pro隔空操控機器人，英偉達：「人機合一」也不難嘛

黃仁勳表示：「AI 的下一波浪潮是機器人，其中最令人興奮的發展之一是人形機器人。」如今，Project GR00T 又邁出了重要的一步。

昨日，英偉達創始人黃仁勳在 SIGGRAPH 2024 Keynote 演講中講到了其人形機器人通用基礎模型“Project GR00T”。該模型在功能上迎來了一系列更新。

德克薩斯大學奧斯汀分校助理教授、英偉達高級研究科學家朱玉可發推，在影片中展示了英偉達如何將通用家務機器人大規模模擬訓練框架RoboCasa 和MimicGen 系統整合到英偉達Omniverse 平台和Isaac 機器人開發平台。

                              ^圖片

影片中涵蓋了英偉達自己的三個運算平台，包括AI、Omniverse 和Jetson Thor，利用它們簡化和加速開發者工作流程。透過這些運算平台的共同賦能，我們有望進入由實體 AI 驅動的人形機器人時代。

其中最大的亮點，開發人員能夠使用蘋果 Vision Pro 來遠端操控人形機器人來執行任務。

同時，另一位英偉達高級研究科學家 Jim Fan 表示，Project GR00T 的更新令人振奮。英偉達利用系統化的方法來擴展機器人數據，解決了機器人領域最棘手的難題。

思路也很簡單：人類在真實機器人身上收集演示數據，而英偉達在仿真中將這些數據擴展千倍及以上。透過 GPU 加速仿真，人們現在可以用算力來換取耗時耗力耗資金的人類收集資料了。

他談到自己不久前還認為遠端操控在根本上不可擴展，這是因為在原子世界中，我們總是受到 24 小時 / 機器人 / 天數的限制。英偉達在 GR00T 上採用的新的合成數據 pipeline 在比特世界打破了這一局限。

                              Fan/status/1818302152982343983

對於英偉達在人形機器人領域的最新進展，有網友表示，蘋果Vision Pro 找到了最酷的用例。

英偉達開始引領下一波浪潮：物理AI

英偉達也在一篇部落格中詳述了

英偉達也在一篇部落格中詳述了

為了加速全球範圍內人形機器人的發展，英偉達宣佈為全球領先的機器人製造商、AI 模型開發人員和軟體製造商提供一套服務、模型和計算平台，以開發、訓練和建造下一代人形機器人。

這套產品包括用於機器人模擬和學習的全新NVIDIA NIM 微服務和框架、用於運行多階段機器人工作負載的NVIDIA OSMO 編排服務，以及支援AI 和模擬的遠端操作工作流程，該工作流程允許開發者使用少量人類演示資料來訓練機器人。

黃仁勳表示：「AI 的下一波浪潮是機器人，其中最令人興奮的發展之一是人形機器人。我們正在推進整個NVIDIA 機器人堆疊的發展，面向全球人形機器人開發者和公司開放訪問，讓他們能夠使用最符合其需求的平台、加速庫和AI 模型。的預先建置容器，使開發人員能夠將部署時間從幾週縮短到幾分鐘。

兩個新的 AI 微服務將允許機器人專家在 NVIDIA Isaac Sim 中增強生成實體人工智慧模擬工作流程。

MimicGen NIM 微服務根據來自空間計算設備（如 Apple Vision Pro）記錄的遠端資料產生合成運動資料。 Robocasa NIM 微服務可在 OpenUSD 中產生機器人任務和模擬環境。

雲端原生託管服務 NVIDIA OSMO 現已推出，允許用戶在分散式運算資源（無論是在本地還是在雲端）中協調和擴展複雜的機器人開發工作流程。 OSMO 的出現大大簡化了機器人訓練和模擬工作流程，將部署和開發週期從數月縮短至不到一周。

為人形機器人開發者提供先進的資料擷取工作流程

訓練人形機器人背後的基礎模型需要大量的資料。獲取人類演示數據的一種方法是使用遠端操作，但這種方式正變得越來越昂貴和漫長。

透過在 SIGGRAPH 電腦圖形大會上展示的 NVIDIA AI 和 Omniverse 遠端操作參考工作流程，研究者和 AI 開發者能夠從極少量遠端捕捉的人類演示中產生大量合成運動和感知資料。

首先，開發人員使用 Apple Vision Pro 捕捉少量遠端簡報。然後，他們在 NVIDIA Isaac Sim 中模擬錄音，並使用 MimicGen NIM 微服務從錄音中產生合成資料集。

開發人員使用真實數據和合成數據來訓練 Project GR00T 人形機器人基礎模型，從而節省了大量的時間並降低了成本。然後，他們使用 Isaac Lab 中的 Robocasa NIM 微服務（一種機器人學習框架）來產生經驗以重新訓練機器人模型。在整個工作流程中，NVIDIA OSMO 將運算任務無縫地分配給不同的資源，為開發者減少了數週的管理工作量。

擴大對NVIDIA 人形機器人開發者技術的訪問權限

NVIDIA 提供了三個計算平台來簡化人形機器人的開發：用於訓練模型的NVIDOIA 構建模型的NVIDOmverse 構建模型；的NVIDIA Isaac Sim，機器人可以在模擬世界中學習和完善技能；以及用於運行模型的NVIDIA Jetson Thor 人形機器人電腦。開發人員可以根據自己的特定需求存取和使用全部或部分平台。

透過新的 NVIDIA 人形機器人開發者計劃，開發者可以提前使用新產品以及 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形機器人基礎模型的最新版本。

1x、波士頓動力、字節跳動、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra 和 Skild AI 是首批加入早期訪問計劃的公司。

開發人員現在可以加入 NVIDIA 人形機器人開發人員計劃，以存取 NVIDIA OSMO 和 Isaac Lab，並且很快將獲得 NVIDIA NIM 微服務的存取權限。

部落格連結：

https://nvidianews.nvidia.com/news/nvidia-accelerates-widw-humanvel-me

以上是用蘋果Vision Pro隔空操控機器人，英偉達：「人機合一」也不難嘛的詳細內容。更多資訊請關注PHP中文網其他相關文章！