メタ研究者がロボットの視覚操作を可能にする人工視覚野を作成

Meta Corporation の AI 研究部門の研究者は最近、ロボットの適応スキル調整と視覚野の複製における重要な進歩を発表する発表を行いました。これらの進歩により、現実世界からデータを取得することなく、AIを搭載したロボットが視覚を通じて現実世界で動作できるようになったという。

これは、人間の介入なしで動作し、現実世界と対話できる汎用の「身体型 AI」ロボットの作成における大きな進歩であると彼らは主張しています。研究者らはまた、世界中の何千人もの研究参加者の日常活動を記録するEgo4Dデータセットで訓練された「VC-1」と呼ばれる人工視覚野を作成したとも述べた。

研究者らが以前に公開したブログ投稿で説明したように、視覚野は生物が視覚を動きに変換できるようにする脳の領域です。したがって、人工視覚野を持つことは、目の前のシーンに基づいてタスクを実行する必要があるロボットにとって重要な要件です。

「VC-1」の人工視覚野は、さまざまな環境でさまざまな感覚運動タスクを適切に実行する必要があるため、研究参加者が含まれる Ego4D データセットは特に重要な役割を果たします。ユーザーはウェアラブルを使用します。カメラを使用して、料理、掃除、運動、工作などの日常の活動を何千時間ものビデオで記録します。

研究者らは次のように述べています:「生物には普遍的な視覚野があり、それが私たちが探している具現化エージェントです。したがって、私たちはEgo4Dを中核として、複数のタスクでうまく機能するデータセットの作成に着手しました」 「Ego4D は料理、園芸、工芸などの日常的な活動に主に焦点を当てているため、家やアパートを探索する自己中心的なビデオのデータセットも採用しました。」

ただし、視覚野は「具体的な AI」の一要素にすぎず、ロボットが現実世界で完全に自律的に動作するには、現実世界の物体を操作できなければなりません。ロボットは、物体をナビゲートし、見つけて運び、別の場所に移動し、正しく配置するために視覚を必要とします。これらすべての動作は、見聞きしたことに基づいて自律的に実行されます。

この問題を解決するために、Meta の AI 専門家はジョージア工科大学の研究者と協力して、ロボットがトレーニングをシミュレートし、これらのスキルを現実世界に再現するために使用するアダプティブ スキル コーディネーション (ASC) と呼ばれる新しいテクノロジーを開発しました。ロボット。

Meta は、Boston Dynamics とも協力して、ASC テクノロジーの有効性を実証しました。両社は、ASC テクノロジーとボストン ダイナミクスの Spot ロボットを組み合わせて、同社のロボットに強力なセンシング、ナビゲーション、および操作機能を提供しましたが、それには人間の大幅な介入も必要でした。たとえば、オブジェクトを選択するには、誰かがロボットのタブレットに表示されているオブジェクトをクリックする必要があります。

研究者らは記事の中で次のように書いています:「私たちの目標は、Boston Dynamics API を介してオンボードセンシングとモーターコマンドから世界を認識できる AI モデルを構築することです。」

スポットロボットテストはこの実験は、HM3D および 1,000 軒を超える住宅の屋内 3D スキャン データを含む ReplicaCAD データセットで構築されたシミュレーション環境である Habitat シミュレーターを使用して実施されました。その後、Spot ロボットは、これまで見たことのない家の周りを移動し、物体を運び、適切な場所に配置するように訓練されました。訓練されたスポット ロボットによって得られた知識と情報は、現実世界で動作するスポット ロボットに複製され、家のレイアウトに関する知識に基づいて同じタスクを自動的に実行します。

私たちは、家具完備の 185 平方メートルのアパートと 65 平方メートルの大学の研究室という 2 つの非常に異なる現実世界の環境を使用しました。 「さまざまなアイテムの再配置が必要でした。全体として、ASC テクノロジーを搭載した Spot ロボットは、ほぼ完璧に動作し、60 回のテスト中 59 回成功し、ハードウェアの不安定性、ピッキングの失敗、移動を克服しました。障害物や経路の遮断などの敵対的な干渉も克服しました。」とメタ研究者は述べています。 VC-1 モデルのソース コードも公開し、モデル サイズのスケーリング方法を別の論文で共有したこと、データ セット サイズなどの詳細についても説明しました。それまでの間、チームの次の焦点は、VC-1 と ASC を統合して、より人間に近い表現型 AI システムを作成することです。

以上がメタ研究者がロボットの視覚操作を可能にする人工視覚野を作成の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。