UCSD、MIT、その他の中国のチームがロボット犬に 3D 世界の認識方法を教えています。 M1 チップを搭載しているので、階段を登ったり、障害物を越えたりすることができます。

最近、UCSD、IAIFI、MIT 機関の研究者らは、新しい神経体積記憶アーキテクチャ (NVM) を使用して、ロボット犬に 3 次元世界を認識するよう教えました。

このテクノロジーを使用すると、ロボット犬は単一のニューラルネットワークを通じて、階段を登ったり、隙間を横切ったり、障害物を乗り越えたりすることができます。リモコンは必要なく、完全に自律的です。

犬の背中にある白い箱に気づいたでしょうか？

AppleのM1チップが搭載されており、ロボット犬の視覚処理タスクの実行を担当します。さらに、チームはそれを Mac から削除しました。

MIT のこのロボット犬が、（基本的には）何の努力もせずに、目の前にある枝のセクションを簡単に登ることができるのは、それほど難しいことではありません。

4本足のMacBook？

ご存知のとおり、ロボット犬やその他の脚式ロボットが平坦でない道を横断するのは非常に困難です。

道路状況が複雑になればなるほど、目に見えない障害物も多くなります。

「部分的に観察可能な環境」の問題を解決するために、SOTAの現在の視覚運動技術はフレームスタッキングを通じて画像チャネルを接続します。

しかし、この単純な処理方法は、オプティカル フローや特定の 3D ジオメトリを明示的にモデル化できる現在のコンピューター ビジョン テクノロジに比べてはるかに遅れています。

これに触発されて、チームは、3 次元世界の SE(3) 等価性を完全に考慮できるニューラル ボリューム メモリ アーキテクチャ (NVM) を提案しました。

プロジェクトアドレス: https://rchalyang.github.io/NVM/

以前の方法とは異なり、NVM はボリューム形式です。複数のカメラビューからの特徴量をロボットの自己中心的なフレームに集約し、ロボットが周囲の状況をよりよく理解できるようにします。

テスト結果は、神経容積記憶 (NVM) を使用して脚の動きを訓練した後、複雑な地形でのロボットのパフォーマンスが以前のテクノロジーよりも大幅に優れていることを示しています。

さらに、アブレーション実験の結果は、神経容積メモリに保存された内容が 3D シーンを再構成するのに十分な幾何学的情報を捕捉していることを示しています。

現実世界での実験

シミュレーション以外のさまざまな現実世界のシナリオで検証するために、チームは屋内と屋外の両方のシナリオで実験を実施しました。

ロボット犬は、目の前に突然障害物が現れると、直接それを避けることを選択します。

石だらけの地面を歩くのは問題ないようですが、それでも平地よりはきついです。

自分に比べて比較的大きな障害であっても、努力すれば乗り越えることができます。

以前の認識制御技術を使用すると、子犬の後ろ足が明らかに距離の判断を誤り、溝に踏み込んで転倒してしまいました。

MIT が提案した NVM を採用した後、子犬は溝を越え、安定した幸福と成功を収めました。

以前の認識制御技術を使用すると、子犬は最初の蹴りでマークを外し、犬の頭が地面を掴んで失敗しました。

MITが提案したNVMを採用した後、子犬はスムーズに行列を歩き回りました。

脚の動きの大量記憶

自己中心的なカメラの視点を使用することは、本質的には「部分的に観察可能な環境」（Partially-Observed）を扱う問題です。

制御問題を具体化するには、ロボットは前のフレームから情報を収集し、遮蔽された地形を正しく推測する必要があります。

移動中、ロボットのシャーシに直接取り付けられたカメラは、急激かつ突然の位置変化を受けます。

このように、一連の写真を特徴付けるプロセスでは、単一のフレームを正しい位置に配置できることが非常に重要になります。

この目的を達成するために、チームによって提案されたニューラルボリュームメモリ（NVM）の概念は、一連の入力視覚情報を3D描写のためのシーン特徴に変換して出力することができます。

自己教師あり学習によるNVMの学習

「行動クローニング目標」は優れた戦略を生み出すのに十分ですが、平行移動と回転の等変性により自動的に独立した自己教師あり学習が提供されます。目標。

自己教師あり学習: 研究チームは独立したデコーダーを訓練しました。視覚的な観察を取得し、2 つのフレーム間の遷移を推定することで、異なるフレームでの視覚的な観察を予測させます。

上の画像に示すように、周囲の 3D シーンはフレーム間で変化しないと想定できます。カメラは前方を向いているため、前のフレームの特徴量を正規化し、それを使用して後続の画像を予測できます。

デコーダーの視覚的再構成

最初の写真は環境内で動くロボットを示し、2番目の写真は入力された視覚観察結果、3番目の写真は3D特徴量と推定画像を使用して合成された視覚です。の効果。

入力を視覚的に観察するために、研究チームはモデルの堅牢性を向上させるために画像に多数のデータ拡張を適用しました。

著者について

Ruihan Yan

Ruihan Yanは大学の博士課程2年生ですカリフォルニア、サンディエゴの。その前は、2019 年に南開大学でソフトウェア工学の学士号を取得しました

彼の研究対象は、強化学習、機械学習、ロボット工学などです。具体的には、さまざまなソースからの情報を使用して意思決定を行うインテリジェントなエージェントを構築したいと考えています。

Ge Yang

Ge Yangは、イェール大学で物理学と数学の学士号を取得して卒業し、シカゴ大学で物理学の博士号を取得しました。現在、彼は国立科学財団の人工知能・基本相互作用研究所 (IAIFI) で博士研究員を務めています。

Ge Yang の研究には、2 つの関連する問題が含まれています。最初のグループは、ニューラル ネットワークで知識を表現する方法と、分布間で知識がどのように転送されるかを再検討することで、学習を改善することです。 2 番目のグループでは、ニューラル タンジェント カーネル、非ユークリッド幾何学、ハミルトニアン ダイナミクスなどの理論ツールのレンズを通して強化学習を検討します。

Xiaolong Wang

Xiaolong Wang は、カリフォルニア大学サンディエゴ校の ECE 学科の助教授です。彼は、TILOS 国立科学財団人工知能研究所のロボット工学チームのメンバーです。

彼はカーネギーメロン大学でロボット工学の博士号を取得し、カリフォルニア大学バークレー校で博士研究員として研究を行いました。

以上がUCSD、MIT、その他の中国のチームがロボット犬に 3D 世界の認識方法を教えています。 M1 チップを搭載しているので、階段を登ったり、障害物を越えたりすることができます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。