狭い隙間を登ったり、ジャンプしたり、横断したりするオープンソースの強化学習戦略により、ロボット犬はパルクールを行うことができます

パルクールはエクストリーム スポーツであり、複雑な環境でさまざまな障害物を素早く克服する必要があるロボット、特に四足歩行のロボット犬にとっては大きな挑戦です。いくつかの研究では、参照動物データや複雑な報酬の使用を試みていますが、これらのアプローチは、多様ではあるが盲目であるか、視覚ベースではあるがシーン固有のパルクール スキルを生成します。ただし、自律パルクールでは、ロボットがさまざまなシナリオを認識して迅速に対応するために、視覚ベースの多様な一般スキルを学習する必要があります。

最近、ロボット犬のパルクールの動画が話題になり、その動画に登場するロボット犬は、さまざまなシナリオでさまざまな障害を素早く乗り越えていきました。例えば、鉄板の下の隙間を通って、木箱に登って、また別の木箱にジャンプするという一連の動作がスムーズでスムーズです。

この一連の動作は、ロボット犬が這う、よじ登る、ジャンプするという 3 つの基本スキルを習得していることを示しています

#特別なスキルもあります。狭い隙間を斜めに通り抜けることができます。

ロボット犬が障害物を乗り越えられなかった場合、さらに数回試みます:

このコンテンツは中国語に書き直されました: このロボット犬は、低コストロボット用に開発された「パルクール」スキル学習フレームワークに基づいています。このフレームワークは、上海七志研究所、スタンフォード大学、上海理工大学、CMU、清華大学の研究者によって共同提案され、その研究論文はCoRL 2023（口頭）に選出されました。この研究プロジェクトはオープンソースです

# 論文アドレス: https://arxiv.org/abs/2309.05665

プロジェクト アドレス: https://github.com/ZiwenZhuang/parkour

メソッドの紹介

この研究は、新しい Openエンドツーエンドのビジョンベースのパルクール戦略を学習するためのソース システムで、参照モーション データなしで単純な報酬を使用して複数のパルクール スキルを学習します。

具体的には、この研究は、ロボットが高い障害物を登る、大きな隙間を飛び越える、低い障害物の下を這う、狭い隙間などのスキルをすり抜けられるように設計された強化学習手法を提案します。ランニング、これらのスキルを単一のビジョンに基づいたパルクール戦略に変換します。同時に、これらのスキルは、自己中心深度カメラを使用して四足ロボットに伝達されます。

この研究で提案されたパルクール戦略を低コストのロボットにうまく展開するには、オンボード コンピューティングのみが必要です。 (Nvidia Jetson)、オンボード深度カメラ (Intel Realsense)、およびオンボード電源により、モーション キャプチャ、LIDAR、複数の深度カメラ、および大量のコンピューティングは不要です。パルクール戦略をトレーニングするために、この研究では次の 3 段階の作業を実行しました:

第 1 段階: ソフトな動的制約を使用した強化学習の事前トレーニング。この研究では、自動コースを使用してロボットに障害物を越えることを学習させ、障害物を乗り越えることをロボットが徐々に学習するよう促します。

第 2 段階: ハードな動的制約を使用した強化学習の微調整。この研究では、この段階ですべての動的制約を強制し、現実的な力学を使用して事前トレーニング段階で学習したロボットの動作を微調整します。

#第 3 段階: 蒸留。この研究では、個々のパルクール スキルを学習した後、Dagger を使用してそれらを視覚ベースのパルクール ポリシー (RNN によってパラメータ化) に抽出し、オンボードの認識と計算のみを使用して脚式ロボットに展開できます。

実験と結果

トレーニングでは、以下の表 1 に示すように、各スキルに対応する障害物サイズを設定します。

この研究では、多数のシミュレーションと実際の実験が行われました。その結果、パルクール戦略により、低コストの四足ロボットが適切なパルクール スキルを自律的に選択して実行し、オンボード コンピューティング、オンボード視覚センシング、およびオンボード電力のみを使用して、困難なオープンワールド環境を横断できることが示されました。 0.60m（ロボットの長さの1.5倍）の大きな隙間を飛び越え、0.2m（ロボットの高さの0.76倍）の低い障害物の下を這い、0.28mの薄い隙間（ロボットの幅よりも小さい）を傾けて通り抜けます。ロボット）、前に走り続けることができます。

さらに、この研究では、提案された方法といくつかのベースライン方法との比較も行われ、アブレーション実験が行われました。シミュレートされた環境で。具体的な結果を表 2 に示します。

#興味のある読者は元の論文を読んで研究内容の詳細を学ぶことができます

#

以上が狭い隙間を登ったり、ジャンプしたり、横断したりするオープンソースの強化学習戦略により、ロボット犬はパルクールを行うことができますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。