CARLA 自動運転シミュレータに実際のエージェントの動作を追加

arXiv 論文「CARLA 自動運転シミュレータへの実際のエージェントの動作の挿入」、スペイン、6 月 22 日。

迅速なプロトタイピングと広範なテストの必要性により、自動運転におけるシミュレーションの役割はますます重要になっています。物理ベースのシミュレーションは、プロトタイピング、ドライバー、道路交通弱者 (VRU) に対するリスクを排除しながら、リーズナブルなコストで複数のメリットを提供します。 ただし、主に 2 つの制限があります。まず、よく知られている現実ギャップとは、シミュレートされた自動運転体験が現実世界の効果的なパフォーマンスを達成することを妨げる、現実とシミュレーションとの間の差異を指します。第二に、後続ドライバーや同乗者、車両、歩行者、自転車などの他の道路利用者を含む、実際のエージェント（人間）の行動に関する経験的知識が不足しています。

エージェント シミュレーションは通常、事前にプログラムされているか、確率的にランダムであるか、実際のデータに基づいて生成されますが、特定のシミュレーション シナリオと対話する実際のエージェントの動作を表すものではありません。この論文では、実際のエージェントと自動運転車を含むシミュレートされた環境との間のリアルタイムの対話を可能にし、動作モデルに依存する予測システムをトレーニングするために、複数のビューにわたるシミュレートされたセンサーから合成シーケンス データを生成する予備的なフレームワークを提案します。

このアプローチは、没入型仮想現実 (VR) およびヒューマン モーション キャプチャ (HMC) システムを自動運転用の CARLA と統合します。ハードウェアとソフトウェアのアーキテクチャについて説明し、いわゆる動作ギャップについて説明します。

図に示すように、方法の概要は次のとおりです。 (1) CARLA-UE には、頭 (VR ヘッドセット) と体 (モーション キャプチャ システム) のポーズが装備されています。 (2) 自動運転車やデジタル歩行者を含むシーンを生成します。 (3) 歩行者のための環境を提供します（VR ヘッドセット経由）。 (4) 自動車両センサーが歩行者を含む環境を感知します。

自動運転シミュレーターCARLAのイマーシブVRシステムの機能を紹介します。

UE4 が提供する機能と、VR メガネや一連のモーション センサーなどの外部ハードウェアを使用して、行動およびインタラクションの調査を実施することで、歩行者の完全な没入を実現します。

CARLA オープン ソース シミュレーターは UE4 に実装されており、高品質のレンダリング、現実的な物理環境、相互運用可能なプラグインのエコシステムを提供します。 CARLA は、動的な交通シーンをシミュレートし、UE4 によって作成された仮想世界とシーン内で実行されている道路エージェントとの間のインターフェイスを提供します。 CARLA はこれを実現するサーバークライアント システムとして設計されており、サーバーがシミュレーションを実行してシーンをレンダリングします。クライアントとサーバー間の通信はソケットを通じて行われます。

実際のエージェントの動作をシミュレーションに挿入することの主な特徴は、次の 5 つの点に基づいています (図に示すように)。 1)

アバター コントロール

: CARLA ブループリント ライブラリ、すべてのキャラクターと属性のアーキテクチャを収集し、歩行者のブループリントを変更し、人々と仮想世界の間に没入型で移動可能な VR インターフェイスを作成します。2) ボディ トラッキング: 一連の慣性センサーを使用します。と独自の外部ソフトウェア 実際のシーンを通じて被写体の動きと運動知覚をキャプチャし、.bvh ファイルを通じてアバターの動きをシミュレータに統合します; 3) サウンド デザイン : CARLA はオーディオレス シミュレータであるため、位置サウンドが導入されます環境内での没入感を高める; 4) eHMI統合: 自動運転車の状態や意図情報の伝達を実現し、インタラクティブな研究を行う; 5) シーンシミュレーション: 交通を設計するCARLA クライアントのシーンでは、車両と歩行者の動作を制御します。 道路利用者間のコミュニケーションは交通環境において重要な要素です。実験では、自動運転車に外部ヒューマン・マシン・インターフェース（eHMI）が提供され、その状態と意図を実際の道路利用者に伝達しました。

図に示すように、提案されている eHMI 設計は、自動車の前部に沿ったライト ストリップで構成されています。左側の写真は eHMI なし、右側の写真は eHMI ありです。これにより、仮想シーンで歩行者の軌跡が車両の軌跡と収束するときの意思決定に対するインターフェイスの影響を研究することができます。

システム アーキテクチャ全体を図に示します。

CARLA は、トラフィックおよび特定のトラフィック シナリオをシミュレートするためのさまざまなオプションを提供します。交通管理モジュールを使用して、現実的な都市交通状況をシミュレーションに追加します。各車両の制御は専用のスレッドで実行されます。他のレイヤーとの通信は、同期メッセージングを通じて管理されます。

特定の動作を強制するパラメータを設定することで、トラフィック フローを制御します。たとえば、車のスピード違反、信号無視、歩行者無視、または車線変更の強制が許可される場合があります。

本体は、都市の 3D モデル マップを含むシミュレーターに統合されています。各マップは、完全に注釈が付けられた道路レイアウトを記述した OpenDRIVE ファイルに基づいています。この機能により、独自のマップを設計し、現実環境と仮想環境で同じ交通シナリオを再現し、シミュレーターの実際の動作の統合を評価し、インタラクション結果を比較することによってフィールド調査を行うことができます。

ハードウェア設定は図に示すとおりです。実験中、Oculus Quest 2 は Meta によって作成されたヘッドマウント デバイス (HMD) として使用され、6GB RAM プロセッサ、2 つの調整可能な 1832 x 1920 レンズ、 90Hzのリフレッシュレートと256GBのRAM。 Quest 2 は、Wi-Fi 6、Bluetooth 5.1、USB Type-C 接続、SteamVR サポート、3D スピーカーを備えています。全身追跡の場合は、慣性トラッカーを備えた PNS でソリューションをパッケージ化します。キットには、スタンドアロン VR ヘッドセット、2 つのモーション コントローラー、17 個の Studio 慣性ボディ センサー、14 セットのストラップ、充電ケース、Studio トランシーバーが含まれています。

CARLA ビルドと Quest 2 は Windows のみに依存しているため、VR イマージョン システムは現在 UE4.24 および Windows 10 オペレーティング システムに依存しています。 TCP ソケット プラグインを使用すると、すべての参加者のエディターの位置とその他の便利なパラメーターが Python API から送信され、各参加者の音声または自動運転車の eHMI が統合されます。 「VR プレビュー」は HMD 上でゲームを開始します。 Perception Neuron Studio は、一度に最大 3 人の被験者と 23 個の身体センサーと指センサーを同時にサポートする Axis Studio と連携します。

写真は、インタラクティブな交通状況のシミュレーションを示しています: (a) 3D 世界のデザイン。 (b) 歩行者マッチング実行者アバター。 (c) 自動運転車。 (d) 環境音とインテリジェントサウンド。 (e) eHMI。 (f) 信号機および交通標識。

以上がCARLA 自動運転シミュレータに実際のエージェントの動作を追加の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。