LiDAR シミュレーションの新しいアイデア | LidarDM: 4D ワールドの生成に役立ち、シミュレーションキラー~

原題: LidarDM: Generative LiDAR Simulation in a Generated World

論文リンク: https://arxiv.org/pdf/2404.02903.pdf

コードリンク: https ://github.com/vzyrianov/lidardm

著者の所属: イリノイ大学、マサチューセッツ工科大学

論文のアイデア:

この記事では、現実的で、レイアウトを認識し、物理的に信憑性があり、時間的に一貫性のある LIDAR ビデオを生成できる新しい LIDAR 生成モデルである LidarDM を紹介します。 LidarDM には、LIDAR 生成モデリングにおいて前例のない 2 つの機能があります: (1) 運転シナリオに基づいた LIDAR 生成により、自動運転シミュレーションに大きなインセンティブが提供されます; (2) 4D LIDAR 点群生成により、現実的で時間的にコヒーレントな LIDAR シーケンスの作成が可能になります。私たちのモデルの中核は、新しい包括的な 4D ワールド生成フレームワークです。具体的には、この論文は潜在拡散モデルを使用して 3D シーンを生成し、それらを動的アクターと組み合わせて基礎となる 4D 世界を形成し、この仮想環境で現実的なレーザー知覚データを生成します。私たちの実験では、忠実度、時間的一貫性、レイアウトの一貫性の点で、私たちの方法が競合するアルゴリズムよりも優れていることが示されています。この論文では、LidarDM が知覚モデルのトレーニングとテストのための生成世界シミュレーターとして使用できることも示しています。

ネットワーク設計:

開発された生成モデルは、データ配信や、画像やビデオの生成などのコンテンツ作成の処理においてますます注目を集めています [10, 33, 52- 55]、3D オブジェクトの生成 [10、19、38、52]、圧縮 [5、29、68]、編集 [37、47] などの分野。生成モデルはシミュレーションにも優れた可能性を示しており [6、11、18、34、46、60、64、66、76、82]、安全性のトレーニングと評価のための現実的なシナリオとそれに関連する感覚データの作成を可能にします。ロボットや自動運転車などを利用すれば、現実世界のコストのかかる手動モデリングの必要がなくなります。これらの機能は、広範な環境トレーニングやシナリオ テストに依存するアプリケーションにとって重要です。

条件付き画像およびビデオ生成の進歩は目覚ましいものですが、自動運転アプリケーションの機能固有のシナリオに合わせて現実的な LIDAR 点群シーケンスを生成するという具体的なタスクは、まだ十分に研究されていません。現在の LIDAR 生成方法は 2 つの主要なカテゴリに分類され、それぞれが特定の課題に直面しています。

1. 現在の LIDAR 生成モデリング方法 [8、72、79、83] は、単一フレームの生成に限定されており、セマンティックな制御性と時間的一貫性のための手段を提供しません。
2. LiDAR 再シミュレーション [14、17、46、65、67、74] は、ユーザーが作成した資産または実際に収集された資産に大きく依存しています。これにより、運用コストが高くなり、多様性が制限され、幅広い適用性が制限されます。

これらの課題に対処するために、このホワイトペーパーでは、現実的でレイアウトを認識し、物理的に信頼できる、時間的に一貫した Lidar ビデオを作成できる LidarDM (Lidar Diffusion Model) を提案します。このペーパーでは、これまで取り上げられていなかった 2 つの新しい機能について検討します。(i) 自動運転シミュレーションに大きな可能性を秘めた、運転シナリオに基づいた LIDAR 合成、および (II) 現実的な注釈付き LIDAR 点群の生成を目指す シーケンシャル 4D LIDAR 点群合成。この論文でこれらの目標を達成するための重要な洞察は、まず基礎となる 4D 世界を生成して結合し、次にこの仮想環境内で現実的な知覚観察を作成することにあります。これを達成するために、この論文は、既存の 3D オブジェクト生成方法を統合して動的アクターを作成し、潜在拡散モデルに基づいて大規模 3D シーン生成のための新しい方法を開発します。このアプローチは、粒子の意味論的な配置から現実的に多様な 3D 運転シーンを生成することができ、この論文の知る限りでは、これは初めての試みです。この記事では、軌道を適用して 3D 世界を生成し、確率的レイキャスティング シミュレーションを実行して最終的な 4D LIDAR シーケンスを生成します。図 1 に示すように、この論文で生成された結果は多様で、レイアウト条件に一致しており、現実的かつ時間的に一貫しています。

この論文の実験結果は、LidarDM によって生成された単一フレーム画像がリアリズムと多様性を示し、そのパフォーマンスが最先端のストライプフリー単一フレームレーザー点群生成に匹敵することを示しています。テクノロジー。さらに、この論文は、LidarDM が堅牢な拡散センサー生成ベースラインを超えて、時間的にコヒーレントなレーザー点群ビデオを生成できることを実証します。私たちの知る限り、これはこの機能を備えた最初のレーザー点群生成方法です。このペーパーでは、生成されたレーザー点群と、一致するマップ アイテムの下での実際のレーザー点群の間の良好な一致を実証することにより、LidarDM のアイテム生成機能をさらに実証します。最後に、この論文では、LidarDM を使用して生成されたデータは、実際のデータでトレーニングされた認識モジュールでテストした場合に最小限のドメイン ギャップを示し、トレーニング データの拡張にも使用でき、3D 検出器のパフォーマンスが大幅に向上することを実証します。これにより、生成されたレーザー点群モデルを使用して、運転モデル​​のトレーニングとテストのための現実的で制御可能なシミュレーション環境を作成するための前提条件が提供されます。

図 1: この論文では、新しい 4D LIDAR 生成モデルである LidarDM を示します。この記事で生成された LIDAR ビデオには、リアリズム、レイアウト条件、物理的信頼性、多様性、時間的一貫性という利点が同時に備わっています。

図 2: LidarDM のアプリケーション: (a) 3D キャプチャまたはモデリングを行わずにマップと厳密に位置合わせされた LIDAR を生成 (色付きのボックスは LIDAR とマップの一貫性を強調表示します); (b)センサー データを既存の交通シミュレーター (Waymax [20]) に提供し、純粋なセンサー データのみから安全性が重要なシナリオを評価できるようにする (c) 制御可能な障害物を使用して交通を生成する オブジェクトの位置に関する大量の LIDAR データ (無料で利用できると考えられる)グラウンド トゥルース ラベル) を使用して、高価なデータ キャプチャやアノテーションを行わずに、事前トレーニングを通じて知覚モデルを改善します。

図 3: LidarDM の概要: 時間 t = 0 でのトラフィック レイアウト入力が与えられると、LidarDM はまずトラフィック参加者 (アクター) と静的シーンを生成します。次に、この記事は交通参加者 (アクター) と自車両の動きを生成し、その基礎となる 4D 世界を構築します。最後に、生成シミュレーションと物理ベースのシミュレーションを使用して、現実的な 4D センサー データを作成します。

図 4: この記事の 3D シーン生成プロセス。まず、蓄積された点群を使用して、実際の各メッシュ サンプルが再構築されます。次に、変分オートエンコーダー (VAE) をトレーニングして、グリッドを暗黙的なエンコーディングに圧縮します。最後に、マップ上で条件付けされた拡散モデルは、VAE の潜在空間内でサンプリングして新しいサンプルを生成するようにトレーニングされます。

図 5: 知覚ノイズ シミュレーション用のランダム レイドロップ ネットワーク。リアリズムをさらに強化します。この記事では、上のマスクされた距離マップとマスクされた LIDAR 画像で、レイドロップされたポイントを赤色で強調表示します。

実験結果:

図 6: 実際の KITTI-360 サンプルと、競合する方法による無処理サンプルの比較。 UltraLiDAR サンプルの視覚化は、論文から直接引用されています。以前の方法と比較して、LidarDM は、より詳細な顕著なオブジェクト (例: 車、歩行者)、より明確な 3D 構造 (例: 真っ直ぐな壁)、およびより現実的な道路レイアウトを含むサンプルを生成します。

図 7: 2 つの Waymax [20] マップ シーケンスに対するマップ条件付きシーケンス生成の定性的結果。このペーパーでは、LidarDM の時間的一貫性を強調するために、対応する累積点群も示します。

概要:

この論文では、新しいレイアウトベースの LidarDM を提案します。現実的な LIDAR 点群を生成するための条件付き潜在拡散モデル。私たちのアプローチは、問題を 4D 世界の作成と知覚データ生成の共同タスクとして枠組み付けし、3D シーンを作成するための新しい潜在拡散モデルを開発します。結果として得られる点群ビデオは、現実的で一貫性があり、レイアウトを意識したものになります。

以上がLiDAR シミュレーションの新しいアイデア | LidarDM: 4D ワールドの生成に役立ち、シミュレーションキラー~の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。