高度なドライビングシミュレーション：リアルなサラウンドデータによるドライビングシーンの再構築

元のタイトル: DrivingGaussian: アンビエント動的自動運転シーンのための複合ガウス ポイント レンダリング

論文を表示するにはここをクリックしてください: https://arxiv.org/pdf/2312.07920.pdf

コードリンク: https://pkuvdig.github.io/DrivingGaussian/

著者の所属: 北京大学 Google Research カリフォルニア大学マーセド校

論文のアイデア:

この記事では、動的自動運転シナリオ向けの非常に効率的でコスト効率の高いフレームワークである DrivingGaussian を提案します。動く物体を含む複雑なシーンの場合、この論文では、最初に増分静的 3D ガウスを使用して、シーン全体の静的背景を連続的かつ段階的にモデル化します。次に、この論文では、複合動的ガウス グラフを使用して複数の移動オブジェクトを処理し、各オブジェクトを個別に再構成し、シーン内での正確な位置とオクルージョン関係を復元します。この論文ではさらに、ガウス スプラッティングに LiDAR 事前分布を使用して、より詳細なシーンを再構築し、パノラマの一貫性を維持します。 DrivingGaussian は、運転シーンの再構築において既存の方法を上回っており、高い忠実度とマルチカメラの一貫性を備えた現実的なサラウンドビュー合成を可能にします。

主な貢献:

この記事の理解によれば、DrivingGaussian は、大規模な動的な運転シーンの表現とモデリングに複合ガウス スプラッシュ テクノロジを使用する最初のフレームワークです。

インクリメンタル静的 3D ガウス マップと複合動的ガウス マップを含む 2 つの新しいモジュールを導入しました。前者は静的な背景を段階的に再構築し、後者はガウス マップを使用して複数の動的オブジェクトをモデル化します。 LIDAR 事前解析の助けを借りて、この方法は大規模な運転シナリオで完全なジオメトリを回復するのに役立ちます。

包括的な実験では、DrivingGaussian が困難な自動運転ベンチマーク方法で以前のアプローチよりも優れたパフォーマンスを示し、下流タスクのさまざまなエッジ ケースをシミュレートできることが実証されました

ネットワーク設計:

この記事では、ルックアラウンドの動的自動運転シナリオを表現するための DrivingGaussian と呼ばれる新しいフレームワークを紹介します。このフレームワークの重要なアイデアは、複数のセンサーからの連続データを使用して、複雑な運転シナリオを階層的にモデル化することです。コンポジット ガウス スプラッティング テクノロジを使用することにより、シーン全体が静的な背景と動的なオブジェクトに分解され、各部分が個別に再構築されます。具体的には、まず合成シーンが、インクリメンタル静的 3D ガウス法を使用して、ルックアラウンド マルチカメラ ビューから順次構築されます。次に、複合動的ガウス マップを使用して各移動オブジェクトを個別に再構築し、ガウス マップを通じてそれらを静的な背景に動的に統合します。これに基づいて、ガウス スプラッティングを通じてグローバル レンダリングが実行され、静的な背景や動的なオブジェクトなど、実世界のオクルージョン関係がキャプチャされます。さらに、この論文では、GS 表現に事前に LiDAR を導入しています。これにより、ランダム初期化または SfM

を使用して生成された点群と比較して、より正確なジオメトリを復元し、より優れたマルチビューの一貫性を維持できます。広範な実験により、次のことが示されています。私たちの手法は、公共の自動運転データセットで最先端のパフォーマンスを実現します。事前に LIDAR を使用しなくても、私たちの方法は依然として優れたパフォーマンスを示し、大規模な動的シーンの再構築における多用途性を示しています。さらに、この記事のフレームワークは、自動運転システムの安全性と堅牢性を検証するのに役立つ、動的シーン構築とコーナーケース シミュレーションをサポートしています。

図 1. DrivingGaussian は、サラウンドビューのダイナミックな自動運転シーンのリアルなレンダリング パフォーマンスを実現します。単純な方法 [13、49] では、大規模な背景に不快なアーティファクトやぼやけが生じるか、動的オブジェクトや詳細なシーンのジオメトリを再構成することが困難です。 DrivingGaussian は、複雑なサラウンドビューの運転シーンで静的な背景と複数の動的なオブジェクトを効果的に表現するために、初めて Composite Gaussian Splatting を導入しました。 DrivingGaussian を使用すると、複数のカメラにわたるサラウンド ビューの高品質な合成が可能になり、長期にわたる動的なシーンの再構築が容易になります。

図 2. この記事の方法の全体的なプロセス。左: DrivingGaussian は、マルチカメラ画像や LiDAR を含む複数のセンサーから連続データを取得します。中央: 大規模な動的運転シナリオを表現するために、この論文では 2 つの部分からなる複合ガウス スプラッティングを提案します。最初の部分では広範な静的背景を段階的に再構築し、2 番目の部分ではガウス マップを使用して複数の動的オブジェクトを構築し、それらをシーンに動的に統合します。右: DrivingGaussian は、複数のタスクおよびアプリケーション シナリオにわたって優れたパフォーマンスを示します。

図 3. 増分静的 3D ガウス プロットと動的ガウス プロットを含む複合ガウス スプラッティング。この記事では、コンポジット ガウス スプラッティングを使用して、シーン全体を静的な背景と動的なオブジェクトに分解し、各部分を個別に再構築して、グローバル レンダリングのために統合します。

＃＃＃＃＃＃ 実験結果： ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ ＃＃

#概要:

この記事では、新しいフレームワークである DrivingGaussian について紹介します。提案された複合ガウス スプラッティングに基づいて大規模な動的自動運転シナリオを表現します。 DrivingGaussian は、増分静的 3D ガウスを使用して静的背景を段階的にモデル化し、複合動的ガウス マップを使用して複数の移動オブジェクトをキャプチャします。この論文では、LiDAR 事前解析をさらに活用して、正確なジオメトリとマルチビューの一貫性を実現します。 DrivingGaussian は 2 つの自動運転データセットで最先端のパフォーマンスを実現し、高品質のサラウンド ビュー合成と動的なシーンの再構築を可能にします

引用:

Zhou, X ., Lin, Z., Shan, X., Wang, Y., Sun, D., & Yang, M. (2023). DrivingGaussian: 周囲の動的自動運転シーンのための複合ガウス スプラッティング. ArXiv. /abs/2312.07920

#元のリンク:https://www.php.cn/link/a878dbebc902328b41dbf02aa87abb58

以上が高度なドライビングシミュレーション：リアルなサラウンドデータによるドライビングシーンの再構築の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。