LightSim: 現実的で制御可能かつスケーラブルなシミュレーション エクスペリエンスを実現する、NeurIPS 2023 で発表された自動運転照明シミュレーション プラットフォーム

最近、Waabi AI、トロント大学、ウォータールー大学、MIT の研究者らは、NeurIPS 2023 で新しい自動運転照明シミュレーション プラットフォーム LightSim を提案しました。研究者らは、実データからペアの照明トレーニング データを生成し、データ欠損やモデル移行損失の問題を解決する方法を提案しました。 LightSim は、神経放射場 (NeRF) と物理ベースのディープ ネットワークを使用して車両の運転ビデオをレンダリングし、大規模な実際のデータ上で動的なシーンの照明シミュレーションを初めて実現します。

• # プロジェクト Web サイト: https://waabi.ai/lightsim
• 論文リンク: https://openreview.net/pdf?id=mcx8IGneYw

なぜ自動運転照明シミュレーションなのか必要ですか？

#カメラ シミュレーションは、ロボット工学、特に自動運転車が屋外のシーンを認識する場合に非常に重要です。ただし、既存のカメラ認識システムは、トレーニング中に学習されていない屋外の照明条件に遭遇すると、パフォーマンスが低下します。カメラ シミュレーションを通じて屋外照明の変化に関する豊富なデータセットを生成すると、自動運転システムの堅牢性を向上させることができます。

一般的なカメラ シミュレーション方法は、通常、物理エンジンに基づいています。 3D モデルと照明条件を設定してシーンをレンダリングする方法です。ただし、シミュレーション効果には多様性が欠けていることが多く、十分に現実的ではありません。さらに、高品質の 3D モデルの数が限られているため、物理的なレンダリング結果は現実世界のシーンと完全には一致しません。これにより、実際のデータに対するトレーニング済みモデルの汎化能力が低下します。

#もう 1 つは、データ駆動型のシミュレーション手法に基づいています。ニューラル レンダリングを使用して、センサーによって観察されたデータを複製する現実世界のデジタル ツインを再構築します。このアプローチにより、よりスケーラブルなシーン作成とリアリズムの向上が可能になりますが、既存のテクノロジーはシーンの照明を 3D モデルに焼き込む傾向があり、照明条件の変更や新しいオブジェクトの追加や削除などのデジタル ツインの編集が妨げられます。

#NeurIPS 2023 での研究で、Waabi AI の研究者は、物理エンジンとニューラル ネットワークに基づく照明シミュレーション システム LightSim (都市シーン向けニューラル照明シミュレーション) をデモンストレーションしました。

以前の作品とは異なり、LightSim は次のことも実現します:

1.
Real (現実的)

:初めて、大規模な屋外の動的シーンの照明をシミュレートできるようになり、影やオブジェクト間の照明効果などをより正確にシミュレートできるようになりました。

2. 制御可能

: 動的な運転シーンの編集 (オブジェクト、カメラの位置とパラメーターの追加、削除、照明の変更、安全性が重要なシーンの生成など) をサポートし、より現実的で安全性が重要なシーンを生成します。ビデオの一貫性が向上し、照明やエッジ条件に対するシステムの堅牢性が向上します。

3. Scalable(スケーラブル)

: より多くのシナリオやさまざまなデータセットに拡張するのが簡単で、データを一度収集するだけ (シングル パス) で、現実の環境を再構築して実行できます。データ収集、管理されたシミュレーションテスト。

シミュレーション システムの構築

ステップ 1: 現実世界の再照明可能なデジタル ツインを構築する

デジタル世界で自動運転シーンを再構築するために、LightSim はまず、収集されたデータから動的オブジェクトと静的シーンを分割します。この手順では、UniSim を使用してシーンを再構築し、ネットワーク内のカメラ ビューの依存を削除します。次に、マーチング キューブを使用してジオメトリを取得し、さらに基本的なマテリアルを使用してメッシュに変換します。

LightSim は、マテリアルとジオメトリに加えて、日中の屋外シーンの主な光源である太陽と空に基づいて屋外照明を推定し、高いダイナミック レンジを取得することもできます。環境マップ（HDRスカイドーム） LightSim は、センサー データと抽出されたジオメトリを使用して、不完全なパノラマ画像を推定し、それを完成させて空の 360° の完全なビューを取得できます。このパノラマ画像と GPS 情報は、太陽の強さ、太陽の方向、空の様子を正確に推定する HDR 環境マップを生成するために使用されます。

ステップ 2: ダイナミックな都市シーンのニューラル ライティング シミュレーション

数値を取得した後ツイン化すると、オブジェクトの追加または削除、車両の軌道の変更、照明の変更などをさらに変更して、拡張現実表現を生成できます。 LightSim は物理ベースのレンダリングを実行し、シーンを変更するための基本色、深度、法線ベクトル、シャドウなどの照明関連データを生成します。この照明関連のデータと、シーンのソースおよびターゲットの照明条件の推定を使用すると、LightSim ワークフローは次のようになります。

物理ベースのレンダリング イメージはシーン内の照明効果を適切に再構成しますが、ジオメトリの不完全性やマテリアル/照明分解のエラーにより、レンダリング結果はぼやけて非現実的な表面反射や境界アーティファクトなど、現実性に欠けることがよくあります。したがって、研究者たちはリアリズムを高めるためにニューラル遅延レンダリングを提案しました。彼らは、ソース画像と、レンダリング エンジンによって生成された照明関連データの事前計算済みバッファを取得して、最終画像を生成する画像合成ネットワークを導入しました。同時に、論文の方法は、照明コンテキストを強化する環境マップをネットワークに提供し、デジタルツインを通じてペア画像を生成し、新しいペアワイズシミュレーションと実際のデータトレーニングスキームを提供します。

#シミュレーション機能の表示

シーンの照明を変更する (シーン再照明)

LightSim は、新しい照明条件下で時間の一貫した方法で同じシーンをレンダリングできます。ビデオに示されているように、新しい太陽の位置と空の外観により、シーンの影と外観が変化します。

LightSim は、シーンのバッチ再照明を実行し、推定された実際の HDR 環境マップから同じシーンの時間一貫性のある 3D 対応の新しい照明変更を生成できます。

#シャドウ編集

LightSim 照明表現は編集可能です太陽の方向を変えることができるため、太陽の光の方向に関連する照明の変化や影が更新されます。 LightSim は、HDR 環境マップを回転し、それを Neural Deferred Rendering モジュールに渡すことにより、次のビデオを生成します。

LightSim は影の編集をバッチで実行することもできます。

照明対応アクタの挿入

例外 照明の変更に加えて、LightSim は次のことを行うことができます。また、建築上の障害物など、特殊なオブジェクトに対して照明を意識した追加を行うこともできます。これらの追加オブジェクトは、オブジェクトの照明シャドウを更新し、オブジェクトを正確に遮蔽し、カメラ構成全体に空間的に適応させることができます。

シミュレーションの移行 (nuScenes への一般化)

LightSim のニューラル遅延レンダリング ネットワークによるLightSim は複数の運転ビデオでトレーニングされているため、新しいシナリオに一般化できます。次のビデオは、nuScenes の運転シーンに一般化する LightSim の機能を示しています。 LightSim は、各シーンの照明を認識したデジタル ツインを構築し、それが PandaSet で事前トレーニングされたニューラル遅延レンダリング モデルに適用されます。 LightSim の移行は良好に実行され、比較的堅牢にシーンを再照明できます。

#リアルで制御可能なカメラ シミュレーション

要約するとすべての機能が実証されているため、LightSim は制御可能で多様かつ現実的なカメラ シミュレーションを可能にします。次のビデオは、LightSim のシーン シミュレーション機能を示しています。ビデオでは、白い車が SDV レーンに緊急車線変更を行い、新しい障害物が導入され、白い車がまったく新しいシーンに入りました。新しいシーンのさまざまな照明条件下で LightSim によって生成された効果は次のとおりです。 : 。別の例が以下のビデオに示されています。ここでは、新しい道路障害物が挿入された後に新しい車両のセットが追加されています。 LightSim で構築されたシミュレートされた照明を使用すると、新しく追加された車両をシーンにシームレスに統合できます。

概要と展望

LightSim は知覚可能な A です大規模なダイナミックな運転シーンを処理するための照明カメラ シミュレーション プラットフォーム。実世界のデータに基づいて照明対応のデジタル ツインを構築し、それらを変更して、さまざまなオブジェクト レイアウトと SDV パースペクティブを持つ新しいシーンを作成できます。 LightSim は、シーン上の新しい照明条件をシミュレートして、多様で現実的で制御可能なカメラ シミュレーションを実現し、時間的/空間的に一貫したビデオを実現できます。 LightSim をリバース レンダリング、気象シミュレーション、その他のテクノロジと組み合わせて、シミュレーション パフォーマンスをさらに向上させることもできることは注目に値します。

以上がLightSim: 現実的で制御可能かつスケーラブルなシミュレーション エクスペリエンスを実現する、NeurIPS 2023 で発表された自動運転照明シミュレーション プラットフォームの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。