リアルで制御可能、スケーラブルな自動運転照明シミュレーションプラットフォーム「LightSim」を新発売

最近、Waabi AI、トロント大学、ウォータールー大学、MITの研究者らは、NeurIPS 2023で新しい自動運転照明シミュレーションプラットフォームLightSimを提案しました。研究者らは、実データからペアの照明トレーニング データを生成し、データ欠損とモデル移行損失の問題を解決する方法を提案しました。 LightSim は、神経放射場 (NeRF) と物理ベースのディープ ネットワークを使用して車両の運転ビデオをレンダリングし、大規模な実際のデータ上で動的なシーンの照明シミュレーションを初めて実現します

• プロジェクト Web サイト: https://waabi.ai/lightsim
• 紙のリンク: https:// openreview.net /pdf?id=mcx8IGneYw

自動運転照明シミュレーションが必要なのはなぜですか?

ロボット工学において、カメラ シミュレーションは非常に重要であり、特に自動運転車が屋外のシーンを認識するためには重要です。しかし、既存のカメラ認識システムは、訓練されていない屋外の照明条件に遭遇すると、パフォーマンスが低下します。カメラ シミュレーションを使用してさまざまな屋外照明変化データ セットを生成することで、自動運転システムの安定性を向上させることができます。

一般的なカメラ シミュレーション手法は、一般に物理エンジンに基づいています。 3D モデルと照明条件を設定してシーンをレンダリングする方法です。ただし、シミュレーション効果には多様性が欠けていることが多く、十分に現実的ではありません。さらに、高品質の 3D モデルの数が限られているため、物理的なレンダリング結果は現実世界のシーンと完全には一致しません。これにより、実際のデータに対するトレーニング済みモデルの汎化能力が低下します。

もう 1 つのアプローチは、データ駆動型のシミュレーションに基づいています。このアプローチでは、ニューラル レンダリング テクノロジーを使用して現実世界のデジタル ツインを再構築し、センサーによって観察されたデータを複製します。このようにして、より柔軟にシーンを作成し、リアリズムを高めることができます。ただし、現在のテクノロジーではシーンの照明情報が 3D モデルに埋め込まれているため、照明条件の変更やオブジェクトの追加や削除などのデジタル ツインの編集が制限されます。 NeurIPS 2023 の成果として、Waabi AI の研究者は、物理エンジンとニューラル ネットワークに基づく照明シミュレーション システム LightSim を実証しました: 都市シーン向けニューラル照明シミュレーション。

#以前の作品とは異なり、LightSim は次の点を同時に達成できます:

1. 現実的 : 初めて実現できます。大規模な屋外の動的シーンで照明シミュレーションを正確に実行し、影やオブジェクト間の照明効果などをより正確にシミュレートできます。

2. 制御可能: 動的な運転シーンの編集をサポートします (オブジェクト、カメラの位置とパラメーターの追加、削除、照明の変更、安全性が重要なシーンの生成など)。 )、これにより、より現実的で一貫性のあるビデオが生成され、照明やエッジ条件に対するシステムの堅牢性が向上します。

3. スケーラブル: より多くのシナリオやさまざまなデータ セットに拡張するのは簡単です。データを収集する必要があるのは 1 回だけです (シングル パス)。現実的で制御可能なシミュレーション テスト。

#シミュレーション システムの構築

ステップ 1: 現実世界で再利用可能な照明を構築するデジタル ツイン

デジタル世界で自動運転シーンを再構築するために、LightSim はまず、収集されたデータから動的オブジェクトと静的シーンを分割します。この手順では、UniSim を使用してシーンを再構築し、ネットワーク内のカメラ ビューの依存を削除します。次に、マーチング キューブを使用してジオメトリを取得し、さらに基本的なマテリアルを使用してメッシュに変換します。

LightSim は、マテリアルとジオメトリに加えて、日中の屋外シーンの主な光源である太陽と空に基づいて屋外照明を推定し、高ダイナミック レンジ環境マップ (HDR スカイ ドーム) を取得することもできます。 LightSim は、センサー データと抽出されたジオメトリを使用して、不完全なパノラマ画像を推定し、それを完成させて空の 360° の完全なビューを取得できます。このパノラマ画像と GPS 情報は、太陽の強さ、太陽の方向、空の様子を正確に推定する HDR 環境マップを生成するために使用されます。

デジタル ツインを取得した後、オブジェクトの追加または削除、車両の軌道の変更、照明の変更など、デジタル ツインをさらに変更して生成することができます。拡張現実の表現。 LightSim は物理ベースのレンダリングを実行し、シーンを変更するための基本色、深度、法線ベクトル、シャドウなどの照明関連データを生成します。この照明関連のデータと、シーンのソースおよびターゲットの照明条件の推定を使用すると、LightSim ワークフローは次のようになります。

物理ベースのレンダリング イメージは、シーン内の照明効果を再構築するのには優れていますが、ジオメトリやマテリアル/照明の分解における不完全さの問題があります。レンダリング結果は、ぼやけ、非現実的な表面反射、境界アーティファクトなど、現実性に欠けることがよくあります。したがって、研究者たちはリアリズムを高めるためにニューラル遅延レンダリングを提案しています。彼らは、事前計算されたバッファ内のソース画像とレンダリング エンジンによって生成された照明関連データを使用して最終画像を生成する画像合成ネットワークを導入しました。同時に、論文の方法は、照明コンテキストを強化するための環境マップをネットワークに提供し、デジタルツインを通じてペア画像を生成し、新しいペアごとのシミュレーションと実際のデータトレーニングスキームを提供します

シミュレーション機能の表示##シーンの照明を変更する (Scene Relighting)

#LightSim は、新しい照明条件下で時間の一貫した方法で同じシーンをレンダリングできます。ビデオに示されているように、新しい太陽の位置と空の外観により、シーンの影と外観が変化します。

LightSim は、シーンを自動的にバッチで再照明できます。元のシーンと同一の推定された実際の HDR 環境マップから、時間的に一貫した新しい 3D 対応の照明変更を生成できます

画像補正 (画像補正)

#LightSim の照明表現は編集可能で、太陽の方向を変更できるため、太陽の光の方向に関連する照明の変化と影を更新できます。 HDR 環境マップを回転して Neural Deferred Rendering モジュールに渡すことにより、LightSim は次のビデオを生成します

#LightSim はバッチ編集シャドウ機能もサポートしています#照明対応の文字挿入

照明の変更に加えて、LightSim は異常なオブジェクト (建築上の障害物など) を変更することもできます。照明を意識した追加を実行します。これらの追加オブジェクトは、オブジェクトの照明シャドウを更新し、オブジェクトを正確に遮蔽し、カメラ構成全体に空間的に適応させることができます。

シミュレーションの移行 (nuScenes への一般化)

###############LightSim のニューラル遅延レンダリング ネットワークによるLightSim は複数の運転ビデオでトレーニングされているため、新しいシナリオに一般化できます。次のビデオは、nuScenes でシーンを駆動するための LightSim の一般化機能を示しています。 LightSim は、各シーンの照明を認識したデジタル ツインを構築でき、これは PandaSet で事前トレーニングされたニューラル遅延レンダリング モデルに適用されます。 LightSim は優れた移行パフォーマンスを備えており、シーンの再照明のためのより堅牢なソリューションを提供できます############リアルで制御可能なカメラ シミュレーション############デモされたすべての機能を備えた包括的な上記のように、LightSim は制御可能で多様かつ現実的なカメラ シミュレーションを可能にします。次のビデオは、LightSim のシーン シミュレーション機能を示しています。ビデオでは、白い車が SDV レーンに緊急車線変更し、新しい障害物が導入され、白い車がまったく新しいシーンに入りました。新しいシーンのさまざまな照明条件下で LightSim によって生成された効果は次のとおりです。 : 。 ######

以下のビデオでは、新しい例が示されています。新しい障害物が既存の道路障害物に挿入され、新しい車両のセットが追加されました。 LightSim を使用して照明をシミュレートすることで、新しく追加された車両をシーンに完全に統合できます

概要と展望

LightSim は、次のことができるツールです。大規模なダイナミックな運転シナリオを処理するためのサービスを提供する、照明を意識したカメラ シミュレーション プラットフォーム。実世界のデータに基づいて照明を意識したデジタル ツインを構築し、それを変更して、さまざまなオブジェクト レイアウトや自動運転車の視点を持つ新しいシーンを作成できます。 LightSim は新しい照明条件をシミュレートすることができ、多様で現実的で制御可能なカメラ シミュレーションを可能にして、時間的/空間的に一貫したビデオを生成します。 LightSim をリバース レンダリング、気象シミュレーション、その他のテクノロジと組み合わせて、シミュレーション パフォーマンスをさらに向上させることもできることは注目に値します。

以上がリアルで制御可能、スケーラブルな自動運転照明シミュレーションプラットフォーム「LightSim」を新発売の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。