自動運転のために生まれた Lightning NeRF: 10 倍高速

以前に書いたもの&著者の個人的な理解

最近の研究では、自動運転環境における NeRF の応用の可能性が強調されています。ただし、屋外環境の複雑さと運転シーンの視点の制限により、シーンのジオメトリを正確に再構成する作業が複雑になります。これらの課題により、多くの場合、再構築の品質が低下し、トレーニングとレンダリングの時間が長くなります。これらの課題に対処するために、私たちは Lightning NeRF を立ち上げました。これは、自動運転シナリオで LIDAR の幾何学的事前分布を効果的に活用する効率的なハイブリッド シーン表現を使用します。 Lightning NeRF は、NeRF の新規ビュー合成パフォーマンスを大幅に向上させ、計算オーバーヘッドを削減します。 KITTI-360、Argoverse2、および私たちのプライベートデータセットなどの実世界のデータセットの評価を通じて、私たちの方法が新しいビュー合成の品質において現在の最先端を超えるだけでなく、トレーニング速度も向上することを実証します。レンダリングも 10 倍高速になります。

• コードリンク: https://github.com/VISION-SJTU/Lightning-NeRF

詳細な説明Lightning NeRF

Preliminaries

NeRF は、暗黙的な関数を使用してシナリオを表現する方法です。この暗黙的な関数は通常、 MLP によってパラメータ化されます。視線方向 d に基づいて、シーン内の 3D 点 x のカラー値 c と体積密度予測 σ を返すことができます。

ピクセルをレンダリングするために、NeRF は階層ボリューム サンプリングを使用して光線 r に沿った一連の点を生成し、蓄積を通じてこれらの位置で予測された密度と色の特徴を組み合わせます。

NeRF は新しいパースペクティブ合成では優れたパフォーマンスを発揮しますが、その長いトレーニング時間と遅いレンダリング速度は主にサンプリング戦略の非効率によって引き起こされます。モデルの効率を向上させるために、トレーニング中に粗いグリッド占有率を維持し、占有ボリューム内の位置のみをサンプルします。このサンプリング戦略は既存の作業と似ており、モデルのパフォーマンスを向上させ、トレーニングを高速化するのに役立ちます。

ハイブリッド シーン表現

ハイブリッド ボリューム表現は、コンパクトなモデルを使用して最適化され、迅速にレンダリングされます。これを考慮して、効率を向上させるために、ハイブリッド ボクセル グリッド表現を採用して放射線場をモデル化します。簡単に言うと、メッシュの頂点に σ を格納することで体積密度を明示的にモデル化し、浅い MLP を使用して色埋め込み f を最終的な色 c に暗黙的にデコードします。屋外環境の境界のない性質に対処するために、図 2 に示すように、シーン表現を前景と背景の 2 つの部分に分割します。具体的には、軌跡シーケンスから各フレームのカメラ錐台を調べ、位置合わせされた座標系内のすべての錐台をしっかりと包み込むように前景境界ボックスを定義します。背景ボックスは、前景ボックスを各次元に沿って拡大することによって取得されます。

ボクセルグリッド表現。ボクセル メッシュ表現は、効率的なフィーチャ クエリをサポートするために、メッシュ頂点にシーン プロパティ (密度、RGB カラー、フィーチャなど) を明示的に格納します。このようにして、特定の 3D 位置について、三重線形補間を介して対応する属性をデコードできます:

Foreground。 2 つの独立した特徴グリッドを構築して、前景領域の密度と色の埋め込みをモデル化します。具体的には、密度メッシュ マッピングは、ボリューム レンダリングのために位置を密度スカラー σ にマッピングします。カラー埋め込みメッシュ マッピングの場合、ハッシュ テーブルを介して異なる解像度のバックアップで複数のボクセル メッシュをインスタンス化し、手頃なメモリ オーバーヘッドでより詳細な詳細を取得します。最終的なカラー埋め込み f は、L 解像度レベルで出力を連結することによって取得されます。

背景 前述した前景モデリングはオブジェクトレベルの放射線場では機能しますが、それを境界のない屋外シーンに拡張することは簡単ではありません。 NGP などの一部の関連技術は、背景領域を含めることができるようにシーン バウンディング ボックスを直接拡張しますが、GANcraft と URF はこの問題に対処するために球状の背景放射を導入します。ただし、前者の試みでは、シーン ボックス内の領域の大部分が背景シーンに使用されていたため、機能が無駄になりました。後者のスキームでは、背景放射がビューの方向のみに依存すると単純に想定されているため、都市シーン (起伏のある建物や複雑な風景など) の複雑なパノラマを処理できない可能性があります。

このため、追加の背景メッシュ モデルをセットアップして、前景部分の解像度を変更しないようにします。 [9] のシーン パラメータ化を背景として採用し、慎重に設計されています。まず、逆球面モデリングとは異なり、ボクセル グリッド表現を使用するため、ℓ∞ ノルムを使用した逆立方体モデリングを使用します。次に、メモリを節約するために、背景色をクエリするための追加の MLP をインスタンス化しません。具体的には、次の方法で 3D 背景ポイントを 4D にワープします。

LiDAR 初期化

ブレンディング シーン表現を使用することで、このモデルは計算を節約します。計算負荷の高い MLP ではなく、効率的なボクセル グリッド表現から直接密度値をクエリするときのメモリと。ただし、都市シーンの大規模な性質と複雑さを考慮すると、この軽量表現は、密度グリッドの解像度が限られているため、最適化中に極小値に陥りやすくなります。幸いなことに、自動運転では、ほとんどの自動運転車 (SDV) に LiDAR センサーが装備されており、シーン再構築のための大まかな幾何学的事前分布を提供します。この目的を達成するために、LIDAR 点群を使用して密度メッシュを初期化し、シーンのジオメトリと放射能の共同最適化の障害を軽減することを提案します。

色分解

オリジナルの NeRF は、ビュー依存の MLP を使用して、放射線フィールドの色をモデル化しました。これは、放射線が拡散する物理世界を単純化したものです (ビュー) -独立した）カラーと鏡面反射（ビュー依存）カラー。さらに、最終的な出力色 c は視線方向 d と完全に絡み合っているため、目に見えないビューで高忠実度の画像をレンダリングすることは困難です。図 3 に示すように、カラー分解 (CD) なしでトレーニングされたメソッドは、外挿設定 (つまり、トレーニング ビューに基づいて視点方向を 2 メートル左にシフト) での新しいビューの合成に失敗します。一方、カラーのメソッドは分解されました。この場合、妥当なレンダリング結果が得られます。

#サンプル位置の最終的な色は、次の 2 つの要素の合計です。

トレーニング損失

再スケーリングされた重み wi を使用して測光損失を変更し、高速収束のために硬いサンプルに焦点を当てるようにモデルを最適化します。重み係数は次のように定義されます:

##Picture

# ＃ ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃実験＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

#

結論

このペーパーでは、点群と画像を統合する効率的な屋外シーン ビュー合成フレームワークである Lightning NeRF を紹介します。提案された方法は、点群を利用してシーンのまばらな表現を迅速に初期化し、大幅なパフォーマンスと速度の向上を実現します。背景をより効率的にモデル化することで、前景の表現上の負担が軽減されます。最後に、色分解を通じて、ビュー関連の色とビューに依存しない色が別々にモデル化され、モデルの外挿能力が強化されます。さまざまな自動運転データセットに対する広範な実験により、私たちの手法がパフォーマンスと効率の点で以前の最先端技術を上回ることが実証されました。

以上が自動運転のために生まれた Lightning NeRF: 10 倍高速の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。