Neural Radiance Fields が 2020 年に提案されて以来、関連論文の数は飛躍的に増加し、3 次元再構築の重要な方向性となっただけでなく、重要なツールとして研究の最前線でも徐々に活発になってきました。自動運転に向けて。
NeRF は、過去 2 年間で突然登場しました。その主な理由は、特徴点の抽出とマッチング、エピポーラ幾何学と三角形分割、PnP とバンドル調整、および従来の CV 再構成パイプラインのその他のステップを省略し、さらにメッシュ、テクスチャ、およびレイ トレーシングの再構成により、2D 入力イメージから放射線フィールドを直接学習し、実際の写真に近い放射線フィールドからレンダリングされたイメージを出力します。言い換えれば、ニューラル ネットワークに基づく暗黙的な 3D モデルを指定された視点から 2D 画像に適合させ、新しい視点の合成と機能の両方を持たせます。 NeRF の開発は自動運転にも密接に関連しており、特に実際のシーンの再構築と自動運転シミュレーターのアプリケーションに反映されています。 NeRF は写真レベルの画像のレンダリングに優れているため、NeRF でモデル化された街路シーンは自動運転用の非常に現実的なトレーニング データを提供できます。NeRF マップを編集して、建物、車両、歩行者を現実ではキャプチャするのが難しいさまざまなコーナーに結合することができます。このケースは、知覚、計画、障害物回避などのアルゴリズムのパフォーマンスをテストするために使用できます。したがって、NeRF は 3D 再構築の一分野であり、モデリング ツールであり、NeRF を使いこなすことは、再構築や自動運転を行う研究者にとって必須のスキルとなっています。
今日は、Nerf と自動運転に関するコンテンツを整理します。ほぼ 11 の記事で、Nerf と自動運転の過去と現在を探索できます。
2.Mip-NeRF 360
#3.Instant-NGP
書き換える必要がある内容は次のとおりです: リンク: https : //nvlabs.github.io/instant-ngp
まず、Instant-NGP と NeRF の類似点と相違点を見てみましょう:
大きなフレームワークは同じであることがわかりますが、最も重要な違いは、NGP がパラメータ化されたボクセル グリッドをシーン表現として選択していることです。学習により、ボクセルに保存されたパラメータがシーン密度の形状になります。 MLP の最大の問題は遅いことです。シーンを高品質に再構成するには、比較的大規模なネットワークが必要になることが多く、サンプリング ポイントごとにネットワークを通過するのに多くの時間がかかります。グリッド内の補間ははるかに高速です。ただし、グリッドで高精度のシーンを表現したい場合は、高密度のボクセルが必要となり、メモリ使用量が非常に多くなります。シーン内には空白の場所が多くあることを考慮して、NVIDIA はシーンを表現するためのスパース構造を提案しました。
新しいビュー合成のために、F2-NeRF (Fast Free NeRF) と呼ばれる新しいグリッドベースの NeRF を提案しました。これは、任意の入力カメラ軌道を実現でき、トレーニング時間は数分しかかかりません。 Instant NGP、Plenoxels、DVGO、TensoRF などの既存の高速グリッドベースの NeRF トレーニング フレームワークは、主に境界のあるシーン向けに設計されており、境界のないシーンを処理するために空間ワーッピングに依存しています。広く使用されている 2 つの既存の空間ワーッピング手法は、前方を向いた軌道または 360° オブジェクト中心の軌道のみをターゲットにしており、任意の軌道を処理することはできません。この記事では、境界のないシーンを処理するための空間ワーピングのメカニズムを詳しく調査します。さらに、パースペクティブ ワーッピングと呼ばれる新しい空間ワーッピング手法を提案します。これにより、グリッド ベースの NeRF フレームワークで任意の軌道を処理できるようになります。広範な実験により、F2-NeRF が、収集された 2 つの標準データセットと新しい自由軌道データセットに対して同じパースペクティブ ワーピングを使用して高品質の画像をレンダリングできることが示されました。 5.MobileNeRF
MobileNeRF: モバイル アーキテクチャでの効率的なニューラル フィールド レンダリングのためのポリゴン ラスター化パイプラインの活用。
書き換える必要がある内容は次のとおりです: https://arxiv.org/pdf/2208.00277.pdf
Neural Radiation Fields (NeRF) は、新しいビューから 3D シーン画像を合成する驚くべき能力を実証しました。ただし、これらは、広く導入されているグラフィックス ハードウェアの機能と一致しない、レイ マーチングに基づく特殊なボリューム レンダリング アルゴリズムに依存しています。このペーパーでは、標準のレンダリング パイプラインを通じて新しい画像を効率的に合成できる、新しいテクスチャ ポリゴン ベースの NeRF 表現を紹介します。 NeRF は、テクスチャがバイナリの不透明度と特徴ベクトルを表すポリゴンのセットとして表されます。 Z バッファを使用した従来のポリゴンのレンダリングでは、各ピクセルが最終的なピクセル カラーを生成するためにフラグメント シェーダ内で実行される小さなビュー依存 MLP によって解釈される特性を持つイメージが生成されます。このアプローチにより、NeRF は、大規模なピクセル レベルの並列処理を提供する従来のポリゴン ラスタライゼーション パイプラインを使用してレンダリングできるようになり、携帯電話を含むさまざまなコンピューティング プラットフォーム全体でインタラクティブなフレーム レートが可能になります。
当社のリアルタイム ビジュアル ローカリゼーションと NeRF マッピングの作業は CVPR2023
に含まれていますCo-SLAM: ニューラル リアルタイム SLAM のためのジョイント座標エンコーディングとスパース パラメトリック エンコーディング:
論文リンク: https://arxiv.org/pdf/2304.14377.pdf
Co-SLAM は、本物の-time カメラ追跡と高忠実度の表面再構築にニューラル暗黙的表現を使用する RGB-D SLAM システム。 Co-SLAM は、シーンを多重解像度のハッシュ グリッドとして表現し、局所的な特徴を迅速に収束して表現する機能を活用します。さらに、表面一貫性事前分布を組み込むために、Co-SLAM はブロック符号化方式を使用します。これは、観察されていない領域でシーンの完成を強力に完了できることを証明しています。私たちの共同エンコーディングは、Co-SLAM の速度、高忠実度の再構成、表面一貫性事前分布の利点を組み合わせたもので、レイ サンプリング戦略を通じて、Co-SLAM はすべてのキーフレームに対する調整をグローバルにバンドルすることができます。
書き直す必要があるのは: https://arxiv.org/pdf/2307.15058.pdf
自動運転車は通常の条件下でスムーズに走行できます。シミュレーションは、残りのコーナー状況を解決する上で重要な役割を果たします。この目的を達成するために、MARS は神経放射場に基づいた自動運転シミュレーターを提案しています。既存の作品と比較して、MARS には次の 3 つの特徴があります。 (1) インスタンスの認識。シミュレーターは、インスタンスの静的特性 (サイズや外観など) と動的特性 (軌道など) を個別に制御できるように、別個のネットワークを使用して前景インスタンスと背景環境を個別にモデル化します。 (2) モジュール性。シミュレータを使用すると、さまざまな最新の NeRF 関連バックボーン、サンプリング戦略、入力モードなどを柔軟に切り替えることができます。このモジュール設計により、NeRF ベースの自動運転シミュレーションの学術的進歩と産業展開が促進されることが期待されています。 (3) 本物。シミュレータは、最適なモジュールを選択して最先端のフォトリアリスティックな結果が得られるようにセットアップされています。
最も重要な点は、オープンソースであることです。
#書き換える内容は、シミュレーションシステムの構築です。
UniSim まず、収集したデータから、 自動車、歩行者、道路、建物、交通標識などの自動運転シーンをデジタル世界で再構築します。次に、
simulation用に再構成されたシーンを制御して、いくつかのまれなキー シーンを生成します。 閉ループ シミュレーション
UniSim は閉ループ シミュレーション テストを実行でき、まず車の挙動を制御することで、危険でまれなシーンを作り出すことができます。例えば、現在の車線に突然対向車が来た場合、UniSim が対応するデータをシミュレーションして生成し、自動運転システムを実行して経路計画の結果を出力し、経路計画の結果に基づいて無人車両が移動します。次の指定された場所に移動し、シーン (無人車両や他の車両の位置) を更新し、引き続きシミュレーションを実行し、自動運転システムを実行し、仮想世界の状態を更新します... この閉ループ テストを通じて、自動運転システムとシミュレーション環境が相互作用して、元のデータとはまったく異なるシーンを作成できます
以上がNeRFと自動運転の過去と現在、10本近くの論文をまとめました!の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。