シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

現在、3D 画像再構成作業では通常、一定の自然光条件下で対象シーンを複数の視点 (マルチビュー) から捉える多視点ステレオ再構成手法 (Multi-view Stereo) が使用されています。ただし、これらの方法は通常、ランバート曲面を前提としており、高周波の詳細を復元するのが困難です。

シーン再構成のもう 1 つの方法は、固定視点で異なる点光源からキャプチャされた画像を利用することです。たとえば、フォトメトリック ステレオ法では、この設定を採用し、そのシェーディング情報を使用して、非ランバーシアン オブジェクトの表面の詳細を再構成します。ただし、既存のシングルビュー手法は通常、可視表面を表現するために法線マップまたは深度マップを使用するため、オブジェクトの裏側や遮蔽された領域を記述することができず、2.5D シーン ジオメトリのみを再構築できます。さらに、法線マップは深度の不連続性を処理できません。

最近の研究では、香港大学、香港中文大学 (深セン)、南洋理工大学、MIT-IBM Watson AI Lab の研究者が、次の方法を提案しました。単一のビュー マルチライト (シングルビュー、マルチライト) イメージを使用して、完全な 3D シーンを再構築します。

• 論文リンク: https://arxiv.org/abs/2210.08936
• ペーパーホームページ: https://ywq.github.io/s3nerf/
• コードリンク: https://github.com/ywq/s3nerf

法線マップや深度マップに基づく既存の単一ビューのアプローチとは異なり、## 3-NeRF はニューラル シーン表現に基づいており、シーン内のシェーディングとシャドウ情報を使用して 3D シーン全体 (可視/不可視領域を含む) を再構築します。ニューラル シーン表現方法では、多層パーセプトロン (MLP) を使用して連続 3D 空間をモデル化し、3D ポイントを密度、色などのシーン属性にマッピングします。ニューラル シーン表現は、マルチビューの再構築と新しいビューの合成において大幅な進歩を遂げましたが、シングルビュー シーン モデリングではあまり研究されていません。マルチビューの写真の一貫性に依存する既存のニューラル シーン表現ベースの手法とは異なり、S3-NeRF は主に、単一ビューの下でシェーディングとシャドウ情報を利用することで神経野を最適化します。

光源の位置情報を入力として NeRF に直接導入するだけでは、シーンのジオメトリと外観を再構成できないことがわかりました。キャプチャされたフォトメトリック ステレオ イメージをより有効に活用するために、反射フィールドを使用して表面ジオメトリと BRDF を明示的にモデル化し、物理ベースのレンダリングを使用して、ステレオ レンダリングによって取得されるシーンの 3D ポイントの色を計算します。光線に対応する 2 次元ピクセル。同時に、シーンの可視性の微分可能なモデリングを実行し、3D ポイントと光源の間の光線を追跡することによってポイントの可視性を計算します。ただし、レイ上のすべてのサンプル ポイントの可視性を考慮すると計算コストがかかるため、レイ トレーシングによって取得された表面ポイントの可視性を計算することによってシャドウ モデリングを最適化します。

ニューラル反射フィールドに基づくシーン表現

UNISURF と同様の占有フィールドを使用してシーン ジオメトリを表現します。 UNISURF は、MLP を通じて 3D ポイント座標と視線方向をポイントの占有値と色にマッピングし、ステレオ レンダリングを通じてピクセルの色を取得します。

N

v# は、各レイのサンプリング ポイントの数です。

フォトメトリック ステレオ イメージのシェーディング情報を効果的に利用するために、S

3-NeRF はシーンの BRDF を明示的にモデル化し、物理ベースのレンダリング カラーを使用します。 3D ポイント。同時に、画像内の豊かな影の手がかりを活用するためにシーン内の 3D ポイントの光の可視性をモデル化し、次の式を通じて最終的なピクセル値を取得します。

物理ベースのレンダリング モデル

私たちのアプローチでは、非ランバート曲面と空間的に変化する BRDF を考慮しています。近視野点光源(pl, Le)下で視線方向dから観測した点xの値は

#と表せます。 #ここで、点光源の光減衰問題については、点に入射する光の強度は、光源と点の間の距離によって計算されます。拡散反射と鏡面反射を考慮した BRDF モデルを使用します。

球ガウス基底の重み付けされた組み合わせを通じて鏡面反射率を表します

シャドウ モデリング

シャドウは、シーン ジオメトリの再構築における重要な手がかりの 1 つです。写真にある 3 つのオブジェクトは、正面から見ると同じ形状と外観をしていますが、背面の形状が異なります。異なる照明の下で生成される影を通して、影の形状が異なることが観察できます。これは、正面図の目に見えない領域の幾何学的情報を反映しています。光は、背景に反射する影を通して、オブジェクトの背面輪郭に特定の制約を作成します。

#3D ポイントと光源の間の占有値を計算することで、ポイントの光の可視性を反映します

このうち、N_L は点光源線分上でサンプリングされた点の数です。 。

すべての N_v 点の可視性を計算するには多大なコストがかかるため、光線に沿ったピクセル ポイントによってサンプリングされます (O (N#) ##vNL))、一部の既存のメソッドは MLP を使用してポイントの可視性を直接返します (O (N#) ##v _{))、またはシーン ジオメトリを取得した後にサーフェス ポイントを事前抽出します (O (N}L_{))。 S}3-NeRF は、ルート探索によって特定された表面点を通じてピクセルの光の可視度をオンラインで計算し、ピクセル値を次の式で表します。

シーンの最適化

私たちの方法は影の監視を必要とせず、画像に依存します。最適化のための再構成損失。単一のパースペクティブに他のパースペクティブによってもたらされる追加の制約がないことを考慮すると、UNISURF のようなサンプリング戦略を採用してサンプリング範囲を徐々に縮小すると、サンプリング間隔が短縮された後にモデルの劣化が始まります。したがって、ジョイントステレオレンダリングとサーフェスレンダリングの戦略を採用し、ルートファインディングを使用して色をレンダリングし、L1損失を計算するサーフェスポイントを見つけます。

実験結果

神経放射線場法との比較

まず、神経放射線場に基づく 2 つのベースライン手法と比較します (タスクが異なるため、カラー MLP に光源情報を導入します)。シーンのジオメトリを再構築したり、新しい照明の下で影を正確に生成したりできないことがわかります。

単視点形状推定手法との比較

今と今単一ビューの法線/深さ推定方法の比較から、私たちの方法が法線推定と深さ推定の両方で最良の結果を達成し、シーン内の可視領域と不可視領域を同時に再構築できることがわかります。

#さまざまな背景に対するシーンの再構築

私たちの手法はさまざまな背景に適用できます。背景条件が異なるシーン。

#新しいビューのレンダリング、照明の変更、マテリアルの編集

ニューラル ベース反射フィールドのシーン モデリングでは、シーンのジオメトリ/マテリアル/照明などを分離することに成功したため、新しいビューのレンダリング、シーンの照明の変更、マテリアルの編集などのアプリケーションに適用できます。

##実際の撮影シーンの再構築

探索するために 3 つの実際のシナリオを撮影しましたその実用性。カメラの位置を固定し、携帯電話の懐中電灯を点光源として使用し（周囲光源はオフ）、手持ちの懐中電灯をランダムに動かしてさまざまな光源の下で画像を撮影しました。この設定では光源のキャリブレーションは必要ありません。SDPS‑Net を適用して光源の方向を大まかに推定し、カメラとオブジェクト、および光源とオブジェクトの相対距離を大まかに推定することで光源の位置を初期化します。光源の位置は、トレーニング中にシーンのジオメトリおよび BRDF と共同して最適化されます。よりカジュアルなデータ キャプチャ設定 (光源のキャリブレーションなし) であっても、私たちの方法は 3D シーンのジオメトリを適切に再構築できることがわかります。

#概要

S

3
• -単一のビューを使用して複数の点光源の下でキャプチャされた NeRF 画像神経反射場を最適化して、3D シーンのジオメトリとマテリアル情報を再構築します。 シェーディングとシャドウの手がかりを利用することで、S
3
• -NeRF はシーン内の可視/不可視領域のジオメトリを効果的に復元でき、次のことを実現します。単眼視点からの完全なシーン ジオメトリ/BRDF の再構築。 さまざまな実験により、私たちの方法がさまざまな複雑な形状/材料のシーンを再構成でき、さまざまな形状/材料の背景および異なる光量/光源分布に対処できることが示されています。

以上がシングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。