高光沢反射ターミネーター? Google NeRF-Casting: レイ トレーシングならそれができます!

NeRF は、鏡面反射に近いものを「恐れません」

以前の NeRF バリアントは、多層パーセプトロン (MLP) を使用して 3D 座標から体積密度および視点依存の色にマッピングしましたが、詳細な 3D ジオメトリと色を表現していました。 MLP はトレーニングと評価に非常に時間がかかります。最近の研究は、大規模な MLP をボクセル グリッドのようなデータ構造、またはグリッドと小規模な MLP の組み合わせに置き換えることによって、NeRF をより効率的にすることに焦点を当てています。詳細な大規模シーンを表現できるように拡張可能ですが、その利点 は 3D ジオメトリと主に拡散カラー に限定されています。

現実的な視点依存の外観をモデル化する NeRF の機能を拡張することは依然として課題です。光沢のあるオブジェクト ビュー合成用の現在の最先端のモデルには、2 つの点で制限があります。1 つは、遠くの環境照明の正確な反射のみを合成できること、もう 1 つは、近くのシーンのコンテンツのリアルな反射をレンダリングするパフォーマンスが低いことです。 大規模な MLP に依存して任意の点での視点依存の出射放射を表現すると、詳細な反射を伴うより大きな現実的なシーンに拡張するのは困難です。

• NeRF-Casting は、NeRF レンダリング モデルにレイ トレーシングを導入することでこれらの問題を解決する手法です。これには主に 3 つの領域が含まれます:

反射モデリング

: 従来の反射モデリング手法では、物理法則と画像ベースの技術を使用して表面の反射特性を表現します。近年、ニューラル ネットワークは、特に複雑な素材や照明条件下での反射特性を学習するために使用されています。

• レイ トレーシング: レイ トレーシングは、物体表面と光の相互作用をシミュレートすることでリアルな画像を生成する、広く使用されているコンピューター グラフィックス技術です。レイ トレーシング技術は、高品質の反射効果と屈折効果を生成するために使用されてきましたが、計算が非常に複雑になります。
• 3D イメージング: 3D イメージング テクノロジーには、マルチビュー データから 3 次元表現を生成することが含まれます。 NeRF およびその他のニューラル ネットワーク手法は、シーンの 3D ジオメトリとカラー分布を学習して新しいビューを生成することにより、3D イメージングの分野で大きな進歩を遂げました。
視点依存の外観を取得するために各カメラ光線のポイントで高価な MLP をクエリする代わりに、NeRF-Casting はこれらのポイントから反射線を NeRF ジオメトリにキャストし、シーン内で正しくアンチエイリアシングされた反射をサンプリングします。コンテンツの特徴を解析し、小さな MLP を使用してこれらの特徴を反射色にデコードします。回復した NeRF に光線をキャストすると、近くと遠くの内部コンテンツの一貫した反射が自然に合成されます。レイ トレーシングによる外観の計算により、シーン内のあらゆる点で大規模な MLP を使用して非常に詳細な視点関連の機能を表現する負担が軽減されます。

興味のある友達はビデオエフェクトを見ることができます: https://nerf-casting.github.io

モデルの詳細

NeRF-Casting の

3 つの主な目標:

計算量に頼らずに実行したい大規模な MLP 評価を行わずに、正確で詳細な反射をモデル化します。 反射光を少なくしたい。

これらの反射光線の各点での表現を調べるために必要な計算量を最小限に抑えたいと考えています。
• Zip-NeRF[2] に基づく: 3D 特徴を保存するためにマルチスケール ハッシュ グリッドを利用し、これらの特徴を密度にデコードするために小さな MLP (1 層、幅 64)、より大きな MLP (3 層、幅 256) ) これらの特徴を色にデコードします。これは、光線に沿ってサンプルの密度と特性をクエリするのが比較的安価であることを意味します。これらの制約を考慮して、次のプロセスに従って鏡面反射の外観をレンダリングします:
• 各カメラ レイに沿ったボリューム密度をクエリして、レイの予想される終点とサーフェス法線を計算します。

希望の終点を通って反射方向に反射円錐を投影します。

小さな MLP を使用して、蓄積された反射特徴を他のサンプリング量 (拡散カラー特徴や各サンプルのブレンド重みなど) と組み合わせて、光線に沿った各サンプルのカラー値を生成します。
• これらのサンプルと密度をアルファ合成して、最終的な色を取得します。

反射円錐トレース

次に、初期光線を表面法線の周りに反射させて、新しい反射光の方向を構築します

円錐反射特性

反射光線をカバーする vMF 分布が定義されたので、目標は、vMF 分布上で予想されるボリューム レンダリング特性を推定し、デコードすることです。反射色に。この期待される機能は次のように記述できます:

モンテカルロ法を使用したランダムにサンプリングされたレイの積分推定は、各サンプルがレイに沿ったボリューム レンダリングを必要とするため、非常にコストがかかります。 Zip-NeRF からインスピレーションを得たこの積分は、特徴の減算と組み合わせた代表的なサンプルの小さなセットを使用して近似されます。ただし、Zip-NeRF とは異なり、両方の操作を 3 次元ユークリッド空間ではなく 2 次元方向ドメインで実行します。

指向性サンプリング

反射特徴量のダウンウェイト

上で説明した指向性サンプリングは、平均化するための小さな代表的な光線のセットを選択するのに役立ちます。ただし、粗度の高い表面の場合、サンプリングされた光線は、下にある 3D グリッド セルに対して大きく離れている可能性があります。これは、式 9 の特徴がアーチファクトの影響を受ける可能性があり、反射光線の方向の小さな変化が外観に大きな変化を引き起こす可能性があることを意味します。

これを防ぐには、Zip-NeRF の「機能ダウンウェイト」テクノロジーを方向設定に調整します。これは、vMF コーンに比べて小さいボクセルに対応する特徴に小さな乗​​数を乗じることによって実現され、レンダリングされたカラーへの影響を軽減します。 Zip-NeRF アプローチに従って、ポイントで重みを軽減した特徴を定義します。サンプリング ポイントには、2 つの色成分の凸組み合わせを使用して色が割り当てられます。

最初の色成分 Cv は、典型的な NeRF ビュー依存の色成分と似ています。外観モデル:

2 番目のコンポーネント Cr は、光沢のある外観をシミュレートすることを目的としており、次のように計算されます:

幾何学的表現と正則化

効果の感謝

要約すると

NeRF-Casting は、Neural Radiation Field (NeRF) を使用してハイライト オブジェクトを含むシーンをレンダリングする方法です。

方法: 反射コーンはシーン内のサーフェスで反​​射され、NeRF を介して追跡され、これらの反射をアンチエイリアスする一連の新しい技術と組み合わせて、遠方および近方の両方のコンテンツの正確に詳細な反射の合成を可能にします。反射はサーフェス上で一貫してスムーズに移動します。

ディスカッション: 特に詳細な鏡面反射を示す滑らかな表面の場合、既存のビュー合成技術よりも定量的に優れています。視覚的な質的な向上は、画像指標の量的な向上よりもはるかに重要です。特に注目すべきは、この方法によって合成された反射の滑らかで一貫した動きであり、ベースライン方法によって提示されるビュー依存の外観よりも現実的です。 これは、標準の画像誤差指標 (PSNR、SSIM など) がビュー依存の外観の品質を評価するには不十分であることを示しています。

以上が高光沢反射ターミネーター? Google NeRF-Casting: レイ トレーシングならそれができます!の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。