고광택 반사 터미네이터? Google NeRF-Casting: 광선 추적이 가능합니다!

NeRF는 더 이상 정반사에 가까운 것을 "두려워하지" 않습니다.

초기 NeRF 변종은 다층 퍼셉트론(MLP)을 사용하여 3D 좌표에서 볼륨 밀도 및 시점 의존 색상으로 매핑했지만 상세한 3D 기하학과 색상을 표현했습니다. MLP는 훈련하고 평가하는 데 매우 느립니다. 최근 연구에서는 대규모 MLP를 복셀 그리드형 데이터 구조 또는 그리드와 소규모 MLP의 조합으로 대체하여 NeRF를 보다 효율적으로 만드는 데 중점을 두었습니다. 상세한 대규모 장면을 표현할 수 있도록 확장 가능하지만 장점 은 3D 형상 및 주로 분산 색상 으로 제한됩니다.

현실적인 시점 의존적 외관을 모델링하는 NeRF의 능력을 확장하는 것은 여전히 ​​어려운 일입니다. 반짝이는 객체 뷰 합성을 위한 현재 최첨단 모델은 두 가지 방식으로 제한됩니다. 즉, 원거리 주변 조명의 정확한 반사만 합성할 수 있고 가까운 장면 콘텐츠의 사실적인 반사를 렌더링하는 데 성능이 좋지 않습니다. 어느 지점에서든 시점에 따라 나가는 방사선을 표현하기 위해 대형 MLP에 의존하는 것은 세부적인 반사를 통해 더 크고 사실적인 장면으로 확장하기 어렵습니다.

• NeRF-Casting은 NeRF 렌더링 모델에 광선 추적을 도입하여 이러한 문제를 해결하는 방법입니다. 주로 3가지 영역이 포함됩니다:

반사 모델링

: 전통적인 반사 모델링 방법은 물리적 법칙과 이미지 기반 기술을 사용하여 표면 반사 속성을 나타냅니다. 최근에는 특히 복잡한 재료와 조명 조건에서 반사 특성을 학습하기 위해 신경망이 사용되었습니다.

• Ray Tracing: Ray Tracing은 빛과 물체 표면의 상호 작용을 시뮬레이션하여 사실적인 이미지를 생성하는 널리 사용되는 컴퓨터 그래픽 기술입니다. 광선 추적 기술은 고품질 반사 및 굴절 효과를 생성하는 데 사용되었지만 계산 복잡도가 높습니다.
• 3D 이미징: 3D 이미징 기술에는 다중 뷰 데이터에서 3차원 표현을 생성하는 작업이 포함됩니다. NeRF 및 기타 신경망 방법은 장면의 3D 기하학과 색상 분포를 학습하여 새로운 뷰를 생성함으로써 3D 이미징 분야에서 상당한 발전을 이루었습니다.
시점 의존적 외관을 얻기 위해 각 카메라 광선의 지점에서 값비싼 MLP를 쿼리하는 대신 NeRF-Casting은 이러한 지점에서 반사선을 NeRF 기하학으로 캐스팅하여 장면 내에서 앤티앨리어싱된 반사를 올바르게 샘플링합니다. 콘텐츠 기능을 사용하고 작은 MLP를 사용하여 이러한 기능을 반사 색상으로 디코딩합니다. 복구된 NeRF에 광선을 투사하면 자연적으로 가깝고 먼 내부 콘텐츠의 일관된 반사가 합성됩니다. 레이 트레이싱을 통한 외관 컴퓨팅은 장면의 모든 지점에서 대규모 MLP를 사용하여 매우 상세한 시점 관련 기능을 표현해야 하는 부담을 줄여줍니다.

관심 있는 친구는 영상 효과를 볼 수 있습니다: https://nerf-casting.github.io

모델 세부 정보

NeRF-Casting의

세 가지 주요 목표:

계산 금액에 의존하지 않고 하시길 바랍니다 대규모 MLP 평가 없이 정확하고 상세한 반사를 모델링합니다. 반사광을 소량만 투사하고 싶습니다.

반사된 광선의 각 지점에서 표현을 찾는 데 필요한 계산량을 최소화하고 싶습니다.
• Zip-NeRF[2] 기반: 다중 스케일 해시 그리드를 활용하여 3D 특징을 저장하고, 이러한 특징을 밀도로 디코딩하기 위한 작은 MLP(1 레이어, 너비 64), 더 큰 MLP(3 레이어, 너비 256) ) 이러한 특징을 색상으로 디코딩합니다. 이는 광선을 따라 샘플의 밀도와 특성을 쿼리하는 것이 상대적으로 저렴하다는 것을 의미합니다. 이러한 제약 조건이 주어지면 반사 모양을 렌더링하기 위해 다음 프로세스를 따릅니다.
• 각 카메라 광선을 따라 볼륨 밀도를 쿼리하여 광선의 예상 끝점과 표면 법선을 계산합니다.

반사 방향으로 원하는 끝점을 통해 반사 원뿔을 투사합니다.

작은 MLP를 사용하여 누적된 반사 기능을 다른 샘플링 수량(예: 확산 색상 기능 및 각 샘플의 혼합 가중치)과 결합하여 광선을 따라 각 샘플에 대한 색상 값을 생성합니다.
• Alpha는 이러한 샘플과 밀도를 합성하여 최종 색상을 얻습니다.

Reflection Cone Tracing

그런 다음 표면 법선에 대한 초기 광선을 반사하여 새로운 반사광 방향을 구성합니다

원추형 반사 특성

이제 반사 광선을 포함하는 vMF 분포가 정의되었으므로 목표는 vMF 분포에서 예상되는 볼륨 렌더링 특성을 추정한 다음 디코딩하는 것입니다. 반사된 색상으로. 예상되는 기능은 다음과 같이 작성할 수 있습니다.

Monte Carlo 방법을 사용하여 무작위로 샘플링된 광선에 대한 적분 추정은 각 샘플이 광선을 따라 볼륨 렌더링을 필요로 하기 때문에 비용이 많이 듭니다. Zip-NeRF에서 영감을 받은 이 적분은 특징 빼기와 결합된 작은 대표 샘플 세트를 사용하여 근사화됩니다. 그러나 Zip-NeRF와 달리 3차원 유클리드 공간이 아닌 2차원 방향 영역에서 두 작업을 모두 수행합니다.

방향 샘플링

반사 기능 가중치 축소

위에 설명된 방향 샘플링은 평균화를 위해 작은 대표 광선 집합을 선택하는 데 도움이 됩니다. 그러나 거칠기가 높은 표면의 경우 샘플링된 광선은 기본 3D 그리드 셀에 비해 멀리 떨어져 있을 수 있습니다. 이는 방정식 9의 특징이 아티팩트의 영향을 받을 수 있으며 반사 광선 방향의 작은 변화로 인해 모양이 크게 변경될 수 있음을 의미합니다.

이런 일이 발생하지 않도록 하려면 Zip-NeRF의 "feature down-weighting" 기술을 방향 설정으로 조정하세요. 이는 vMF 원뿔에 비해 더 작은 복셀에 해당하는 기능에 작은 승수를 곱하여 렌더링된 색상에 미치는 영향을 줄임으로써 달성됩니다. Zip-NeRF 접근 방식에 따라 포인트에서 가중치 감소 기능을 정의합니다. 샘플링 포인트에는 두 가지 색상 구성 요소의 볼록한 조합을 사용하여 색상이 할당됩니다.

첫 번째 색상 구성 요소 Cv는 일반적인 NeRF 뷰 종속과 유사합니다. 외관 모델:

두 번째 구성 요소 Cr은 광택 있는 외관을 시뮬레이션하기 위한 것이며 다음과 같이 계산됩니다.

효과 감상

요약하자면

NeRF-Casting은 신경방사선장(NeRF)을 이용하여 하이라이트 물체가 포함된 장면을 렌더링하는 방식입니다.

Method: 반사 원뿔은 장면의 표면에서 반사되고 NeRF를 통해 추적되며 이러한 반사를 앤티앨리어싱하는 새로운 기술 세트와 결합되어 원거리 및 근거리 콘텐츠 모두에 대해 정확하고 상세한 반사를 합성할 수 있습니다. 반사는 표면 전체에서 일관되고 부드럽게 움직입니다.

토론: 특히 상세한 정반사를 보여주는 매끄러운 표면의 경우 기존 뷰 합성 기술을 양적으로 능가합니다. 질적인 시각적 개선은 이미지 지표의 양적인 개선보다 훨씬 중요합니다. 특히 주목해야 할 점은 이 방법으로 합성된 반사의 부드럽고 일관된 움직임이며, 이는 기본 방법으로 제시된 뷰 의존적 모양보다 더 사실적입니다. 이는 표준 이미지 오류 측정항목(PSNR, SSIM 등)이 뷰 종속 모양의 품질을 평가하는 데 불충분함을 보여줍니다.

위 내용은 고광택 반사 터미네이터? Google NeRF-Casting: 광선 추적이 가능합니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!