한 번의 클릭으로 다양한 스타일로 산과 강을 생성하고 2D 이미지에서 무제한 3D 장면을 생성하는 방법을 알아보세요.

• 프로젝트 홈페이지: https://scene-dreamer.github.io/
• 코드: https://github.com/FrozenBurning/SceneDreamer
• Paper: https //arxiv.org/abs/2302.01330
• 온라인 데모: https://huggingface.co/spaces/FrozenBurning/SceneDreamer

메타버스에서 증가하는 3D 크리에이티브 도구에 대한 수요를 충족시키기 위해 최근 3D 장면 생성에 대한 수요가 상당한 주목을 받고 있습니다. 3D 콘텐츠 제작의 핵심은 2D 관찰에서 3D 표현을 복구하는 것을 목표로 하는 역그래픽입니다. 3D 자산을 제작하는 데 필요한 비용과 노동력을 고려할 때, 3D 콘텐츠 제작의 궁극적인 목표는 인터넷에 존재하는 방대한 양의 2D 이미지로부터 3D 생성 모델을 학습하는 것입니다. 3D 인식의 생성 모델에 대한 최근 연구에서는 대부분의 작업이 2D 이미지 데이터를 활용하여 객체 중심 콘텐츠(예: 얼굴, 인체 또는 객체)를 생성하면서 이 문제를 어느 정도 해결했습니다. 그러나 이러한 유형의 생성 작업의 관찰 공간은 유한한 영역에 있으며 생성된 대상은 3차원 공간의 제한된 영역을 차지합니다. 이는 대규모 인터넷 2D 이미지에서 무한한 장면의 3D 생성 모델을 학습할 수 있는가 하는 질문을 제기합니다. 예를 들어 넓은 지역을 포괄하고 무한히 확장할 수 있는 생생한 자연 풍경이 있습니다(아래 그림 참조).

이 기사에서 난양 기술대학교 S-Lab의 연구원들은 레이블이 지정되지 않은 대규모 자연 이미지에서 무한한 3차원 장면에 대한 생성 모델을 학습하는 데 초점을 맞춘 새로운 프레임워크 SceneDreamer를 제안했습니다. 장면 노이즈와 스타일 노이즈를 샘플링함으로써 SceneDreamer는 매우 높은 3차원 일관성을 유지하면서 자연스러운 장면의 다양한 스타일을 렌더링할 수 있어 카메라가 장면에서 자유롭게 돌아다닐 수 있습니다.

이러한 목표를 달성하기 위해 우리는 다음 세 가지 과제에 직면합니다.

1) 경계가 없는 장면은 효율적인 3차원 표현이 부족합니다. 경계가 없는 장면은 종종 임의로 큰 유클리드 공간을 차지하므로 높은 효율성과 중요성이 강조됩니다. 표현력이 풍부한 기본 3차원 표현.

2) 콘텐츠 정렬 부족: 기존 3D 생성 작업은 정렬된 속성(예: 얼굴, 인체, 공통 개체 등)이 있는 데이터 세트를 사용합니다. 이러한 제한된 장면의 대상 개체는 일반적으로 유사한 의미, 유사한 규모 위치를 갖습니다. 그리고 오리엔테이션. 그러나 레이블이 지정되지 않은 대규모 2D 이미지에서는 서로 다른 객체나 장면이 의미론이 매우 다르며 크기, 위치 및 방향이 가변적인 경우가 많습니다. 이러한 정렬 부족으로 인해 생성 모델 학습이 불안정해질 수 있습니다.

3) 카메라 포즈 사전 부족: 3D 생성 모델은 정확한 카메라 포즈 또는 카메라 포즈 분포의 사전에 의존하여 이미지에서 3D 표현으로의 역 렌더링 프로세스를 구현합니다. 그러나 인터넷의 자연스러운 이미지는 다양한 장면과 이미지 소스에서 나오므로 카메라 포즈에 대한 정확한 정보나 사전 정보를 얻는 것이 불가능합니다.

이를 위해 우리는 레이블이 지정되지 않은 대규모 자연 이미지에서 무한한 3차원 장면을 생성하는 방법을 학습하는 원리적 적대 학습 프레임워크 SceneDreamer를 제안합니다. 프레임워크는 1) 효율적이고 표현력이 풍부한 조감도(BEV) 3D 장면 표현, 2) 장면의 보편적인 표현을 학습하는 생성 신경 해시 그리드, 3) 스타일 기반 체적 렌더러, 학습은 적대적 학습을 통해 2차원 이미지에서 직접 수행됩니다.

위 그림은 SceneDreamer의 주요 구조를 보여줍니다. 추론 과정에서 장면 구조를 나타내는 단순 노이즈와 장면 스타일을 나타내는 가우시안 노이즈를 입력으로 무작위로 샘플링할 수 있으며, 모델의 자유로운 움직임을 지원하면서 대규모 3차원 장면을 렌더링할 수 있습니다. 카메라. 먼저 장면 노이즈로부터 높이 맵과 의미 맵으로 구성된 BEV 장면 표현을 얻습니다. 그런 다음 BEV 표현을 활용하여 로컬 3D 장면 창을 명시적으로 구성하여 카메라 샘플링을 수행하는 동시에 BEV 표현을 장면 기능으로 인코딩합니다. 우리는 샘플링 포인트와 장면 특징의 좌표 를 사용하여 생성 신경 해싱 그리드로 인코딩된 고차원 공간을 쿼리하여 공간 차이와 장면 차이의 잠재 변수를 얻습니다. 마지막으로 스타일 노이즈로 변조된 볼륨 렌더러를 통해 카메라 조명의 잠재 변수를 통합하고 최종적으로 렌더링된 2D 이미지를 얻습니다. 경계 없는 3D 장면 생성을 배우기 위해서는 장면이 효율적이고 고품질로 표현되어야 합니다. Semantic Map과 Height Map으로 구성된 BEV 표현을 이용하여 대규모 3차원 장면 표현을 제안한다. 구체적으로, 비모수적 맵 구축 방법을 통해 장면 노이즈로부터 조감도로부터 높이 맵과 의미 맵을 획득한다. 하이트 맵은 장면 표면 지점의 높이 정보를 기록하고, 의미 맵은 해당 지점의 의미 라벨을 기록합니다. 의미론적 맵과 높이 맵으로 구성된 우리가 사용하는 BEV 표현은 다음과 같은 기능을 수행할 수 있습니다. 1) n^2 복잡도로 3차원 장면을 표현합니다. 2) 3차원 지점에 해당하는 의미를 얻을 수 있습니다. 내용 정렬 문제. 3) 훈련 중 고정된 장면 해상도로 인해 발생하는 일반화 문제를 방지하면서 무한 장면을 합성하기 위한 슬라이딩 창 사용을 ​​지원합니다.

장면 간 일반화가 가능한 3차원 표현을 인코딩하기 위해서는 공간적 3차원 장면 표현을 잠재 공간으로 인코딩하여 적대적 학습 훈련을 용이하게 해야 합니다. 제한되지 않은 대규모 장면의 경우 일반적으로 표면에 보이는 점만 렌더링에 의미가 있다는 점은 주목할 가치가 있습니다. 즉, 해당 파라메트릭 형태는 작고 희박해야 합니다. 삼면 또는 3차원 컨볼루션과 같은 기존 방법은 모델 공간 전체를 포함하지만 보이지 않는 표면 점을 모델링하는 데 많은 양의 모델 용량이 낭비됩니다. 3D 재구성 작업에서 신경 해시 그리드의 성공에 영감을 받아 공간적으로 컴팩트하고 효율적인 속성을 생성 작업에 일반화하고 생성 신경 해시 그리드를 사용하여 장면 전반에 걸쳐 3D 공간 특징을 모델링하는 것을 제안합니다. 특히, 해시 함수 F_theta는 장면 특징 f_s 및 공간 점 좌표 x를 다중 스케일 혼합의 학습 가능한 매개변수에 매핑하는 데 사용됩니다.

렌더링의 3차원 일관성을 보장하기 위해 볼륨 렌더링의 렌더링 네트워크는 3차원 공간 특징을 2차원 이미지로 매핑하는 데 사용됩니다. 카메라 조명의 한 점에 대해 생성 해시 그리드를 쿼리하여 해당 특징 f_x를 얻고, 스타일 노이즈로 변조된 다층 MLP를 사용하여 해당 점의 색상과 볼륨 밀도를 얻은 다음, 마지막으로 볼륨 렌더링을 사용하여 포인트 카메라 광선의 모든 포인트가 해당 픽셀의 색상에 통합됩니다.

전체 프레임워크는 적대적 학습을 통해 2D 이미지에 대해 직접 엔드투엔드 학습됩니다. 생성기는 위에서 언급한 볼륨 렌더러이며, 판별기의 경우 의미 인식 판별 네트워크를 사용하여 BEV 표현에서 카메라에 투사된 의미 지도를 기반으로 실제 이미지와 렌더링된 이미지를 구별합니다. 자세한 내용은 당사의 논문을 참조하세요.

훈련이 완료된 후 장면 노이즈와 스타일 노이즈를 무작위로 샘플링하여 깊이 정보와 3D 일관성이 좋은 다양한 3D 장면을 생성하고 자유로운 카메라 궤적 렌더링을 지원할 수 있습니다.

슬라이딩 윈도우 추론 모드를 통해 훈련 공간 해상도를 훨씬 뛰어넘는 초대형 경계 없는 3D 장면을 생성할 수 있습니다. 아래 그림은 훈련 공간 해상도의 10배인 장면을 보여주며 장면과 스타일 차원 모두에서 부드러운 보간을 수행합니다.

유사한 보간 부드러운 전환 결과와 마찬가지로 우리 프레임워크는 분리 모드, 즉 별도로 고정된 장면 또는 잠재 공간의 의미론적 풍부함을 반영하는 보간 스타일:

우리 방법의 3차원 일관성을 확인하기 위해 원형 카메라 궤적을 사용하여 모든 장면을 렌더링하고 재사용합니다. 3D 재구성을 위한 COLMAP은 더 나은 장면 포인트 클라우드와 일치하는 카메라 포즈를 얻을 수 있으며, 이는 이 방법이 3D 일관성을 보장하면서 다양한 3D 장면을 생성할 수 있음을 보여줍니다.

이 작업은 모델인 SceneDreamer를 제안합니다. 대규모 2D 이미지에서 무한한 3D 장면을 생성하기 위한 것입니다. 3D 일관성을 유지하고 자유로운 카메라 궤적을 지원하면서 노이즈로부터 다양한 대규모 3D 장면을 합성할 수 있습니다. 이번 작업이 게임산업과 가상현실, 메타버스 생태계에 새로운 탐구 방향과 가능성을 제시할 수 있기를 기대한다. 자세한 내용은 당사 프로젝트 홈페이지를 참조하시기 바랍니다.

위 내용은 한 번의 클릭으로 다양한 스타일로 산과 강을 생성하고 2D 이미지에서 무제한 3D 장면을 생성하는 방법을 알아보세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!