신기술 Repaint123: 단 2분 만에 고품질 단일 뷰 3D를 효율적으로 생성!

이미지를 3D로 변환하는 방법은 일반적으로 SDS(Score Distillation Sampling)를 사용합니다. 결과는 인상적이지만 다중 뷰 불일치, 과도한 채도 및 지나치게 부드러운 질감을 포함하여 여전히 몇 가지 단점이 있습니다. 느린 생성 속도와 같은 문제로.
이러한 문제를 해결하기 위해 북경 대학교, 싱가포르 국립 대학교, 우한 대학교 및 기타 기관의 연구원들은 다시점 편견, 텍스처 저하를 완화하고 생성 프로세스를 가속화하기 위해 Repaint123을 제안했습니다.

문서 주소: https://arxiv.org/pdf/2312.13271.pdf

GitHub: https://github.com/PKU-YuanGroup/repaint123

프로젝트 주소: https ://pku-yuangroup.github.io/repaint123/

핵심 아이디어는 2D 확산 모델의 이미지 생성 기능과 텍스처 정렬 기능을 결합하여 고품질 멀티뷰 이미지를 생성하는 것입니다.

저자는 생성된 이미지의 품질을 향상시키기 위해 가시성 인식 적응형 다시 그리기 강도를 추가로 제안합니다.

생성된 고품질의 일관된 다중 뷰 이미지는 단순 평균 제곱 오차(MSE) 손실을 사용하여 빠른 3D 콘텐츠 생성을 가능하게 합니다.

저자는 Repaint123이 멀티뷰 일관성과 미세한 질감을 갖춘 고품질 3D 콘텐츠를 2분 만에 생성할 수 있음을 실험적으로 입증했습니다.

기사의 주요 기여는 다음과 같습니다.

1. Repaint123은 제어 가능한 이미지 다시 그리기 프로세스를 3D 생성으로 종합적으로 고려하고 다양한 관점에서 일관된 고품질 이미지 시퀀스를 생성할 수 있습니다.

2. Repaint123은 거친 모델 단계에서 Zero123을 3D 사전 및 SDS 손실로 사용하여 Gaussian Splatter 기하학을 빠르게 최적화했습니다(1분). 확산은 2D 사전에 사용되었으며 MSE 손실은 메시 텍스처를 빠르게 개선합니다(1분).

3. 단 2분 만에 단일 이미지에서 2D 생성 품질에 맞는 3D 콘텐츠를 생성할 수 있는 Repaint123 방식의 효과가 광범위한 실험을 통해 검증되었습니다.

그림 1: 종이 동기 부여: 빠르고 일관적인 고품질 단일 뷰 3D 생성

구체적인 방법:

Repaint123 주요 개선 사항은 두 가지를 포함하는 메쉬 구체화 단계에 중점을 둡니다. 부품: 다양한 관점에서 일관된 고품질 이미지 시퀀스 생성과 빠른 고품질 3D 재구성.

대략적인 모델 단계에서 저자는 3D 표현으로 3D Gaussian Splatting을 사용하고 SDS 손실을 통해 대략적인 모델의 형상과 질감을 최적화합니다.

정화 단계에서 저자는 거친 모델을 메쉬 표현으로 변환하고 점진적이고 제어 가능한 텍스처 개선 다시 그리기 방식을 제안합니다.

먼저 저자는 참조 이미지의 기하학적 제어 및 안내를 통해 이전에 최적화된 뷰를 기준으로 보이지 않는 영역을 점진적으로 다시 그려서 새로운 뷰의 뷰 일치 이미지를 얻습니다.

그런 다음 저자는 분류자 없는 지침을 위한 이미지 단서를 채택하고 적응형 다시 그리기 전략을 설계하여 겹치는 영역의 생성 품질을 더욱 향상시킵니다.

마지막으로, 뷰가 일관된 고품질 이미지를 생성함으로써 저자는 간단한 MSE 손실을 활용하여 3D 콘텐츠를 빠르게 생성합니다.

다중 일관 고품질 이미지 시퀀스 생성:

그림 2에서 볼 수 있듯이 다시 일관 고품질 이미지 시퀀스 생성은 다음 네 부분으로 나뉩니다.

그림 2: 다양한 관점에서 본 일관된 이미지 생성 과정

DDIM Inversion

러프 모델 단계에서 생성된 3D 일관된 저주파 텍스처 정보를 보존하기 위해 저자는 DDIM Inversion을 사용하여 이미지를 반전시킵니다. 후속 노이즈 제거를 위해 특정 잠재성을 기반으로 충실하고 일관된 이미지를 생성합니다.

제어 가능한 노이즈 제거

기하학적 일관성과 장거리 텍스처를 제어하기 위해 저자는 노이즈 제거 단계에서 ControlNet을 사용하여 거친 모델 렌더링의 깊이 맵을 기하학적 사전 요소로 도입하고 텍스처에 대한 참조 이미지의 Attention 기능을 주입합니다. 이주.

동시에 이미지 품질을 향상시키기 위한 분류자 없는 안내를 수행하기 위해 논문에서는 CLIP을 사용하여 참조 이미지를 이미지 프롬프트 노이즈 제거 네트워크로 인코딩합니다.

Obtain Occlusion Mask

렌더링된 이미지 In의 새로운 뷰와 깊이 맵 Dn에서 Occlusion Mask Mn을 얻기 위해 Ir과 Dr의 다시 그리기 참조 뷰 Vr을 고려하여 저자는 먼저 , 깊이 Dr를 사용하여 Vr에서 3D 포인트 클라우드로 2D 픽셀을 스케일링한 다음 새로운 관점 Vn에서 3D 포인트 클라우드 Pr을 렌더링하면 깊이 맵 Dn'이 획득됩니다.

저자는 두 개의 참신한 뷰 깊이 맵(Dn 및 Dn') 사이에서 깊이 값이 다른 영역을 폐색 마스크의 폐색 영역으로 간주합니다.

가려진 부분과 겹치는 부분을 모두 점진적으로 다시 그리기

이미지 시퀀스와 인접한 이미지의 겹치는 영역이 픽셀 수준에서 정렬되도록 하기 위해 저자는 겹치는 부분을 유지하면서 점진적인 로컬 다시 그리기 전략을 사용합니다. 변경되지 않은 영역 조화로운 인접 영역 등을 생성하여 참조 관점에서 360°까지 생성합니다.

그러나 저자는 그림 3에서 볼 수 있듯이 이전에 사시가 있었던 영역의 시각적 해상도는 직접 바라볼 때 커지기 때문에 겹치는 영역도 다듬어야 함을 발견했으며 더 많은 고주파 정보를 추가해야 합니다. .

품질을 향상시키면서 충실도를 보장하기 위한 적절한 세선화 강도를 선택하기 위해 저자는 투영 정리와 이미지 초해상도 아이디어를 활용하여 간단하고 직접적인 가시성 인식 다시 그리기 전략을 제안합니다. 세분화 강도는 1-cosθ*(여기서 θ*는 모든 이전 카메라 각도와 보이는 표면의 법선 벡터 사이의 최대 각도)와 동일하므로 겹치는 영역을 적응적으로 다시 그립니다.

그림 3: 카메라 각도와 박화 강도의 관계

빠른 고품질 3D 재구성:

그림 4에서 볼 수 있듯이 저자는 먼저 2단계 방법을 채택합니다. Gaussian Splatting 표현을 사용하여 합리적인 기하학적 구조와 거친 텍스처를 신속하게 생성하는 동시에 위에서 생성된 일관된 고품질 이미지 시퀀스를 여러 관점에서 사용하여 저자는 신속한 3D 텍스처 재구성을 위해 간단한 MSE 손실을 사용할 수 있었습니다.

그림 4: Repaint123 2단계 단일 뷰 3D 생성 프레임워크

실험 결과

저자는 여러 단일 뷰 생성 작업 방법을 비교하고 RealFusion15 및 Test-alpha 데이터 세트에서 일관성을 달성했습니다. 품질 및 속도 측면에서 가장 진보된 효과.

싱글뷰 3D 생성의 시각적 비교

싱글뷰 3D 생성의 정량적 비교

절제 실험

동시에 , 저자는 또한 각 모듈의 효율성과 시야각 회전 증가가 제거된 실험을 사용했습니다.

위 내용은 신기술 Repaint123: 단 2분 만에 고품질 단일 뷰 3D를 효율적으로 생성!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!