실제 비디오이든 AI 비디오이든 'Mosca'는 4D 동적 렌더링 가능한 장면을 재구성하고 복원할 수 있습니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Lei Jiahui, University of Pennsylvania 컴퓨터 과학과 박사 과정 학생(2020~현재), 그의 지도교수는 그의 현재 주요 교수인 Kostas Daniilidis입니다. 연구 방향은 4차원 동적 장면 기하학적 모델링 표현 및 응용 프로그램을 사용한 알고리즘입니다. 그는 최고의 컴퓨터 비전 및 기계 학습 컨퍼런스(CVPR, NeurIPS, ICML, ECCV)에서 첫 번째 또는 공동 저자로 7개의 기사를 발표했습니다. 그의 이전 학사 학위(2016-2020)는 절강대학교 제어학과와 Zhu Kezhen College 혼합 수업을 졸업하고 전공에서 1등을 했습니다.

임의의 단안 비디오에서 렌더링 가능한 동적 장면을 재구성하는 것은 컴퓨터 비전 연구의 성배입니다. 이 논문에서 펜실베니아 대학과 스탠포드 대학의 연구진은 이 목표를 향해 작은 발걸음을 내디뎠습니다.

인터넷에는 물리적 세계에 대한 많은 양의 정보가 포함된 대규모 단안 비디오가 있습니다. 그러나 3D 비전에는 미래의 3D 대형 모델 모델링 및 동적 이해를 지원하기 위해 이러한 비디오에서 3D 동적 정보를 추출하는 효과적인 수단이 여전히 부족합니다. 물리적 세계. 중요하기는 하지만 이 역 문제는 매우 어렵습니다.

• 첫째, 실제 2D 영상은 다시점 정보가 부족한 경우가 많기 때문에 3D 재구성에 다시점 기하학을 사용할 수 없는 경우가 많아 기존 소프트웨어로는 카메라 포즈와 내부 매개변수를 해결하는 것조차 불가능합니다( COLMAP 등).

• 둘째, 역동적인 장면의 자유도가 극도로 높으며, 그 변형에 대한 4차원 표현과 장기적인 정보 융합이 아직 미성숙하여 이 어려운 역문제를 더욱 복잡하게 만듭니다.

이 기사에서는 추가 정보 없이 일련의 비디오 프레임 사진만 제공하면 되고 SORA에서 비디오, 영화 및 TV 시리즈 클립을 생성하고 렌더링 가능한 동적을 재구성할 수 있는 새로운 신경 정보 처리 시스템인 MoSca를 제안합니다. , 인터넷 비디오 및 공개 데이터 세트의 단안 야생 비디오 장면.

• ArXiv 주소: https://arxiv.org/pdf/2405.17421
• 코드(가까운 미래에 오픈 소스로 제공될 예정): www.github.com/JiahuiLei/MoSca
• 프로젝트 웹사이트: www.cis.upenn.edu/~leijh/projects/mosca/
• 비디오(bilibili): www.bilibili.com/video/BV1uU411o75P/?vd_source=177d8c87be5e898a43e8937dbef9bed4

다음은 두 개의 비디오 데모입니다.

방법 개요

위의 어려움을 극복하기 위해 Mosca는 먼저 컴퓨터 비전 기반 모델에 저장된 강력한 사전 지식을 활용하여 문제 해결 공간을 줄였습니다.

구체적으로 Mosca는 단안 메트릭 깊이 추정(mono metric-뎁스) 모델 UniDepth, 비디오 임의 지점 장기 추적(track any point) 모델 CoTracker, 광학 흐름 추정(optical flow)을 사용합니다. 모델 RAFT에 의해 계산된 기하학적 오류(에피폴라 오류)와 사전 훈련된 의미 모델 DINO-v2가 제공하는 의미 기능입니다. 자세한 내용은 논문의 3.1장을 참조하세요. 대부분의 실제 동적 변형은 본질적으로 작고 희박하며 그 복잡성은 실제 기하학적 구조보다 훨씬 낮습니다. 예를 들어, 단단한 물체의 움직임은 회전과 병진운동으로 표현될 수 있고, 사람의 움직임은 여러 관절의 회전과 병진운동으로 대략적으로 근사화될 수 있습니다.

이 관찰을 바탕으로 이 기사에서는 위의 초석 모델 출력을 2차원에서 4차원으로 업그레이드하고 융합하는 동시에 물리 영감 변형 정규화(ARAP)를 통합하는

새로운 컴팩트 동적 장면 표현인 4D 모션 스캐폴드

를 제안합니다. .

4차원 모션 스캐폴드는 그래프입니다. 그래프의 각 노드는 강체 모션(SE(3)) 궤적의 문자열입니다. 그래프의 토폴로지는 강체 사이의 거리를 고려하여 구성된 가장 가까운 이웃 가장자리입니다. 전역적으로 모션 궤적 곡선. 공간 내 임의 지점에서의 변형은 듀얼 쿼터니언을 사용하여 시공간에서 보간된 그래프에서 노드의 강체 궤적을 평활화하여 표현할 수 있습니다. 이 표현은 해결해야 하는 모션 매개변수를 크게 단순화합니다. (자세한 내용은 논문의 3.2장을 참조하세요.)

4차원 모션 스캐폴드의 또 다른 큰 장점은 단안 깊이 및 비디오 2차원 점 추적을 통해 직접 초기화할 수 있으며, 이후 알려지지 않은 교합점 위치 및 로컬 좌표계 방향을 효율적으로 해결할 수 있다는 것입니다. 물리적 정규 기간 최적화. 자세한 내용은 논문 3.3장을 참조하세요.

4차원 모션 스캐폴딩을 사용하면 언제든지 원하는 지점을 원하는 목표 시간으로 변형할 수 있어 관측 정보를 전역적으로 융합할 수 있습니다. 구체적으로, 비디오의 각 프레임은 추정된 깊이 맵을 사용하여 3차원 공간으로 역투영되고 3차원 가우스(3DGS)로 초기화될 수 있습니다. 이러한 가우스는 4차원 모션 비계에 "결합"되어 언제든지 자유롭게 이동할 수 있습니다. 특정 순간의 장면을 렌더링하려면 융합을 위한 4차원 스캐폴딩을 통해 다른 모든 전역 순간의 가우시안을 현재 순간으로 전송하기만 하면 됩니다. 4차원 모션 스캐폴딩과 가우시안을 기반으로 한 이 동적 장면 표현은 가우시안 렌더러를 통해 효율적으로 최적화될 수 있습니다(자세한 내용은 해당 논문의 3.4장 참조).

마지막으로 Mosca는 카메라의 내부 및 외부 매개변수가 필요하지 않은 시스템이라는 점을 언급할 가치가 있습니다. Mosca는 위에서 언급한 Cornerstone 모델의 에피폴라 기하학 오류 출력을 사용하여 정적 배경 마스크를 결정하고, Cornerstone 모델의 깊이 및 점 추적 출력을 사용하여 재투영 오류를 효율적으로 최적화하고 전역 번들 조정을 해결하여 직접 출력할 수 있습니다. 카메라 내부 매개변수 및 포즈, 후속 렌더링을 통해 카메라를 계속 최적화합니다(자세한 내용은 해당 논문의 3.5장 참조).

실험 결과

Mosca는 DAVIS 데이터 세트 비디오의 동적 장면을 재구성할 수 있습니다. Mosca가 여러 가우스 기반 렌더러를 유연하게 지원한다는 점은 주목할 가치가 있습니다. 기본 3DGS 렌더러 외에도 이 기사에서는 최근 Gaussian 표면 재구성 렌더러 GOF(Gaussian Opacity Field)도 테스트했습니다. 그림의 가장 오른쪽 열차에서 볼 수 있듯이 GOF는 더 높은 품질의 일반 및 깊이를 렌더링할 수 있습니다.

Moska는 까다로운 iPhone DyCheck 데이터 세트에서 상당한 개선을 달성하는 동시에 널리 비교 가능한 Nvidia 데이터 세트에 대한 다른 방법도 비교합니다.

위 내용은 실제 비디오이든 AI 비디오이든 'Mosca'는 4D 동적 렌더링 가능한 장면을 재구성하고 복원할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!