게임용 고정밀, 저비용 3D 얼굴 재구성 솔루션, Tencent AI Lab ICCV 2023 논문 해석

3D 얼굴 재구성은 게임 영화 및 TV 제작, 디지털 피플, AR/VR, 얼굴 인식 및 편집 등의 분야에서 널리 사용되는 핵심 기술입니다. 단일 또는 다중 이미지에서 고품질의 3D 인물을 얻는 것이 목표입니다. 얼굴 모델. 스튜디오의 복잡한 촬영 시스템의 도움으로 현재 업계의 성숙한 솔루션은 실제 사람과 비교할 수 있는 기공 수준의 정밀도로 재구성 효과를 달성할 수 있습니다[2]. 그러나 생산 비용이 높고 사이클 시간이 길며, 일반적으로 S급 영화, TV 또는 게임 프로젝트에만 사용됩니다.

최근에는 저비용의 얼굴 재구성 기술(게임 캐릭터 얼굴 꼬집기 게임플레이, AR/VR 가상 이미지 생성 등)을 기반으로 한 인터랙티브 게임플레이가 시장에서 환영을 받고 있습니다. 사용자는 휴대폰으로 촬영한 단일 또는 다중 사진 등 매일 얻을 수 있는 사진만 입력하면 빠르게 3D 모델을 얻을 수 있습니다. 그러나 기존 방법은 영상 품질을 제어할 수 없고, 재구성 결과의 정확도가 낮으며, 얼굴의 세세한 부분까지 표현하지 못하는 문제점이 있다[3-4]. 고품질의 3D 얼굴을 저렴한 비용으로 얻는 방법은 여전히 ​​해결되지 않은 문제입니다.

얼굴 재구성의 첫 번째 단계는 얼굴 표현 방법을 정의하는 것입니다. 그러나 기존의 주류 얼굴 매개변수화 모델은 다시점 이미지와 같은 제약 정보가 많아도 표현 능력이 제한되어 있습니다. 따라서 Tencent AI Lab에서는 얼굴 사전 확률을 사용하고 가우시안 혼합 모델을 사용하여 Pi 가중치를 사용하여 매개 변수 수를 크게 줄이는 향상된 적응형 스키닝 모델(이하 ASM)을 파라메트릭 얼굴 모델로 제안했습니다. 자동으로 해결될 수 있습니다.

테스트에 따르면 ASM 방법은 훈련할 필요 없이 소수의 매개변수만 사용하므로 얼굴 표현 능력과 다시점 얼굴 재구성의 정확성이 크게 향상되어 SOTA 수준을 혁신하는 것으로 나타났습니다. 해당 논문이 ICCV-2023에 승인되었습니다. 논문에 대한 자세한 설명은 다음과 같습니다.

논문 제목: ASM: 고품질 3D 얼굴 모델링을 위한 적응형 스키닝 모델

논문 링크: https://arxiv.org/pdf/2304.09423.pdf

연구 과제: 저비용, 고비용 정확한 3D 얼굴 재구성의 문제

2D 이미지에서 더 많은 정보 내용을 포함하는 3D 모델을 얻는 것은 무한한 솔루션으로는 불확실한 문제입니다. 이를 해결 가능하게 만들기 위해 연구자들은 얼굴 사전을 재구성에 도입하여 해결 난이도를 줄이고 더 적은 매개변수로 얼굴의 3차원 형상을 표현하는 것, 즉 파라메트릭 얼굴 모델을 사용합니다. 현재 파라메트릭 얼굴 모델의 대부분은 3DMM(3D Morphable Model)을 기반으로 하며, 3DMM은 1999년 Blanz와 Vetter가 처음 제안한 파라메트릭 얼굴 모델입니다. 이 기사에서는 다양한 얼굴의 선형 또는 비선형 조합을 통해 얼굴을 얻을 수 있다고 가정합니다. 수백 개의 실제 얼굴에 대한 고정밀 3D 모델을 수집하여 얼굴 기반 라이브러리를 구축한 다음 매개변수화된 얼굴을 결합하여 새로운 특징을 표현합니다. . 얼굴 모델. 후속 연구에서는 보다 다양한 실제 얼굴 모델을 수집하고[6, 7] 차원 축소 방법을 개선하여 3DMM을 최적화했습니다[8, 9].

그러나 3DMM 얼굴형 모델은 견고성은 높지만 표현력이 부족합니다. 입력 이미지가 흐릿하거나 가려지면 평균 정확도로 얼굴 모델을 안정적으로 생성할 수 있지만, 여러 개의 고품질 이미지를 입력으로 사용하는 경우 3DMM은 표현 능력이 제한되어 더 많은 입력 정보를 활용할 수 없으므로 재구성 정확도가 제한됩니다. 이러한 한계는 첫째, 방법 자체의 한계에서 비롯됩니다. 둘째, 이 방법은 데이터 수집 비용이 높을 뿐만 아니라 실제 적용이 어렵습니다. 얼굴 데이터의 광범위한 재사용.

ASM 방식: 뼈대-피부 모델 재설계

기존 3DMM 얼굴 모델의 표현력 부족 문제를 해결하기 위해 본 글에서는 게임 업계에서 흔히 사용하는 '뼈대-피부 모델'을 소개한다. 기본 얼굴 표현 방법 . 스켈레톤 스킨 모델은 게임 및 애니메이션 제작 과정에서 게임 캐릭터의 얼굴 형태와 표정을 표현하기 위해 사용되는 일반적인 얼굴 모델링 방식이다. 가상 뼈대 포인트를 통해 사람 얼굴의 메쉬 정점에 연결됩니다. 피부 가중치는 메쉬 정점에 대한 뼈의 영향 가중치를 결정합니다. 사용 시 뼈의 움직임을 간접적으로 제어하면 됩니다. 메쉬 정점.

일반적으로 골격 피부 모델의 경우 애니메이터가 정밀한 뼈 배치 및 피부 중량 드로잉을 수행해야 하며, 이는 생산 임계값이 높고 생산 주기가 긴 특성을 갖습니다. 그러나 실제 사람의 얼굴은 사람마다 뼈와 근육의 형태가 상당히 다르기 때문에, 고정된 스켈레톤 스키닝 시스템으로는 현실적으로 다양한 얼굴 형태를 표현하기가 어렵습니다. 시스템 추가 설계를 기반으로 가우시안 혼합 스키닝 가중치(GMM Skinning Weights)와 동적 뼈 바인딩 시스템(Dynamic Bone Binding)을 기반으로 뼈의 표현 능력을 더욱 향상시키는 적응형 뼈 스키닝 모델 ASM이 제안되었습니다. -스킨닝. 유연성을 통해 각 대상 얼굴에 대해 고유한 골격-피부 모델을 적응적으로 생성하여 더욱 풍부한 얼굴 디테일을 표현할 수 있습니다.

다양한 얼굴 모델링을 위한 뼈대-피부 모델의 표현력을 향상시키기 위해 ASM에서는 뼈대-피부 모델의 모델링 방법에 대한 새로운 디자인을 만들었습니다.

ㅋㅋㅋ               그림 1: ASM 전체 프레임워크

스켈레톤 스키닝 시스템은 일반적으로 뼈의 움직임(회전, 평행 이동, 크기 조정)을 제어하여 변형을 제어하는 ​​LBS(선형 블렌드 스키닝) 알고리즘을 기반으로 합니다. 메쉬 정점. 전통적인 뼈 스키닝은 적응형 뼈 스키닝 모델을 달성하기 위해 스킨 가중치 매트릭스와 ASM 매개변수라는 두 부분으로 구성됩니다. 다음으로 피부 무게 행렬과 뼈 바인딩의 파라메트릭 모델링 방법을 각각 소개하겠습니다. Formula 1 : 전통적인 골격 피부색 모델의 LBS 공식

포뮬러 2 : ASM의 LBS Formula

Gaussian 혼합 스키닝 웨이트 (GMM 스키닝 웨이트)

Skin Weight 행렬은 mxn 차원의 행렬로, 여기서 m은 뼈의 개수이고 n은 Mesh의 정점 개수입니다. 이 행렬은 각 Mesh 정점에 대한 각 뼈의 영향 계수를 저장하는 데 사용됩니다. 일반적으로 스킨 웨이트 매트릭스는 매우 희박합니다. 예를 들어 Unity에서 각 메시 정점은 이 4개의 뼈에만 영향을 미치며 정점에 있는 다른 뼈의 영향 계수는 0입니다. . 전통적인 뼈대 스킨 모델에서는 애니메이터가 스킨 가중치를 그리며 일단 스킨 가중치를 얻은 후에는 사용할 때 더 이상 변경되지 않습니다. 최근에는 대량의 데이터를 신경망 학습과 결합하여 자동으로 스키닝 가중치를 생성하려는 시도가 있었습니다. 그러나 이러한 솔루션에는 두 가지 문제가 있습니다. 첫째, 신경망을 훈련하려면 많은 양이 필요합니다. 데이터가 3D 얼굴이거나 스키닝인 경우 가중치 데이터를 얻기가 더 어렵습니다. 둘째, 피부 가중치를 모델링하기 위해 신경망을 사용하는 데 심각한 매개변수 중복이 있습니다. 훈련 없이도 적은 수의 매개변수를 사용하여 얼굴 전체의 피부 무게를 완벽하게 표현할 수 있는 피부 무게 모델링 방법이 있나요?

일반적인 스킨 가중치를 관찰하면 다음과 같은 속성을 찾을 수 있습니다. 1. 스킨 가중치는 국부적으로 매끄러워집니다. 2. 메쉬 정점이 현재 뼈대 위치에서 멀어질수록 해당 스킨 계수는 일반적으로 작아집니다. GMM(Gaussian Mixture Model)은 매우 잘 일치합니다. 따라서 본 논문에서는 스키닝 가중치 행렬을 정점과 뼈대 사이의 특정 거리 함수를 기반으로 가우스 혼합 함수로 모델링하는 가우시안 혼합 스키닝 가중치(GMM Skinning Weights)를 제안하고, GMM 계수 집합을 사용하여 스키닝을 표현할 수 있다. 특정 뼈의 가중치가 분산됩니다. 피부 무게의 매개변수를 더욱 압축하기 위해 전체 얼굴 메시를 3차원 공간에서 UV 공간으로 전송하므로 2차원 GMM만 사용하고 정점에서 UV 거리를 사용하면 됩니다. 특정 정점의 현재 뼈대 마스킹을 계산하기 위한 뼈대. Dynamic Bone Binding

스킨 가중치의 파라메트릭 모델링을 통해 적은 수의 매개변수로 스킨 가중치 행렬을 표현할 수 있을 뿐만 아니라 런타임 시 뼈의 조정이 가능해지며 위치 바인딩이 가능해집니다. 따라서 본 논문에서는 동적 뼈 바인딩(Dynamic Bone Binding) 방법을 제안한다. 피부 무게와 마찬가지로 이 기사에서는 뼈의 바인딩 위치를 UV 공간의 좌표점으로 모델링하고 UV 공간에서 임의로 이동할 수 있습니다. 면 메쉬의 꼭지점의 경우 미리 정의된 UV 매핑 관계를 통해 간단히 UV 공간의 고정 좌표에 정점을 매핑할 수 있습니다. 그러나 뼈는 UV 공간에 미리 정의되어 있지 않으므로 이를 위해서는 바인딩된 뼈를 3차원 공간에서 UV 공간으로 전송해야 합니다. 이 문서의 이 단계는 뼈와 주변 정점의 좌표를 보간하여 구현됩니다. 계산된 보간 계수를 정점의 UV 좌표에 적용하여 뼈의 UV 좌표를 얻습니다. 반대의 경우에도 마찬가지입니다. 뼈 좌표를 UV 공간에서 3차원 공간으로 전송해야 하는 경우에도 현재 뼈의 UV 좌표와 인접한 정점의 UV 좌표 사이의 보간 계수를 계산하고 3차원 공간의 동일한 꼭지점에 대한 보간 계수 3차원 좌표에 해당 뼈대의 3차원 공간 좌표를 보간할 수 있습니다.

이 모델링 방법을 통해 뼈의 결합 위치와 피부 중량 계수를 UV 공간의 계수 세트로 통합합니다. ASM을 사용하면 면 메쉬 정점의 변형을 UV 공간의 뼈 바인딩 위치의 오프셋 계수, UV 공간의 가우시안 혼합 스키닝 계수 및 뼈 운동 계수의 조합으로 변환하여 표현력이 크게 향상되었습니다. 더욱 풍부한 얼굴 디테일을 생성할 수 있는 해골 피부 모델의 능력.每 표 1: ASM 각 뼈의 매개변수 치수

연구 결과: 사람의 얼굴 표현 능력 및 다시점 재구성 정확도가 SOTA 수준에 도달함 사람 얼굴 모델의 다양한 매개변수화 비교 Capability

We 파라메트릭 얼굴 모델을 사용하여 고정밀 얼굴 스캐닝 모델을 등록(등록)하고 ASM과 PCA 방법(BFM[6], FLAME[7], FaceScape[10]) 기반의 기존 3DMM을 결합하고 신경망 차원 기반의 3DMM 감소 방법(CoMA[8], ImFace[9])과 업계 최고의 뼈-피부 모델(MetaHuman)을 비교했습니다. 결과는 ASM의 표현 능력이 LYHM 및 FaceScape 데이터 세트 모두에서 SOTA 수준에 도달했음을 나타냅니다. 표 2: LYHM 및 FaceScape의 등록 정확도                                                                                                                                                              그림 3: FaceScape의 LYHM 시각화 결과 및 등록 오류 히트 맵

다중 얼굴 재구성에서의 적용

우리는 Florence MICC 데이터 세트를 사용하여 성능을 테스트했습니다. 다중 시점 얼굴 재구성 작업에 대한 ASM Coop(실내 근거리 카메라, 무표정 문자) 테스트 세트의 재구성 정확도가 SOTA 수준에 도달했습니다. 그림 4: Florence Micc 데이터 세트의 3D 얼굴 재구성 결과

또한 FaceScape 데이터 세트의 다관점 재구성 작업에서 사진 수가 미치는 영향을 테스트했습니다. 5, ASM은 다른 얼굴 표현 방법에 비해 가장 높은 재구성 정확도를 달성할 수 있습니다. E 표 3: FaceScape의 다양한 입력 수량에 대한 다관점 재구성 결과

그림 5: Facescape의 다양한 입력에 대한 다관점 재구성 결과 및 오류 요약 및 전망

이 연구 저렴한 비용으로 고품질의 인간 얼굴을 얻는 업계 문제를 해결하기 위한 중요한 조치를 취합니다. 우리가 제안하는 새로운 파라메트릭 얼굴 모델은 얼굴 표정 능력을 크게 향상시키고 다시점 얼굴 재구성의 정확도 상한을 새로운 차원으로 높입니다. 이 방법은 게임 제작의 3D 캐릭터 모델링, 자동 얼굴 꼬집기 게임 플레이, AR/VR의 아바타 생성 등 다양한 분야에서 사용될 수 있습니다.

얼굴 표정 능력이 크게 향상된 후, 다시점 이미지에서 더 강력한 일관성 제약 조건을 구성하여 재구성 결과의 정확도를 더욱 향상시키는 방법은 현재 얼굴 재구성 분야에서 새로운 병목 현상이자 새로운 과제가 되었습니다. 이는 우리의 향후 연구 방향이기도 하다.

^참고자료

^{[1] Noranart Vesdapunt, Mitch Rundle, HsiangTao Wu 및 Baoyuan Wang: Computer Vision의 컴팩트 3D 얼굴 모델링을 위한 공동 기반 신경 리그 표현 – ECCV 2020: 글래스고 , 영국, 2020년 8월 23~28일, Proceedings, Part XVIII 16, 페이지 389~405. Springer, 2020.}

^{[2] Thabo Beeler, Bernd Bickel, Paul Beardsley, Bob Sumner 및 Markus Gross - ACM SIGGRAPH 2010 논문, 2010.}

^{[3] Yu Deng, Jiaolong Yang, Sicheng Xu, Dong Chen, Yunde Jia 및 Xin Tong의 고품질 단일 샷 캡처. 약한 감독 학습을 통한 얼굴 재구성: 단일 이미지에서 이미지 세트까지 컴퓨터 비전 및 패턴 인식 워크숍에 관한 IEEE/CVF 컨퍼런스 진행, 2019년 0~0페이지.}

^{[4] Yao Feng, Haiwen Feng , Michael J Black, Timo Bolkart. 실제 이미지에서 애니메이션이 가능한 상세한 3D 얼굴 모델을 학습합니다. ACM Transactions on Graphics(ToG), 40(4):1–13, 2021.}

^{[5 ] Volker Blanz 및 Thomas Vetter 3D 얼굴 합성을 위한 변형 가능 모델. 컴퓨터 그래픽 및 대화형 기술에 관한 제26차 연례 컨퍼런스 진행, 187~194페이지, 1999. [6] Pascal Paysan, Reinhard Knothe, Brian Amberg, Sami Romdhani, Thomas Vetter, 포즈 및 조명 불변 얼굴 인식을 위한 2009년 제6회 고급 비디오 및 신호 기반 감시에 관한 국제 회의, Ieee, 2009.}

^{[7] , Timo Bolkart, Michael J Black, Hao Li 및 Javier Romero. 4D 스캔을 통해 얼굴 모양 및 표정 모델 학습. ACM Trans., 36 (6):194–1, 2017.}

^{[8 ] Anurag Ranjan, Timo Bolkart, Soubhik Sanyal 및 Michael J Black. 컨벌루션 메시 자동 인코더를 사용하여 3D 얼굴 생성. 유럽 컴퓨터 비전 회의(ECCV), 2018페이지.}

^{[9] Mingwu Zheng, Hongyu Yang, Di Huang 및 Liming Chen. Imface: 암시적 신경 표현을 갖춘 비선형 3D 변형 가능 얼굴 모델. 컴퓨터 비전 및 패턴 인식에 관한 IEEE/CVF 컨퍼런스 회보, 2022페이지.}

^{[10] Haotian Yang, Hao Zhu, Yanru Wang, Mingkai Huang, Qiu Shen, Ruigang Yang 및 Xun Cao: 대규모 고품질 3D 얼굴 데이터세트 및 상세하게 조작 가능한 3D 얼굴 예측. /컴퓨터 비전 및 패턴 인식에 관한 CVF 컨퍼런스, 601~610페이지, 2020.}

위 내용은 게임용 고정밀, 저비용 3D 얼굴 재구성 솔루션, Tencent AI Lab ICCV 2023 논문 해석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!