Sora Tokyo 소녀가 노래하게 하고 Gao Qiqiang이 그의 목소리를 Luo Xiang으로 바꾸면 Alibaba 캐릭터 립싱크 비디오가 완벽하게 생성됩니다.

Alibaba의 EMO를 사용하면 AI가 생성한 이미지 또는 실제 이미지로 "움직이고 말하고 노래하는" 것이 더 쉬워졌습니다.

최근 OpenAI 소라로 대표되는 빈센트 영상 모델이 다시 인기를 끌고 있습니다.

텍스트로 생성된 영상 외에도 인간 중심의 영상 합성이 항상 많은 주목을 받아왔습니다. 예를 들어, 사용자가 제공한 오디오 클립을 기반으로 얼굴 표정을 생성하는 것이 목표인 "스피커 헤드" 비디오 생성에 중점을 둡니다.

기술적인 수준에서 표현을 생성하려면 말하는 사람의 미묘하고 다양한 얼굴 움직임을 정확하게 캡처해야 하는데, 이는 유사한 비디오 합성 작업에 있어서 큰 과제입니다.

기존 방법은 일반적으로 비디오 생성 작업을 단순화하기 위해 몇 가지 제한 사항을 적용합니다. 예를 들어, 일부 방법은 3D 모델을 활용하여 얼굴 주요 지점을 제한하는 반면, 다른 방법은 원시 비디오에서 머리 동작 시퀀스를 추출하여 전체 동작을 안내합니다. 이러한 제한으로 인해 비디오 생성의 복잡성이 줄어들지만 최종 얼굴 표정의 풍부함과 자연스러움도 제한됩니다.

알리 지능형 컴퓨팅 연구소(Ali Intelligent Computing Research Institute)가 최근 발표한 논문에서 연구원들은 화자의 머리 영상의 진정성, 자연성, 표현력을 향상시키기 위해 오디오 신호와 얼굴 움직임 사이의 미묘한 연결을 탐구하는 데 중점을 두었습니다.

연구원들은 전통적인 방법으로 다양한 화자의 얼굴 표정과 독특한 스타일을 적절하게 포착하지 못하는 경우가 많다는 사실을 발견했습니다. 이에 중간 3D 모델이나 얼굴 랜드마크를 사용하지 않고 오디오-비디오 합성 방식을 통해 얼굴 표정을 직접 렌더링하는 EMO(Emote Portrait Alive) 프레임워크를 제안했다. ㅋㅋㅋ

프로젝트 홈페이지 : https://humanaigc.github.io/emote-portrait-alive/

효과적인 측면에서 알리의 방식은 영상 전반에 걸쳐 원활한 프레임 전환을 보장하고 일관된 아이덴티티를 유지함으로써 퍼포먼스를 더욱 강렬하게 만들어 낼 수 있습니다. 현실감 넘치는 캐릭터 아바타 영상은 표현력과 사실성 측면에서 현재의 SOTA 방식보다 훨씬 뛰어납니다.

• 예를 들어 EMO에서는 소라가 생성한 도쿄 소녀 캐릭터를 노래하게 만들 수 있습니다. 노래는 영국/알바니아 이중 국적 여성 가수 Dua Lipa가 부른 "Don't Start Now"입니다.

• EMO는 영어와 중국어를 포함한 다양한 언어로 된 노래를 지원하며 오디오의 음색 변화를 직관적으로 식별하고 역동적이고 표현력이 풍부한 AI 캐릭터 아바타를 생성할 수 있습니다. 예를 들어 AI 페인팅 모델 ChilloutMix가 생성한 젊은 여성이 Tao Zhe의 "Melody"를 부르게 해보세요.

• EMO는 또한 Leonardo DiCaprio에게 미국 래퍼 Eminem의 "Godzilla" 섹션을 연주하도록 요청하는 등 아바타가 빠르게 진행되는 랩 노래를 따라갈 수 있도록 할 수 있습니다.

물론 EMO는 캐릭터가 노래할 수 있을 뿐만 아니라 다양한 언어로 음성 오디오를 지원하여 다양한 스타일의 초상화, 그림, 3D 모델 및 AI 생성 콘텐츠를 실물과 같은 애니메이션 비디오로 전환합니다. 오드리 햅번의 말처럼 말이죠.

마지막으로 EMO는 "Cyclone"에서 Gao Qiqiang이 Luo Xiang 선생님과 연결되는 것처럼 다양한 캐릭터 간의 연결을 달성할 수도 있습니다.

방법 개요

캐릭터 초상화의 단일 참조 이미지가 주어지면 우리의 방법은 입력 음성 오디오 클립과 동기화되고 캐릭터의 매우 자연스러운 머리 움직임과 생생한 표정을 유지하며 제공된 음성 오디오의 피치 변화와 일치하는 비디오를 생성할 수 있습니다 . 조정. 이 모델은 연속적인 일련의 비디오를 연속적으로 생성함으로써 실제 적용에 중요한 일관된 정체성과 일관된 모션으로 말하는 인물 사진의 긴 비디오를 생성하는 데 도움이 됩니다.

Network Pipeline

방법 개요는 아래 그림에 나와 있습니다. 백본 네트워크는 잡음 가능성이 있는 여러 프레임 입력을 수신하고 이를 각 시간 단계에서 연속적인 비디오 프레임으로 제거하려고 시도합니다. 백본 네트워크는 원래 SD 1.5 버전과 유사한 UNet 구조 구성을 가지며, 특히 이전과 유사합니다. 작업에서 생성된 프레임 간의 연속성을 보장하기 위해 백본 네트워크에는 임시 모듈이 내장되어 있습니다.

1. 생성된 프레임에서 초상화의 ID 일관성을 유지하기 위해 연구원들은 참조 특징을 얻기 위해 참조 이미지를 입력하는 ReferenceNet이라는 백본 네트워크와 병렬로 UNet 구조를 배포했습니다.

2. 말할 때 캐릭터의 움직임을 구동하기 위해 연구원들은 오디오 레이어를 사용하여 사운드 특징을 인코딩했습니다.

3. 말하는 캐릭터의 움직임을 제어 가능하고 안정적으로 만들기 위해 연구원들은 얼굴 탐지기와 속도 레이어를 사용하여 약한 조건을 제공했습니다.

백본 네트워크의 경우 연구원들은 힌트 임베딩을 사용하지 않았기 때문에 SD 1.5 UNet 구조의 Cross-Attention 레이어를 참조 Attention 레이어로 조정했습니다. 이러한 수정된 레이어는 텍스트 임베딩 대신 ReferenceNet에서 얻은 참조 기능을 입력으로 사용합니다.

훈련 전략

훈련 과정은 세 단계로 나뉩니다. 첫 번째 단계는 이미지 사전 훈련으로, 백본 네트워크, ReferenceNet 및 얼굴 로컬라이저가 훈련 과정에 통합됩니다. 백본 네트워크는 단일 프레임에서 훈련됩니다. 입력으로서 ReferenceNet은 동일한 비디오 클립에서 무작위로 선택된 서로 다른 프레임을 처리합니다. 백본 네트워크와 ReferenceNet은 모두 원래 SD에서 가중치를 초기화합니다.

두 번째 단계에서 연구원들은 비디오 훈련을 도입하고 시간 모듈과 오디오 레이어를 추가하고 비디오 클립에서 n+f 연속 프레임을 샘플링했습니다. 여기서 처음 n 프레임은 모션 프레임이었습니다. 시간 모듈은 AnimateDiff의 가중치를 초기화합니다.

마지막 단계에서는 속도 계층을 통합하며, 이 단계에서는 연구원이 시간 모듈과 속도 계층만 훈련합니다. 이 접근 방식은 훈련 중에 오디오 레이어를 의도적으로 무시하기 위해 수행됩니다. 말하는 사람의 표정, 입의 움직임, 머리의 움직임의 빈도는 주로 오디오의 영향을 받기 때문입니다. 따라서 이러한 요소들 사이에는 상관 관계가 있는 것으로 보이며 모델은 오디오가 아닌 속도 신호를 기반으로 캐릭터의 움직임을 구동할 수 있습니다. 실험 결과에 따르면 속도 레이어와 오디오 레이어를 동시에 훈련하면 캐릭터 움직임을 유도하는 오디오 기능이 약화되는 것으로 나타났습니다.

실험 결과

실험 중 비교한 방법으로는 Wav2Lip, SadTalker, DreamTalk가 있습니다. 그림 3은 이 방법과 이전 방법의 비교 결과를 보여줍니다. 단일 참조 이미지를 입력으로 제공할 때 Wav2Lip은 일반적으로 흐린 입 영역을 합성하고 정적 머리 자세와 최소한의 눈 움직임이 특징인 비디오를 생성하는 것을 볼 수 있습니다. 드림톡의 경우 결과가 원본 얼굴을 왜곡할 수 있으며, 얼굴 표정과 머리 움직임의 범위도 제한될 수 있습니다. SadTalker 및 DreamTalk와 비교하여 본 연구에서 제안한 방법은 더 넓은 범위의 머리 움직임과 더 생생한 표정을 생성할 수 있습니다.

이 연구에서는 사실적, 애니메이션, 3D 등 다양한 초상화 스타일의 아바타 비디오 생성을 더 탐구합니다. 캐릭터는 동일한 음성 오디오 입력을 사용하여 애니메이션화되었으며 결과 비디오는 스타일 전반에 걸쳐 대략 일관된 립싱크를 생성한 것으로 나타났습니다.

그림 5는 우리의 방법이 분명한 음색 특성을 가진 오디오를 처리할 때 더 풍부한 표정과 동작을 생성할 수 있음을 보여줍니다. 예를 들어, 아래 그림의 세 번째 줄에서 높은 음조는 캐릭터의 더 강하고 생생한 표현을 유발합니다. 또한 모션 프레임을 사용하면 생성된 비디오를 확장할 수 있습니다. 즉, 입력 오디오의 길이에 따라 더 긴 지속 시간의 비디오가 생성됩니다. 그림 5와 6에서 볼 수 있듯이 우리의 방법은 큰 움직임 중에도 확장된 시퀀스에서 캐릭터의 정체성을 보존합니다.

표 1 결과는 이 방법이 비디오 품질 평가에 상당한 이점이 있음을 보여줍니다.

위 내용은 Sora Tokyo 소녀가 노래하게 하고 Gao Qiqiang이 그의 목소리를 Luo Xiang으로 바꾸면 Alibaba 캐릭터 립싱크 비디오가 완벽하게 생성됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!