Up 소유자는 이미 Tencent의 오픈 소스 'AniPortrait'를 사용하여 사진이 노래하고 말할 수 있도록 하기 시작했습니다.

AniPortrait 모델은 오픈 소스이며 자유롭게 재생할 수 있습니다.

"샤오포잔 고스트 존을 위한 새로운 생산성 도구."

최근 Tencent Open Source에서 출시한 새로운 프로젝트가 푸시에서 이런 평가를 받았습니다. 이 프로젝트는 오디오와 참조 이미지를 기반으로 고품질 애니메이션 인물 사진을 생성하는 AniPortrait입니다.

더 이상 고민하지 말고 변호사의 편지로 경고될 수 있는 데모를 살펴보겠습니다.

애니메이션 이미지도 쉽게 말할 수 있습니다. 며칠 만에 이미 광범위한 칭찬을 받았습니다. GitHub Stars 수가 2,800개를 초과했습니다.

AniPortrait의 혁신을 살펴보겠습니다.

논문 제목: AniPortrait: 오디오 기반 사실적 인물 애니메이션 합성

• 논문 주소: https://arxiv.org/pdf/2403.17694.pdf
• 코드 주소: https:/ /arxiv.org/pdf/2403.17694.pdf /github.com/Zejun-Yang/AniPortrait

AniPortrait

두 가지 모듈이 포함되어 있습니다. Lmk2Video.

Audio2Lmk는 오디오 입력에서 복잡한 표정과 입술 움직임을 캡처할 수 있는 랜드마크 시퀀스를 추출하는 데 사용됩니다. Lmk2Video는 이 랜드마크 시퀀스를 사용하여 일시적으로 안정적이고 일관된 고품질 인물 사진 비디오를 생성합니다.

그림 1은 AniPortrait 프레임워크의 개요를 제공합니다.

Audio2Lmk

음성 클립 시퀀스의 경우 여기서 목표는 해당 3D 얼굴 메시 시퀀스와 제스처 시퀀스를 예측하는 것입니다.

팀은 사전 훈련된 wav2vec를 사용하여 오디오 기능을 추출했습니다. 이 모델은 잘 일반화되어 오디오의 발음과 억양을 정확하게 인식할 수 있습니다. 이는 사실적인 얼굴 애니메이션을 생성하는 데 중요합니다. 획득된 강력한 음성 특징을 활용함으로써 두 개의 fc 레이어로 구성된 간단한 아키텍처를 사용하여 3D 얼굴 메시로 효율적으로 변환할 수 있습니다. 팀은 이 간단하고 간단한 디자인이 정확성을 보장할 뿐만 아니라 추론 프로세스의 효율성도 향상한다는 것을 관찰했습니다.

오디오를 제스처로 변환하는 작업에서 팀이 사용하는 백본 네트워크는 여전히 동일한 wav2vec입니다. 그러나 이 네트워크의 가중치는 오디오-메시 모듈의 네트워크와 다릅니다. 이는 제스처가 오디오의 리듬 및 음조와 더 밀접하게 관련되어 있는 반면, 오디오-그리드 작업은 다른 초점(발음 및 억양)에 초점을 맞추기 때문입니다. 이전 상태의 영향을 고려하기 위해 팀은 포즈 시퀀스를 디코딩하는 변환기 디코더를 사용했습니다. 이 프로세스에서 모듈은 교차 주의 메커니즘을 사용하여 오디오 기능을 디코더에 통합합니다. 위 두 모듈의 경우 훈련에 사용되는 손실 함수는 간단한 L1 손실입니다.

메시 및 포즈 시퀀스를 얻은 후 원근 투영을 사용하여 2D 얼굴 랜드마크 시퀀스로 변환합니다. 이 랜드마크는 다음 단계의 입력 신호입니다.

Lmk2Video

팀이 제안한 Lmk2Video는 참조 인물 사진과 얼굴 랜드마크 시퀀스가 ​​주어지면 시간적으로 일관된 인물 사진 애니메이션을 만들 수 있습니다. 이 애니메이션 프로세스는 참조 이미지와 일관된 모양을 유지하면서 랜드마크 시퀀스에 모션을 정렬합니다. 팀이 채택한 아이디어는 초상화 애니메이션을 일련의 초상화 프레임으로 표현하는 것입니다.

Lmk2Video의 이 네트워크 구조 디자인은 AnimateAnyone에서 영감을 받았습니다. 백본 네트워크는 SD1.5로, 다중 프레임 노이즈 입력을 비디오 프레임 시퀀스로 효과적으로 변환하는 시간적 모션 모듈을 통합합니다.

또한 SD1.5 구조를 사용하는 ReferenceNet도 사용했습니다. 이 기능은 참조 이미지의 모양 정보를 추출하여 백본 네트워크에 통합하는 것입니다. 이 전략적 설계는 Face ID가 출력 비디오 전체에서 일관되게 유지되도록 보장합니다.

AnimateAnyone과 달리 PoseGuider 디자인의 복잡성이 여기서 개선되었습니다. 원래 버전은 여러 컨볼루셔널 레이어를 통합한 후 랜드마크 기능이 백본 네트워크 입력 레이어의 잠재 기능과 융합되었습니다. Tencent 팀은 이 초보적인 디자인으로는 입술의 복잡한 움직임을 포착할 수 없다는 사실을 발견했습니다. 따라서 이들은 ControlNet의 다중 규모 전략을 채택했습니다. 즉, 해당 규모의 랜드마크 기능을 백본 네트워크의 다양한 모듈에 통합하는 것입니다. 이러한 개선에도 불구하고 최종 모델의 매개변수 수는 여전히 매우 낮습니다.

팀에서는 참조 이미지의 랜드마크를 추가 입력으로 사용하는 또 다른 개선 사항도 도입했습니다. PoseGuider의 교차 주의 모듈은 각 프레임의 참조 랜드마크와 대상 랜드마크 간의 상호 작용을 촉진합니다. 이 프로세스는 얼굴 랜드마크와 외모 사이의 연결을 이해할 수 있는 추가 단서를 네트워크에 제공하며, 이는 인물 애니메이션이 보다 정확한 움직임을 생성하는 데 도움이 될 수 있습니다.

실험

구현 세부정보

Audio2Lmk 단계에서 사용된 백본 네트워크는 wav2vec2.0입니다. 3D 메쉬와 6D 포즈를 추출하는 데 사용되는 도구는 MediaPipe입니다. Audio2Mesh의 훈련 데이터는 Tencent의 내부 데이터세트에서 가져온 것입니다. 여기에는 단일 화자로부터 거의 1시간 분량의 고품질 음성 데이터가 포함되어 있습니다.

MediaPipe에서 추출한 3D 메시의 안정성을 보장하기 위해 녹화 중 출연자의 머리 위치가 안정적이고 카메라를 향하도록 합니다. Training Audio2Pose는 HDTF를 사용합니다. 모든 학습 작업은 Adam 옵티마이저를 사용하여 단일 A100에서 수행되며 학습률은 1e-5로 설정됩니다.

Lmk2Video 프로세스는 2단계 학습 방법을 사용합니다.

초기 단계 단계에서는 모션 모듈에 관계없이 백본 네트워크 ReferenceNet과 PoseGuider의 2D 구성 요소를 교육하는 데 중점을 둡니다. 후속 단계에서는 모션 모듈 교육에 집중하기 위해 다른 모든 구성 요소가 동결됩니다. 모델을 교육하기 위해 VFHQ와 CelebV-HQ라는 두 개의 대규모 고품질 얼굴 비디오 데이터 세트가 사용되었습니다. 모든 데이터는 MediaPipe를 통해 전달되어 2D 얼굴 랜드마크를 추출합니다. 입술 움직임에 대한 네트워크의 민감도를 향상시키기 위해 팀의 접근 방식은 2D 랜드마크를 기반으로 포즈 이미지를 렌더링할 때 위쪽 입술과 아래쪽 입술에 서로 다른 색상으로 주석을 추가하는 것이었습니다.

모든 이미지는 512x512로 크기가 조정되었습니다.모델은 4개의 A100 GPU를 사용하여 학습되었으며 각 단계에는 2일이 걸렸습니다. 최적화 프로그램은 AdamW이고 학습률은 1e-5로 고정되어 있습니다.

실험 결과

그림 2에서 볼 수 있듯이 새로운 방법으로 얻은 애니메이션은 품질과 사실감이 뛰어납니다.

또한 사용자는 중간에 3D 표현을 편집하여 최종 출력을 수정할 수 있습니다. 예를 들어, 사용자는 다음 영상과 같이 소스에서 랜드마크를 추출하고 ID 정보를 수정하여 얼굴 재현을 달성할 수 있습니다. 자세한 내용은 원본 논문을 참조하세요.

위 내용은 Up 소유자는 이미 Tencent의 오픈 소스 'AniPortrait'를 사용하여 사진이 노래하고 말할 수 있도록 하기 시작했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!