Tencent Hunyuan은 홍콩 과학 기술 대학교 및 칭화 대학교와 협력하여 한 번의 클릭으로 사진을 이모티콘으로 바꾸는 'Follow Your Emoji'를 출시했습니다.

Tusheng Video에는 새로운 플레이 방식이 있습니다.

Tencent Hunyuan, 홍콩 과학 기술 대학교, Tsinghua University는 얼굴 골격 정보를 통해 모든 스타일의 얼굴 애니메이션을 생성할 수 있는 인물 애니메이션 생성 프레임워크인 "Follow Your Emoji"를 공동으로 출시했습니다. 알고리즘 혁신과 데이터 축적을 기반으로 "Follow Your Emoji"는 눈썹, 눈, 눈알 및 기타 세부 사항을 포함한 얼굴의 세련된 제어를 지원할 수 있으며 동물 이모티콘도 쉽게 "조작"할 수 있습니다.

Follow Your Emoji는 하나의 표정으로 여러 인물 사진을 생성할 수 있을 뿐만 아니라, 하나의 인물 사진으로 여러 표정을 생성할 수도 있습니다.

최근 몇 년 동안 확산 모델은 기존 GAN(적대 생성 네트워크)보다 더 나은 생성 기능을 보여주었습니다. 일부 방법은 고품질 비디오 및 이미지 생성을 위해 강력한 기본 확산 모델을 활용하지만 이러한 기본 모델은 애니메이션 프로세스 중에 참조 초상화의 아이덴티티 특징을 직접 보존할 수 없어 비디오 결과가 왜곡되고 비현실적인 아티팩트를 표시하게 됩니다. 이는 인물 애니메이션 작업의 주요 과제 중 하나입니다.

그림: 논문의 전체 흐름도, 위쪽은 훈련 과정, 아래쪽은 테스트 과정

이 연구에서 연구원은 새로운 초상화 애니메이션 프레임워크인 Follow-Your-Emoji를 제안했습니다. 확산 모델을 기반으로 합니다. 알고리즘에는 두 가지 주요 혁신이 있습니다.

이 표현 제어 신호는 애니메이션 생성을 효과적으로 안내할 수 있습니다. 연구자들은 초상화(얼굴)의 3D 키 포인트를 통해 정보를 찾습니다. 3D 키 포인트에는 고유한 규범적 속성이 있으므로 대상 동작을 참조 초상화와 효과적으로 정렬하고 생성된 비디오에서 얼굴 변형으로 이어질 수 있는 왜곡을 피할 수 있습니다. . 이 기술은 다양한 응용 분야를 가지고 있으며 얼굴 모핑 비디오를 제작하는 데 사용될 수 있습니다.

두 번째로, 연구에서는 모델이 참조 사진에서 인물의 미묘한 표정 변화와 상세한 모습을 포착하는 데 집중할 수 있도록 얼굴에 대한 세밀한 손실 기능도 제안합니다. 구체적으로, 저자는 먼저 얼굴 마스크와 표정 마스크, 그리고 저자의 표정 인식 신호를 사용한 후, 이러한 마스크 영역에서 실측값과 예측 결과 사이의 공간적 거리를 계산하여 높은 수준의 원본 초상화 복원을 달성합니다. 이모티콘 패키지.

모델 훈련을 위해 본 연구에서는 115명의 피험자의 18가지 과장 표정과 20분 분량의 실제 영상을 포함하는 고품질 표정 훈련 데이터 세트도 구축했습니다. 동시에 본 연구에서는 높은 충실도와 안정성을 갖춘 장기 애니메이션 합성으로 방법을 확장할 수 있는 진보적인 생성 전략을 채택했습니다.

그림: 논문의 정량적 실험 결과와 정성적 실험 결과는 이전 방법에 비해 Follow-Your-Emoji가 더 나은 결과를 얻을 수 있음을 보여줍니다

마지막으로 벤치마크 테스트 부족 문제를 해결하기 위해 인물 애니메이션 분야에서는 다양한 얼굴 표정과 머리 포즈를 보여주는 다양한 스타일의 인물 애니메이션 동영상 410개를 포함하는 EmojiBench라는 종합 벤치마크도 소개합니다. EmojiBench를 사용하여 Follow-YourEmoji를 종합적으로 평가한 결과, 이 방법은 훈련 영역 외부의 초상화와 동작을 처리하는 데 효과적이며 기존 기본 방법보다 정량적으로나 질적으로 더 나은 성능을 발휘하는 것으로 나타났습니다. 음, 뛰어난 시각적 충실도 아이덴티티 표현과 정밀한 모션 렌더링을 제공합니다.

웹사이트:Follow-Your-Emoji: 프리스타일 인물 애니메이션

Paper:[2406.01900] Follow-Your-Emoji: 세밀하게 제어 가능하고 표현이 풍부한 프리스타일 인물 애니메이션

위 내용은 Tencent Hunyuan은 홍콩 과학 기술 대학교 및 칭화 대학교와 협력하여 한 번의 클릭으로 사진을 이모티콘으로 바꾸는 'Follow Your Emoji'를 출시했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!