Maison Périphériques technologiques IA Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage d'Alibaba est parfaitement générée

Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage d'Alibaba est parfaitement générée

Mar 01, 2024 am 11:34 AM
产业 emo

Avec l'EMO d'Alibaba, il est devenu plus facile de « bouger, parler ou chanter » avec des images générées par l'IA ou réelles.

Récemment, le modèle vidéo Vincent représenté par OpenAI Sora est redevenu populaire.

En plus des vidéos générées par texte, la synthèse vidéo centrée sur l'humain a toujours attiré beaucoup d'attention. Par exemple, concentrez-vous sur la génération vidéo « tête de haut-parleur », où l’objectif est de générer des expressions faciales basées sur des clips audio fournis par l’utilisateur.

Sur le plan technique, générer des expressions nécessite de capturer avec précision les mouvements subtils et divers du visage de l'orateur, ce qui constitue un énorme défi pour des tâches de synthèse vidéo similaires.

Les méthodes traditionnelles imposent généralement certaines limitations pour simplifier la tâche de génération vidéo. Par exemple, certaines méthodes utilisent des modèles 3D pour limiter les points clés du visage, tandis que d'autres extraient des séquences de mouvements de la tête à partir de vidéos brutes pour guider le mouvement global. Si ces limitations réduisent la complexité de la génération vidéo, elles limitent également la richesse et le naturel des expressions faciales finales.

Dans un article récent publié par Ali Intelligent Computing Research Institute, les chercheurs se sont concentrés sur l'exploration du lien subtil entre les signaux audio et les mouvements du visage pour améliorer l'authenticité, le naturel et l'expressivité de la vidéo de la tête de l'orateur.

Les chercheurs ont découvert que les méthodes traditionnelles ne parviennent souvent pas à capturer correctement les expressions faciales et les styles uniques des différents locuteurs. Par conséquent, ils ont proposé le framework EMO (Emote Portrait Alive), qui restitue directement les expressions faciales via une méthode de synthèse audio-vidéo sans utiliser de modèles 3D intermédiaires ni de repères faciaux.

Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement générée

  • Titre de l'article : EMO : Emote Portrait Alive - Générer des vidéos de portrait expressives avec un modèle de diffusion Audio2Video dans des conditions faibles

  • Adresse de l'article : https://arxiv.org/pdf/2402.17485.pdf

  • Page d'accueil du projet : https://humanaigc.github.io/emote-portrait-alive/

En termes d'effet, la méthode d'Ali peut assurer une transition d'image transparente tout au long de la vidéo et maintenir une identité cohérente, produisant ainsi une performance puissante et une vidéo d'avatar de personnage plus réaliste est nettement meilleure que la méthode SOTA actuelle en termes d'expressivité et de réalisme.

Par exemple, EMO peut faire chanter le personnage de Tokyo généré par Sora. La chanson est "Don't Start Now" chantée par la chanteuse binationale britannique et albanaise Dua Lipa. Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement généréeEMO prend en charge les chansons dans différentes langues, dont l'anglais et le chinois. Il peut identifier intuitivement les changements de tonalité de l'audio et générer des avatars de personnages IA dynamiques et expressifs. Par exemple, laissez la jeune femme générée par le modèle de peinture IA ChilloutMix chanter "Melody" de Tao Zhe. Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement générée

EMO peut également permettre à l'avatar de suivre des chansons de rap au rythme rapide, par exemple en demandant à DiCaprio d'interpréter une section de "Godzilla" du rappeur américain Eminem. Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement générée Bien sûr, EMO permet non seulement aux personnages de chanter, mais prend également en charge l'audio parlé dans différentes langues, transformant différents styles de portraits, de peintures, ainsi que des modèles 3D et du contenu généré par l'IA en vidéos animées réalistes. Comme le discours d'Audrey Hepburn. Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement générée

Enfin, EMO peut également créer des liens entre différents personnages, comme Gao Qiqiang qui s'associe au professeur Luo Xiang dans "Cyclone". Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement générée

Aperçu de la méthode

À partir d'une seule image de référence d'un portrait de personnage, notre méthode peut générer une vidéo synchronisée avec le clip audio vocal d'entrée, conservant les mouvements de tête très naturels et les expressions vives du personnage, et cohérente avec les changements de hauteur de l'audio vocal fourni. . En créant une série transparente de vidéos en cascade, le modèle permet de générer de longues vidéos de portraits parlants avec une identité et un mouvement cohérents, essentiels pour les applications du monde réel. L'aperçu de la méthode

Network Pipeline

est présenté dans la figure ci-dessous. Le réseau fédérateur reçoit plusieurs images d'entrée potentielle de bruit et tente de les débruiter en images vidéo consécutives à chaque pas de temps. Le réseau fédérateur a une configuration structurelle UNet similaire à la version SD 1.5 d'origine, en particulier

  1. comme auparavant, fonctionne de la même manière, afin d'assurer la continuité entre les trames générées, le réseau fédérateur embarque un module temporel.

  2. Afin de maintenir la cohérence d'identification des portraits dans les images générées, les chercheurs ont déployé une structure UNet parallèle au réseau fédérateur, appelée ReferenceNet, qui saisit l'image de référence pour obtenir les caractéristiques de référence.

  3. Afin de piloter les mouvements du personnage lorsqu'il parle, les chercheurs ont utilisé une couche audio pour encoder les caractéristiques sonores.

  4. Afin de rendre les mouvements du personnage parlant contrôlables et stables, les chercheurs ont utilisé des localisateurs de visage et des couches de vitesse pour fournir des conditions faibles.

Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement générée

Pour le réseau fédérateur, les chercheurs n'ont pas utilisé d'intégrations d'indices, ils ont donc ajusté la couche d'attention croisée dans la structure SD 1.5 UNet à la couche d'attention de référence. Ces couches modifiées prendront en entrée les entités de référence obtenues à partir de ReferenceNet au lieu d’incorporations de texte.

Stratégie de formation

Le processus de formation est divisé en trois étapes :

La première étape est la pré-formation à l'image, dans laquelle le réseau fédérateur, ReferenceNet et le localisateur de visage sont intégrés dans le processus de formation. Le réseau fédérateur est formé dans une seule image. En entrée, ReferenceNet traite différentes images sélectionnées de manière aléatoire à partir du même clip vidéo. Backbone et ReferenceNet initialisent les poids à partir du SD brut.

Dans la deuxième étape, les chercheurs ont introduit la formation vidéo, ajouté un module temporel et une couche audio, et échantillonné n+f images consécutives du clip vidéo, les n premières images étant des images animées. Le module time initialise les poids d'AnimateDiff.

La dernière étape intègre la couche vitesse, et le chercheur n'entraîne que le module temps et la couche vitesse dans cette étape. Cette approche vise à ignorer intentionnellement la couche audio pendant la formation. Parce que la fréquence de l'expression, des mouvements de la bouche et de la tête de l'orateur est principalement affectée par l'audio. Par conséquent, il semble y avoir une corrélation entre ces éléments, et le modèle peut piloter le mouvement du personnage en fonction de signaux de vitesse plutôt que d'audio. Les résultats expérimentaux montrent que l’entraînement simultané de la couche vitesse et de la couche audio affaiblit la capacité de l’audio à piloter le mouvement des personnages.

Résultats expérimentaux

Les méthodes comparées au cours de l'expérience incluent Wav2Lip, SadTalker et DreamTalk.

La figure 3 montre les résultats de la comparaison entre cette méthode et les méthodes précédentes. On peut observer que lorsqu'il est fourni avec une seule image de référence en entrée, Wav2Lip synthétise généralement une région buccale floue et génère des vidéos caractérisées par des poses de tête statiques et des mouvements oculaires minimes. Dans le cas de DreamTalk, les résultats peuvent déformer le visage d'origine et également limiter la gamme d'expressions faciales et de mouvements de tête. Par rapport à SadTalker et DreamTalk, la méthode proposée dans cette étude est capable de générer une plus grande gamme de mouvements de tête et des expressions faciales plus vives.

Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement générée

L'étude explore plus en détail la génération de vidéos d'avatar dans divers styles de portrait, tels que réaliste, anime et 3D. Les personnages ont été animés en utilisant la même entrée audio vocale, et les résultats ont montré que les vidéos résultantes produisaient une synchronisation labiale à peu près cohérente dans les différents styles.

Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement générée

La figure 5 montre que notre méthode peut générer des expressions faciales et des actions plus riches lors du traitement d'un audio présentant des caractéristiques tonales évidentes. Par exemple, dans la troisième ligne de l’image ci-dessous, un ton aigu déclenchera une expression plus forte et plus vive du personnage. De plus, les images de mouvement vous permettent d'étendre la vidéo générée, c'est-à-dire de générer une vidéo de plus longue durée en fonction de la longueur de l'audio d'entrée. Comme le montrent les figures 5 et 6, notre méthode préserve l'identité du personnage dans des séquences étendues, même lors de grands mouvements.

Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement générée

Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement générée

Tableau 1 Les résultats montrent que cette méthode présente des avantages significatifs dans l'évaluation de la qualité vidéo :

Laissez la fille de Sora Tokyo chanter, Gao Qiqiang change sa voix en Luo Xiang et la vidéo de synchronisation labiale du personnage dAlibaba est parfaitement générée

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le robot DeepMind joue au tennis de table, et son coup droit et son revers glissent dans les airs, battant complètement les débutants humains Le robot DeepMind joue au tennis de table, et son coup droit et son revers glissent dans les airs, battant complètement les débutants humains Aug 09, 2024 pm 04:01 PM

Mais peut-être qu’il ne pourra pas vaincre le vieil homme dans le parc ? Les Jeux Olympiques de Paris battent leur plein et le tennis de table suscite beaucoup d'intérêt. Dans le même temps, les robots ont également réalisé de nouvelles avancées dans le domaine du tennis de table. DeepMind vient tout juste de proposer le premier agent robot apprenant capable d'atteindre le niveau des joueurs amateurs humains de tennis de table de compétition. Adresse papier : https://arxiv.org/pdf/2408.03906 Quelle est la capacité du robot DeepMind à jouer au tennis de table ? Probablement à égalité avec les joueurs amateurs humains : tant en coup droit qu'en revers : l'adversaire utilise une variété de styles de jeu, et le robot peut également résister : recevoir des services avec des tours différents : Cependant, l'intensité du jeu ne semble pas aussi intense que le vieil homme dans le parc. Pour les robots, le tennis de table

Claude aussi est devenu paresseux ! Internaute : apprenez à vous accorder des vacances Claude aussi est devenu paresseux ! Internaute : apprenez à vous accorder des vacances Sep 02, 2024 pm 01:56 PM

La rentrée scolaire est sur le point de commencer, et ce ne sont pas seulement les étudiants qui sont sur le point de commencer le nouveau semestre qui doivent prendre soin d’eux-mêmes, mais aussi les grands modèles d’IA. Il y a quelque temps, Reddit était rempli d'internautes se plaignant de la paresse de Claude. « Son niveau a beaucoup baissé, il fait souvent des pauses et même la sortie devient très courte. Au cours de la première semaine de sortie, il pouvait traduire un document complet de 4 pages à la fois, mais maintenant il ne peut même plus produire une demi-page. !" https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ dans un post intitulé "Totalement déçu par Claude", plein de

La première griffe mécanique ! Yuanluobao est apparu à la World Robot Conference 2024 et a lancé le premier robot d'échecs pouvant entrer dans la maison La première griffe mécanique ! Yuanluobao est apparu à la World Robot Conference 2024 et a lancé le premier robot d'échecs pouvant entrer dans la maison Aug 21, 2024 pm 07:33 PM

Le 21 août, la Conférence mondiale sur les robots 2024 s'est tenue en grande pompe à Pékin. La marque de robots domestiques de SenseTime, "Yuanluobot SenseRobot", a dévoilé toute sa famille de produits et a récemment lancé le robot de jeu d'échecs Yuanluobot AI - Chess Professional Edition (ci-après dénommé "Yuanluobot SenseRobot"), devenant ainsi le premier robot d'échecs au monde pour le maison. En tant que troisième produit robot jouant aux échecs de Yuanluobo, le nouveau robot Guoxiang a subi un grand nombre de mises à niveau techniques spéciales et d'innovations en matière d'IA et de machines d'ingénierie. Pour la première fois, il a réalisé la capacité de ramasser des pièces d'échecs en trois dimensions. grâce à des griffes mécaniques sur un robot domestique et effectuer des fonctions homme-machine telles que jouer aux échecs, tout le monde joue aux échecs, réviser la notation, etc.

Lors de la World Robot Conference, ce robot domestique porteur de « l'espoir des futurs soins aux personnes âgées » a été entouré Lors de la World Robot Conference, ce robot domestique porteur de « l'espoir des futurs soins aux personnes âgées » a été entouré Aug 22, 2024 pm 10:35 PM

Lors de la World Robot Conference qui se tient à Pékin, l'exposition de robots humanoïdes est devenue le centre absolu de la scène. Sur le stand Stardust Intelligent, l'assistant robot IA S1 a réalisé trois performances majeures de dulcimer, d'arts martiaux et de calligraphie. un espace d'exposition, capable à la fois d'arts littéraires et martiaux, a attiré un grand nombre de publics professionnels et de médias. Le jeu élégant sur les cordes élastiques permet au S1 de démontrer un fonctionnement fin et un contrôle absolu avec vitesse, force et précision. CCTV News a réalisé un reportage spécial sur l'apprentissage par imitation et le contrôle intelligent derrière "Calligraphy". Le fondateur de la société, Lai Jie, a expliqué que derrière les mouvements soyeux, le côté matériel recherche le meilleur contrôle de la force et les indicateurs corporels les plus humains (vitesse, charge). etc.), mais du côté de l'IA, les données réelles de mouvement des personnes sont collectées, permettant au robot de devenir plus fort lorsqu'il rencontre une situation forte et d'apprendre à évoluer rapidement. Et agile

L'équipe de Li Feifei a proposé ReKep pour donner aux robots une intelligence spatiale et intégrer GPT-4o L'équipe de Li Feifei a proposé ReKep pour donner aux robots une intelligence spatiale et intégrer GPT-4o Sep 03, 2024 pm 05:18 PM

Intégration profonde de la vision et de l'apprentissage des robots. Lorsque deux mains de robot travaillent ensemble en douceur pour plier des vêtements, verser du thé et emballer des chaussures, associées au robot humanoïde 1X NEO qui a fait la une des journaux récemment, vous pouvez avoir le sentiment : nous semblons entrer dans l'ère des robots. En fait, ces mouvements soyeux sont le produit d’une technologie robotique avancée + d’une conception de cadre exquise + de grands modèles multimodaux. Nous savons que les robots utiles nécessitent souvent des interactions complexes et exquises avec l’environnement, et que l’environnement peut être représenté comme des contraintes dans les domaines spatial et temporel. Par exemple, si vous souhaitez qu'un robot verse du thé, le robot doit d'abord saisir la poignée de la théière et la maintenir verticalement sans renverser le thé, puis la déplacer doucement jusqu'à ce que l'embouchure de la théière soit alignée avec l'embouchure de la tasse. , puis inclinez la théière selon un certain angle. ce

Annonce des prix ACL 2024 : l'un des meilleurs articles sur le déchiffrement Oracle par HuaTech, GloVe Time Test Award Annonce des prix ACL 2024 : l'un des meilleurs articles sur le déchiffrement Oracle par HuaTech, GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

Les contributeurs ont beaucoup gagné de cette conférence ACL. L'ACL2024, d'une durée de six jours, se tient à Bangkok, en Thaïlande. ACL est la plus grande conférence internationale dans le domaine de la linguistique informatique et du traitement du langage naturel. Elle est organisée par l'Association internationale pour la linguistique informatique et a lieu chaque année. L'ACL s'est toujours classée première en termes d'influence académique dans le domaine de la PNL, et c'est également une conférence recommandée par le CCF-A. La conférence ACL de cette année est la 62e et a reçu plus de 400 travaux de pointe dans le domaine de la PNL. Hier après-midi, la conférence a annoncé le meilleur article et d'autres récompenses. Cette fois, il y a 7 Best Paper Awards (deux inédits), 1 Best Theme Paper Award et 35 Outstanding Paper Awards. La conférence a également décerné 3 Resource Paper Awards (ResourceAward) et Social Impact Award (

Hongmeng Smart Travel S9 et conférence de lancement de nouveaux produits avec scénario complet, un certain nombre de nouveaux produits à succès ont été lancés ensemble Hongmeng Smart Travel S9 et conférence de lancement de nouveaux produits avec scénario complet, un certain nombre de nouveaux produits à succès ont été lancés ensemble Aug 08, 2024 am 07:02 AM

Cet après-midi, Hongmeng Zhixing a officiellement accueilli de nouvelles marques et de nouvelles voitures. Le 6 août, Huawei a organisé la conférence de lancement de nouveaux produits Hongmeng Smart Xingxing S9 et Huawei, réunissant la berline phare intelligente panoramique Xiangjie S9, le nouveau M7Pro et Huawei novaFlip, MatePad Pro 12,2 pouces, le nouveau MatePad Air, Huawei Bisheng With de nombreux nouveaux produits intelligents tous scénarios, notamment la série d'imprimantes laser X1, FreeBuds6i, WATCHFIT3 et l'écran intelligent S5Pro, des voyages intelligents, du bureau intelligent aux vêtements intelligents, Huawei continue de construire un écosystème intelligent complet pour offrir aux consommateurs une expérience intelligente du Internet de tout. Hongmeng Zhixing : Autonomisation approfondie pour promouvoir la modernisation de l'industrie automobile intelligente Huawei s'associe à ses partenaires de l'industrie automobile chinoise pour fournir

Le premier grand modèle d'interface utilisateur en Chine est lancé ! Le grand modèle de Motiff crée le meilleur assistant pour les concepteurs et optimise le flux de travail de conception d'interface utilisateur Le premier grand modèle d'interface utilisateur en Chine est lancé ! Le grand modèle de Motiff crée le meilleur assistant pour les concepteurs et optimise le flux de travail de conception d'interface utilisateur Aug 19, 2024 pm 04:48 PM

L’intelligence artificielle se développe plus rapidement que vous ne l’imaginez. Depuis que GPT-4 a introduit la technologie multimodale aux yeux du public, les grands modèles multimodaux sont entrés dans une phase de développement rapide, passant progressivement de la recherche et du développement de modèles purs à l'exploration et à l'application dans des domaines verticaux, et sont profondément intégrés dans tous les horizons. Dans le domaine de l'interaction des interfaces, des géants internationaux de la technologie tels que Google et Apple ont investi dans la recherche et le développement de grands modèles d'interface utilisateur multimodaux, ce qui est considéré comme la seule voie à suivre pour la révolution de l'IA des téléphones mobiles. C’est dans ce contexte qu’est né le premier modèle d’assurance-chômage à grande échelle en Chine. Le 17 août, lors de la conférence internationale sur la conception d'expériences IXDC2024, Motiff, un outil de conception à l'ère de l'IA, a lancé son modèle multimodal d'interface utilisateur développé indépendamment - Motiff Model. Il s'agit du premier outil de conception d'interface utilisateur au monde

See all articles