La communauté MoDa lance l'outil de génération vidéo AI Live Portait, qui peut faire parler les photos en un seul clic

La communauté MoDa a lancé un outil de génération de vidéo IA appelé Live Portrait, qui peut faire parler les personnages de la photo en un seul clic

Alibaba Cloud a lancé un outil de génération de vidéo humaine numérique appelé Live Portrait. Il suffit aux utilisateurs de télécharger une photo et un texte ou une voix pour générer une vidéo humaine numérique parlante. Cet outil peut être utilisé dans de nombreux scénarios tels que les diffusions vidéo en direct, les robots de chat et le marketing d'entreprise. Actuellement, cet outil est ouvert à l'expérience dans l'Espace de Création de la Communauté Magique

Avec la popularité des modèles d'auto-conversation à grande échelle et des modèles de peinture d'IA, la communauté des chercheurs pousse progressivement la recherche sur l'IA générative vers davantage de modalités, parmi lesquelles la technologie de génération vidéo d'IA a attiré beaucoup d'attention. Cette technologie peut convertir des informations telles que du texte ou de l'audio en informations sur les mouvements du visage pour générer des photos animées avec des images de personnages, abaissant ainsi efficacement le seuil de tournage et de production vidéo

Le dernier outil Live Portait d'Alibaba Cloud combine le module de mouvement et le module de génération. Cet outil utilise l'algorithme de prédiction de la forme de la bouche développé par Alibaba Cloud, qui améliore considérablement la précision de la génération de la forme de la bouche et est considérablement amélioré par rapport aux méthodes traditionnelles. Au cours de la phase de formation, un contrôle explicite de la posture est ajouté, de sorte que la vidéo générée puisse montrer n'importe quelle action sans avoir besoin d'une vidéo de base, améliorant ainsi considérablement le réalisme de la parole humaine numérique. De plus, grâce à la technologie de contrôle oculaire actif, Live Portait peut ajouter un mouvement naturel aux globes oculaires, rendant les résultats générés plus proches des effets réels. Selon les rapports, les technologies liées au Live Portait ont été incluses dans les principales conférences internationales sur l'IA telles que CVPR et ICCV

Selon les informations de la communauté MoDa, Live Portait propose deux méthodes parmi lesquelles les utilisateurs peuvent choisir après avoir téléchargé des photos, à savoir la méthode textuelle et la méthode audio. En mode texte, les utilisateurs peuvent choisir parmi 28 voix différentes, dont des voix en mandarin, en anglais, en cantonais et pour enfants. De plus, Live Portait propose également une sélection de modèles légers pour aider les utilisateurs à générer des vidéos plus rapidement

Zhang Bang, responsable de l'algorithme de l'outil, a déclaré : « Live Portait intègre un certain nombre de technologies innovantes développées indépendamment par l'équipe, notamment la capacité de générer des animations faciales réalistes à l'aide d'une seule image, dépassant ainsi les limites des réseaux de génération d'adversaires traditionnels. Avec l'évolution continue de la technologie, les vidéos générées par images ont de larges perspectives d'application et devraient devenir un outil important permettant aux entreprises d'améliorer l'efficacité de leur production et de réduire leurs coûts.

Il est entendu que les axes de recherche de l'équipe incluent l'humain numérique, la génération d'IA de modèles 3D, le rendu haute fidélité et l'interaction humaine-machine naturelle. Elle a publié plus de 50 articles lors de conférences internationales de premier plan

.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!