DreamFace : Générer un humain numérique 3D en une phrase ?

Aujourd'hui, avec le développement rapide de la science et de la technologie, la recherche dans les domaines de l'intelligence artificielle générative et de l'infographie attire de plus en plus l'attention. Des industries telles que la production cinématographique et télévisuelle et le développement de jeux sont confrontées à d'énormes défis et opportunités. Cet article vous présentera une recherche dans le domaine de la génération 3D - DreamFace, qui est le premier cadre de génération 3D progressive guidé par texte qui prend en charge la génération d'actifs 3D prête pour la production, permettant aux personnes numériques 3D hyperréalistes basées sur la génération de texte.

Ce travail a été accepté par Transactions on Graphics, la plus grande revue internationale dans le domaine de l'infographie, et sera présenté au SIGGRAPH 2023, la plus grande conférence internationale d'infographie.

Site Web du projet : https://sites.google.com/view/dreamface

Article pré-imprimé : https://arxiv.org/abs/2304.03117

Démo Web : https://hyperhuman.top

HuggingFace Space : https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

Introduction

Technologie de génération d'autotextes et d'images Depuis Grâce à sa grande percée, la technologie de génération 3D est progressivement devenue le centre de la recherche scientifique et de l'industrie. Cependant, les technologies de génération 3D actuellement sur le marché sont encore confrontées à de nombreux défis, notamment des problèmes de compatibilité des pipelines CG, des problèmes de précision et des problèmes de vitesse d'exécution.

Afin de résoudre ces problèmes, l'équipe R&D de Yingmo Technology et de l'Université ShanghaiTech a proposé un cadre de génération 3D progressive guidé par texte - DreamFace. Le framework peut générer directement des actifs 3D conformes aux normes de production CG, avec une plus grande précision, une vitesse d'exécution plus rapide et une meilleure compatibilité des pipelines CG. Cet article présentera en détail les principales fonctions de DreamFace et explorera ses perspectives d'application dans la production cinématographique et télévisuelle, le développement de jeux et d'autres industries.

Présentation du framework DreamFace

Le framework DreamFace comprend principalement trois modules : la génération de géométrie, la génération de diffusion de matériaux basée sur la physique et la génération de capacités d'animation. Ces trois modules se complètent pour parvenir à une technologie de génération 3D efficace et fiable.

Génération de géométrie

La tâche principale du module de génération de géométrie est de générer un modèle géométrique cohérent basé sur des invites de texte. DreamFace adopte un cadre de sélection basé sur CLIP (Contrastive Language-Image Pre-Training), qui sélectionne d'abord le meilleur modèle géométrique approximatif parmi des candidats échantillonnés aléatoirement dans l'espace des paramètres géométriques du visage, puis le sculpte via le modèle de diffusion implicite (MLD). détails pour rendre le modèle de tête plus cohérent avec les indices textuels. De plus, le framework prend en charge la génération de coiffures et de couleurs en fonction d'invites textuelles. Génération de diffusion de matériaux à base physique DreamFace a d'abord affiné le LDM pré-entraîné sur l'ensemble de données de matériaux UV à grande échelle collecté pour obtenir deux modèles de diffusion LDM. Un programme de formation conjoint est ensuite utilisé pour coordonner deux processus de diffusion, l'un pour débruiter directement les cartes de texture UV et l'autre pour les images rendues supervisées.

Pour garantir que les cartes de textures créées ne contiennent pas de caractéristiques ou de situations d'éclairage indésirables, tout en conservant la diversité, une stratégie d'apprentissage des repères a été conçue. L'équipe utilise deux méthodes pour générer des cartes de réflexion diffuse de haute qualité : (1) Prompt Tuning. Contrairement aux signaux textuels spécifiques à un domaine fabriqués à la main, DreamFace combine deux signaux textuels continus spécifiques au domaine, Cd et Cu, avec les signaux textuels correspondants, qui seront optimisés lors de la formation du débruiteur U-Net pour éviter l'instabilité et l'écriture manuelle fastidieuse des invites. (2) Masquage des zones autres que le visage. Le processus de débruitage LDM sera en outre contraint par des masques de zone non faciale pour garantir que la carte diffuse résultante ne contient aucun élément indésirable.

Enfin, des textures 4K à base physique sont générées via le module super-résolution pour un rendu de haute qualité.

# 🎜 🎜#

animation génération de capacités# 🎜🎜#

DreamFace Le modèle généré a des capacités d'animation. En prédisant des déformations uniques et en animant le modèle neutre généré, vous pouvez produire des animations personnalisées. L'approche d'animation faciale neuronale de DreamFace offre des détails d'expression plus fins et permet des performances finement capturées par rapport aux approches utilisant des BlendShapes génériques pour le contrôle de l'expression.

Applications et Outlook

DreamFace Framework dans D'excellents résultats ont été obtenus dans la génération de célébrités et de personnages sur la base de descriptions. De plus, l'édition de textures à l'aide de repères et d'esquisses est prise en charge pour les effets d'édition globaux tels que le vieillissement et le maquillage. En combinant davantage de masques ou de croquis, divers effets peuvent être créés, tels que des tatouages, des barbes et des taches de naissance. Le cadre de génération progressive de DreamFace fournit des solutions pour les tâches complexes de génération 3D et constitue une solution efficace qui devrait promouvoir davantage de recherches et de développements technologiques similaires. En outre, la génération de diffusion de matériaux physiques et la génération de capacités d'animation favoriseront l'application de la technologie de génération 3D dans la production cinématographique et télévisuelle, le développement de jeux et d'autres industries connexes. Attendons de voir son développement et ses applications dans le futur.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!