Une ligne de texte génère une scène dynamique 3D : le modèle « one step » de Meta est assez puissant

Il suffit de saisir une ligne de texte pour générer une scène dynamique 3D ?

Oui, certains chercheurs l'ont déjà fait. On voit que l'effet de génération actuel en est encore à ses balbutiements et ne peut générer que quelques objets simples. Cependant, cette méthode « en une étape » a quand même attiré l'attention d'un grand nombre de chercheurs :

Dans un article récent, des chercheurs de Meta ont proposé pour la première fois que des images 3D puissent être générées à partir de texte. descriptions Méthode de scène dynamique MAV3D (Make-A-Video3D).

• Lien papier : https://arxiv.org/abs/2301.11280
• Lien du projet : https://make-a-video3d.github.io/

Plus précisément, cette méthode utilise des champs de rayonnement neuronal dynamiques 4D (NeRF) pour optimiser la cohérence de l'apparence, de la densité et du mouvement de la scène en interrogeant un modèle basé sur la diffusion texte-vidéo (T2V). La sortie vidéo dynamique générée par le texte fourni peut être visualisée sous n'importe quel angle ou angle de caméra et peut être synthétisée dans n'importe quel environnement 3D.

MAV3D ne nécessite aucune donnée 3D ou 4D, le modèle T2V est uniquement entraîné sur des paires texte-image et des vidéos non étiquetées.

Jetons un coup d'oeil à l'effet de MAV3D générant des scènes dynamiques 4D à partir du texte :

De plus, il peut passer également directement de l'image à 4D , l'effet est le suivant :

Les chercheurs ont prouvé l'efficacité de la méthode grâce à des expériences quantitatives et qualitatives complètes, et la base de référence interne précédemment établie a également été améliorée. Il est rapporté qu'il s'agit de la première méthode permettant de générer des scènes dynamiques 3D basées sur des descriptions textuelles.

Méthode

Le but de cette recherche est de développer une méthode capable de générer des représentations dynamiques de scènes 3D à partir de descriptions en langage naturel. C'est extrêmement difficile car il n'y a ni texte, ni paires 3D, ni données de scène 3D dynamiques pour la formation. Par conséquent, nous avons choisi de nous appuyer sur un modèle de diffusion texte-vidéo (T2V) pré-entraîné comme scène préalable, qui a appris à modéliser l'apparence et le mouvement réalistes de la scène grâce à un entraînement sur des images, des textes et des images à grande échelle. données vidéo.

À partir d'un niveau supérieur, étant donné une invite textuelle p, l'étude peut s'adapter à une représentation 4D, qui simule une représentation 4D qui correspond à l'invite à tout moment dans l'espace et dans le temps. . Sans données d'entraînement appariées, l'étude ne peut cependant pas superviser directement la sortie de , étant donné une séquence de poses de caméra ​#🎜🎜 ; # ​ # 🎜🎜#Vous pouvez restituer une séquence d'images de et les empiler dans une vidéo V. L'invite textuelle p et la vidéo V sont ensuite transmises au modèle de diffusion T2V gelé et pré-entraîné, qui évalue l'authenticité et l'alignement rapide de la vidéo et utilise le SDS (Score Distillation Sampling) pour calculer la direction de mise à jour du paramètre de scène θ. Le pipeline ci-dessus peut être considéré comme une extension de DreamFusion, ajoutant une dimension temporelle au modèle de scène et utilisant le modèle T2V au lieu du texte en image (T2I ) pour la supervision. Cependant, parvenir à une génération de texte en 4D de haute qualité nécessite davantage d'innovation :

Première, nouvelle représentation 4D flexible de la modélisation du mouvement de la scène ;#🎜 🎜#

Deuxièmement, un schéma d'optimisation statique à dynamique à plusieurs niveaux est nécessaire pour améliorer la qualité de la vidéo et améliorer la convergence des modèles, qui utilise plusieurs Un régularisateur de mouvement est utilisé pour générer un mouvement réel ;

Voir l'image ci-dessous pour des instructions spécifiques :
• #🎜 🎜# Experiment

Dans l'expérience, les chercheurs ont évalué la capacité de MAV3D à générer des scènes dynamiques à partir de descriptions textuelles. Tout d’abord, les chercheurs ont évalué l’efficacité de la méthode sur la tâche Text-To-4D. Il est rapporté que MAV3D est la première solution à cette tâche, la recherche a donc développé trois méthodes alternatives comme référence. Deuxièmement, nous évaluons les versions simplifiées des modèles de sous-tâches T2V et Text-To-3D et les comparons aux références existantes dans la littérature. Troisièmement, des études approfondies sur l’ablation justifient la conception de la méthode. Quatrièmement, les expériences décrivent le processus de conversion du NeRF dynamique en maillages dynamiques, étendant finalement le modèle aux tâches Image-to-4D. L'étude utilise CLIP R-Precision pour évaluer la génération. de vidéo, qui mesure la cohérence entre le texte et les scènes générées. La métrique rapportée est la précision de la récupération de l'invite de saisie à partir de l'image rendue. Nous avons utilisé la variante ViT-B/32 de CLIP et extrait les images à différentes vues et pas de temps, et avons également utilisé quatre mesures qualitatives en demandant aux évaluateurs humains leurs préférences sur deux vidéos générées, respectivement : (i) la qualité vidéo (). ii) fidélité aux invites textuelles ; (iii) quantité d'activité (iv) réalisme du mouvement ; Nous avons évalué toutes les lignes de base et ablations utilisées dans la segmentation des invites de texte.

Les figures 1 et 2 sont des exemples. Pour des visualisations plus détaillées, consultez make-a-video3d.github.io.

result# 🎜🎜#

Le tableau 1 montre la comparaison avec la ligne de base (R - précision et préférence humaine). Les évaluations humaines sont présentées sous forme de pourcentage de votes en faveur de la majorité de base par rapport au modèle dans un environnement spécifique.

Le tableau 2 présente les résultats de l'expérience d'ablation : # 🎜🎜#

rendu en temps réel#🎜 🎜## 🎜🎜# Les applications telles que la réalité virtuelle et les jeux utilisant des moteurs graphiques traditionnels nécessitent des formats standards tels que les maillages de texture. Les modèles HexPlane peuvent être facilement convertis en maillages animés comme indiqué ci-dessous. Tout d’abord, un simple maillage est extrait du champ d’opacité généré à chaque instant t à l’aide de l’algorithme du marching cube, suivi d’une extraction de maillage (pour plus d’efficacité) et de la suppression des petits composants connectés bruyants. L'algorithme XATLAS est utilisé pour mapper les sommets du maillage sur un atlas de textures, la texture étant initialisée à l'aide de la couleur HexPlane moyennée dans une petite sphère centrée sur chaque sommet. Enfin, les textures sont encore optimisées pour mieux correspondre à certains exemples d'images rendues par HexPlane à l'aide de maillages différenciables. Cela produira une collection de maillages de textures pouvant être lus dans n'importe quel moteur 3D standard.

Image to 4D

La figure 6 et la figure 10 montrent ceci La méthode est capable de générer de la profondeur et du mouvement à partir d’une image d’entrée donnée, générant ainsi des ressources 4D.

# 🎜 🎜#

#🎜 🎜#

Pour plus de détails sur la recherche, veuillez vous référer à l'original papier.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!