Table des matières
Aperçu technique
Résultats expérimentaux
Maison Périphériques technologiques IA Stable Video 3D fait des débuts choquants : une seule image génère une vidéo 3D sans angles morts et les poids des modèles sont ouverts

Stable Video 3D fait des débuts choquants : une seule image génère une vidéo 3D sans angles morts et les poids des modèles sont ouverts

Mar 20, 2024 pm 10:31 PM
ai 数据

Stability AI compte un nouveau membre dans sa grande famille de modèles.

Hier, après avoir lancé Stable Diffusion et Stable Video Diffusion, Stability AI a apporté à la communauté un grand modèle de génération de vidéo 3D "Stable Video 3D" (SV3D en abrégé).

Ce modèle est construit sur la base de la diffusion vidéo stable, son principal avantage est qu'il améliore considérablement la qualité de la génération 3D et la cohérence multi-vues. Par rapport au précédent Stable Zero123 lancé par Stability AI et au Zero123-XL open source commun, l'effet de ce modèle est encore meilleur.

Actuellement, Stable Video 3D prend en charge à la fois une utilisation commerciale, qui nécessite l'adhésion à Stability AI (adhésion) et une utilisation non commerciale, où les utilisateurs peuvent télécharger les poids du modèle sur Hugging Face.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Stability AI propose deux variantes de modèle, à savoir SV3D_u et SV3D_p. SV3D_u génère une vidéo orbitale basée sur une seule entrée d'image sans nécessiter de réglages de caméra, tandis que SV3D_p étend encore les capacités de génération en adaptant une seule image et une perspective orbitale, permettant aux utilisateurs de créer des vidéos 3D le long d'un chemin de caméra spécifié.

Actuellement, le document de recherche sur Stable Video 3D a été publié, avec trois auteurs principaux.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放


  • Adresse papier : https://stability.ai/s/SV3D_report.pdf
  • Adresse du blog : https://stability.ai/news/introducing-stable-video- 3d
  • Huggingface Adresse : https://huggingface.co/stabilityai/sv3d

Aperçu technique

Stable Video 3D a réalisé des progrès significatifs dans le domaine de la génération 3D, en particulier dans la synthèse de génération de vues inédites. , NVS).

Les méthodes précédentes avaient souvent tendance à résoudre le problème des angles de vision limités et des entrées incohérentes, tandis que Stable Video 3D est capable de fournir une vue cohérente sous n'importe quel angle donné et de bien généraliser. En conséquence, le modèle augmente non seulement la contrôlabilité de la pose, mais garantit également une apparence cohérente des objets sur plusieurs vues, améliorant ainsi les problèmes clés affectant la génération 3D réaliste et précise.

Comme le montre la figure ci-dessous, par rapport à Stable Zero123 et Zero-XL, Stable Video 3D est capable de générer de nouvelles vues multiples avec des détails plus forts, une plus grande fidélité à l'image d'entrée et des points de vue multiples plus cohérents.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

De plus, Stable Video 3D exploite sa cohérence multi-vues pour optimiser les champs de radiance neuronale 3D (NeRF) afin d'améliorer la qualité des maillages 3D générés directement à partir de nouvelles vues.

À cette fin, Stability AI a conçu un masque de perte d'échantillonnage par distillation fractionnée qui améliore encore la qualité 3D des régions invisibles dans la vue prédite. Également pour atténuer les problèmes d'éclairage, Stable Video 3D utilise un modèle d'éclairage découplé optimisé avec des formes et des textures 3D.

L'image ci-dessous montre un exemple de génération de maillage 3D améliorée grâce à l'optimisation 3D lors de l'utilisation du modèle Stable Video 3D et de sa sortie.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

L'image ci-dessous montre la comparaison des résultats de maillage 3D générés à l'aide de Stable Video 3D avec ceux générés par EscherNet et Stable Zero123.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Détails de l'architecture

L'architecture du modèle Stable Video 3D est illustrée dans la figure 2 ci-dessous. Elle est construite sur la base de l'architecture Stable Video Diffusion et contient un UNet avec plusieurs couches, chacune d'elles. qui contient également une séquence de blocs résiduels avec une couche Conv3D et deux blocs de transformation avec des couches d'attention (spatiale et temporelle).

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Le processus spécifique est le suivant :

(i) Supprimez les conditions vectorielles "fps id" et "motion bucket id" car elles n'ont rien à voir avec Stable Video 3D

(ii) Le l'image conditionnelle passe L'encodeur VAE de Stable Video Diffusion est intégré dans l'espace latent puis connecté à l'entrée d'état latent du bruit zt au pas de temps de bruit t menant à UNet

(iii) La matrice CLIPembedding de l'image conditionnelle est fournie ; à chaque bloc de transformateur Les couches d'attention croisée agissent comme des clés et des valeurs, et les requêtes deviennent des caractéristiques de la couche correspondante

(iv) La trajectoire de la caméra est introduite dans le bloc résiduel le long du pas de temps du bruit de diffusion ; Les angles de pose de la caméra ei et ai et le pas de temps de bruit t sont d'abord intégrés dans l'intégration de position sinusoïdale, puis les intégrations de pose de caméra sont concaténées ensemble pour une transformation linéaire et ajoutées à l'intégration de pas de temps de bruit, et enfin introduites dans chaque bloc résiduel et est ajouté aux fonctionnalités d’entrée du bloc.

De plus, Stability AI a conçu des orbites statiques et des orbites dynamiques pour étudier l'impact des ajustements de pose de la caméra, comme le montre la figure 3 ci-dessous.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Sur une orbite statique, la caméra tourne autour de l'objet dans un azimut équidistant en utilisant le même angle d'élévation que l'image de condition. L'inconvénient est qu'en fonction de l'angle d'élévation ajusté, vous risquez de ne pas obtenir d'informations sur le haut ou le bas de l'objet. Dans une orbite dynamique, les angles d'azimut peuvent être inégaux et les angles d'élévation de chaque vue peuvent également être différents.

Pour construire une orbite dynamique, Stability AI échantillonne une orbite statique, ajoute un petit bruit aléatoire à son azimut et une combinaison pondérée aléatoirement de sinusoïdes de différentes fréquences à son élévation. Cela assure une fluidité temporelle et garantit que la trajectoire de la caméra se termine le long de la même boucle d'azimut et d'élévation que l'image de condition.

Résultats expérimentaux

Stability AI évalue les effets multi-vues composites Stable Video 3D sur des orbites statiques et dynamiques sur des ensembles de données GSO et OmniObject3D invisibles. Les résultats, présentés dans les tableaux 1 à 4 ci-dessous, montrent que Stable Video 3D atteint des performances de pointe en matière de nouvelle synthèse multi-vues.

Le Tableau 1 et le Tableau 3 montrent les résultats de Stable Video 3D par rapport à d'autres modèles sur des orbites statiques, montrant que même le modèle SV3D_u sans ajustement de pose fonctionne mieux que toutes les méthodes précédentes.

Les résultats de l'analyse d'ablation montrent que SV3D_c et SV3D_p surpassent SV3D_u dans la génération de trajectoires statiques, bien que cette dernière soit entraînée exclusivement sur des trajectoires statiques.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Le Tableau 2 et le Tableau 4 ci-dessous montrent les résultats de génération d'orbites dynamiques, y compris les modèles d'ajustement de pose SV3D_c et SV3D_p, ce dernier atteignant SOTA sur toutes les métriques.

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Les résultats de la comparaison visuelle dans la figure 6 ci-dessous démontrent en outre que par rapport aux travaux précédents, les images générées par Stable Video 3D sont plus détaillées, plus fidèles à l'image conditionnelle et plus cohérentes dans plusieurs perspectives. .

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Veuillez vous référer à l'article original pour plus de détails techniques et de résultats expérimentaux.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Comment utiliser MySQL après l'installation Comment utiliser MySQL après l'installation Apr 08, 2025 am 11:48 AM

L'article présente le fonctionnement de la base de données MySQL. Tout d'abord, vous devez installer un client MySQL, tel que MySQLWorkBench ou le client de ligne de commande. 1. Utilisez la commande MySQL-UROot-P pour vous connecter au serveur et connecter avec le mot de passe du compte racine; 2. Utilisez Createdatabase pour créer une base de données et utilisez Sélectionner une base de données; 3. Utilisez CreateTable pour créer une table, définissez des champs et des types de données; 4. Utilisez InsertInto pour insérer des données, remettre en question les données, mettre à jour les données par mise à jour et supprimer les données par Supprimer. Ce n'est qu'en maîtrisant ces étapes, en apprenant à faire face à des problèmes courants et à l'optimisation des performances de la base de données que vous pouvez utiliser efficacement MySQL.

Comment définir le délai de Vue Axios Comment définir le délai de Vue Axios Apr 07, 2025 pm 10:03 PM

Afin de définir le délai d'expiration de Vue Axios, nous pouvons créer une instance AxiOS et spécifier l'option Timeout: dans les paramètres globaux: vue.prototype. $ Axios = axios.create ({timeout: 5000}); Dans une seule demande: ce. $ axios.get ('/ api / utilisateurs', {timeout: 10000}).

Comment résoudre MySQL ne peut pas être démarré Comment résoudre MySQL ne peut pas être démarré Apr 08, 2025 pm 02:21 PM

Il existe de nombreuses raisons pour lesquelles la startup MySQL échoue, et elle peut être diagnostiquée en vérifiant le journal des erreurs. Les causes courantes incluent les conflits de port (vérifier l'occupation du port et la configuration de modification), les problèmes d'autorisation (vérifier le service exécutant les autorisations des utilisateurs), les erreurs de fichier de configuration (vérifier les paramètres des paramètres), la corruption du répertoire de données (restaurer les données ou reconstruire l'espace de la table), les problèmes d'espace de la table InNODB (vérifier les fichiers IBDATA1), la défaillance du chargement du plug-in (vérification du journal des erreurs). Lors de la résolution de problèmes, vous devez les analyser en fonction du journal d'erreur, trouver la cause profonde du problème et développer l'habitude de sauvegarder régulièrement les données pour prévenir et résoudre des problèmes.

Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Apr 08, 2025 pm 12:24 PM

Traiter efficacement 7 millions d'enregistrements et créer des cartes interactives avec la technologie géospatiale. Cet article explore comment traiter efficacement plus de 7 millions d'enregistrements en utilisant Laravel et MySQL et les convertir en visualisations de cartes interactives. Exigences initiales du projet de défi: extraire des informations précieuses en utilisant 7 millions d'enregistrements dans la base de données MySQL. Beaucoup de gens considèrent d'abord les langages de programmation, mais ignorent la base de données elle-même: peut-il répondre aux besoins? La migration des données ou l'ajustement structurel est-il requis? MySQL peut-il résister à une charge de données aussi importante? Analyse préliminaire: les filtres et les propriétés clés doivent être identifiés. Après analyse, il a été constaté que seuls quelques attributs étaient liés à la solution. Nous avons vérifié la faisabilité du filtre et établi certaines restrictions pour optimiser la recherche. Recherche de cartes basée sur la ville

Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Apr 08, 2025 pm 12:27 PM

Ingénieur backend à distance Emploi Vacant Société: Emplacement du cercle: Bureau à distance Type d'emploi: Salaire à temps plein: 130 000 $ - 140 000 $ Description du poste Participez à la recherche et au développement des applications mobiles Circle et des fonctionnalités publiques liées à l'API couvrant l'intégralité du cycle de vie de développement logiciel. Les principales responsabilités complètent indépendamment les travaux de développement basés sur RubyOnRails et collaborent avec l'équipe frontale React / Redux / Relay. Créez les fonctionnalités de base et les améliorations des applications Web et travaillez en étroite collaboration avec les concepteurs et le leadership tout au long du processus de conception fonctionnelle. Promouvoir les processus de développement positifs et hiérarchiser la vitesse d'itération. Nécessite plus de 6 ans de backend d'applications Web complexe

Comment optimiser les performances de la base de données après l'installation de MySQL Comment optimiser les performances de la base de données après l'installation de MySQL Apr 08, 2025 am 11:36 AM

L'optimisation des performances MySQL doit commencer à partir de trois aspects: configuration d'installation, indexation et optimisation des requêtes, surveillance et réglage. 1. Après l'installation, vous devez ajuster le fichier my.cnf en fonction de la configuration du serveur, tel que le paramètre innodb_buffer_pool_size, et fermer query_cache_size; 2. Créez un index approprié pour éviter les index excessifs et optimiser les instructions de requête, telles que l'utilisation de la commande Explication pour analyser le plan d'exécution; 3. Utilisez le propre outil de surveillance de MySQL (ShowProcessList, Showstatus) pour surveiller la santé de la base de données, et sauvegarde régulièrement et organisez la base de données. Ce n'est qu'en optimisant en continu ces étapes que les performances de la base de données MySQL peuvent être améliorées.

Comment optimiser les performances MySQL pour les applications de haute charge? Comment optimiser les performances MySQL pour les applications de haute charge? Apr 08, 2025 pm 06:03 PM

Guide d'optimisation des performances de la base de données MySQL dans les applications à forte intensité de ressources, la base de données MySQL joue un rôle crucial et est responsable de la gestion des transactions massives. Cependant, à mesure que l'échelle de l'application se développe, les goulots d'étranglement des performances de la base de données deviennent souvent une contrainte. Cet article explorera une série de stratégies efficaces d'optimisation des performances MySQL pour garantir que votre application reste efficace et réactive dans des charges élevées. Nous combinerons des cas réels pour expliquer les technologies clés approfondies telles que l'indexation, l'optimisation des requêtes, la conception de la base de données et la mise en cache. 1. La conception de l'architecture de la base de données et l'architecture optimisée de la base de données sont la pierre angulaire de l'optimisation des performances MySQL. Voici quelques principes de base: sélectionner le bon type de données et sélectionner le plus petit type de données qui répond aux besoins peut non seulement économiser un espace de stockage, mais également améliorer la vitesse de traitement des données.

Comprendre les propriétés acides: les piliers d'une base de données fiable Comprendre les propriétés acides: les piliers d'une base de données fiable Apr 08, 2025 pm 06:33 PM

Une explication détaillée des attributs d'acide de base de données Les attributs acides sont un ensemble de règles pour garantir la fiabilité et la cohérence des transactions de base de données. Ils définissent comment les systèmes de bases de données gérent les transactions et garantissent l'intégrité et la précision des données même en cas de plantages système, d'interruptions d'alimentation ou de plusieurs utilisateurs d'accès simultanément. Présentation de l'attribut acide Atomicité: une transaction est considérée comme une unité indivisible. Toute pièce échoue, la transaction entière est reculée et la base de données ne conserve aucune modification. Par exemple, si un transfert bancaire est déduit d'un compte mais pas augmenté à un autre, toute l'opération est révoquée. BeginTransaction; UpdateAccountSsetBalance = Balance-100Wh

See all articles