Stable AI lance un modèle de diffusion vidéo stable pour générer des vidéos basées sur des images

IT House News le 22 novembre, Stability AI, une startup axée sur le développement de produits d'intelligence artificielle (IA), a publié son dernier modèle d'IA - Stable Video Diffusion. Ce modèle peut générer des vidéos à partir d’images existantes et constitue une extension du modèle texte-image à diffusion stable précédemment publié. Il s’agit également de l’un des rares modèles d’IA du marché capable de générer des vidéos à ce jour.

Cependant, ce modèle n'est pas actuellement ouvert à tout le monde. Stable Video Diffusion est actuellement dans ce que Stability AI appelle une étape « d’aperçu de recherche ». Ceux qui souhaitent utiliser ce modèle doivent accepter certaines conditions d'utilisation, qui précisent les cas d'utilisation prévus de Stable Video Diffusion (tels que « outils éducatifs ou créatifs », « conception et autres processus artistiques », etc.) et les cas d'utilisation imprévus. (comme « une expression factuelle ou vraie d'une personne ou d'un événement »).

Stable Video Diffusion se compose en fait de deux modèles : SVD et SVD-XT. SVD peut convertir des images statiques en vidéos de 14 images de 576 × 1024 pixels. SVD-XT utilise la même structure, mais le nombre d'images est augmenté à 24. Les deux peuvent générer des vidéos à une vitesse de 3 à 30 images par seconde

Selon un livre blanc publié par Stability AI avec Stable Video Diffusion, SVD et SVD-XT ont été initialement formés sur un ensemble de données contenant des millions de vidéos, puis sur un ensemble de données plus petit « Fine-tuning », cet ensemble de données n'en compte que quelques centaines. mille à environ un million de clips vidéo. La source de ces vidéos n'est pas tout à fait claire, et le livre blanc suggère que beaucoup proviennent d'ensembles de données de recherche accessibles au public, il est donc impossible de dire s'il existe des problèmes de droits d'auteur.

SVD et SVD-XT sont tous deux capables de générer des vidéos de quatre secondes de haute qualité, et à en juger par des échantillons soigneusement sélectionnés sur le blog Stability AI, la qualité est comparable aux derniers modèles de génération vidéo de Meta, à l'IA de Google, à la startup AI Runway, et Pika Labs Génèrent des vidéos comparables à

IT House a remarqué qu'il existe également des limites à la diffusion de vidéos stables. Stability AI est également très franc à ce sujet, affirmant que les modèles ne peuvent pas générer de vidéos sans mouvement ou sans panoramiques lents de la caméra, ne peuvent pas être contrôlés avec du texte, ne peuvent pas restituer le texte (du moins pas clairement) et ne peuvent pas le faire de manière cohérente "correctement". Générer des visages et des personnages

Bien qu'à un stade précoce, Stability AI note que ces modèles sont hautement évolutifs et peuvent être adaptés à une variété de cas d'utilisation tels que la génération de vues d'objets à 360 degrés

L’objectif ultime de Stability AI semble être de le commercialiser, affirmant que Stable Video Diffusion a des applications potentielles dans « la publicité, l’éducation, le divertissement et d’autres domaines ».

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!