Forfait cadeau Fête du Printemps ! OpenAI lance son premier modèle de génération vidéo, un chef-d'œuvre haute définition de 60 secondes qui a impressionné les internautes

Bienvenue au zoo bling !

Tôt ce matin, heure de Pékin, OpenAI a officiellement publié le modèle de génération texte-vidéo Sora Après Runway, Pika, Google et Meta, OpenAI a finalement rejoint la guerre dans le domaine de la génération vidéo.

Après la publication de la nouvelle d'Ultraman Sam, les gens ont vu pour la première fois les effets vidéo générés par l'IA et démontrés par les ingénieurs d'OpenAI. Les gens ont déploré : l'ère d'Hollywood est-elle révolue ?

OpenAI affirme qu'avec une description courte ou détaillée ou une image fixe, Sora peut générer une scène 1080p semblable à celle d'un film avec plusieurs personnages, différents types d'actions et des détails d'arrière-plan.

Qu'est-ce que Sora a de si spécial ? Il possède une compréhension approfondie du langage, est capable d’interpréter avec précision les invites et de générer des personnages attachants qui expriment des émotions vibrantes. Dans le même temps, Sora peut non seulement comprendre la demande de l'utilisateur dans l'invite, mais également comprendre comment elle existe dans le monde physique.

Dans le blog officiel, OpenAI fournit de nombreux exemples de vidéos générées par Sora, démontrant des résultats impressionnants, du moins par rapport aux technologies vidéo générées par texte précédentes.

Pour commencer, Sora peut générer des vidéos dans une variété de styles (par exemple, photoréaliste, animé, noir et blanc) jusqu'à une minute, soit beaucoup plus longtemps que la plupart des modèles texte-vidéo.

Les vidéos maintiennent une cohérence raisonnable, et elles ne succombent pas toujours à ce qu'on appelle « l'étrangeté de l'IA », comme des objets se déplaçant dans des directions physiquement impossibles.

Laissez d'abord Sora générer une vidéo de dragon dansant pendant l'année chinoise du dragon.

Par exemple, saisissez l'invite : images historiques de la ruée vers l'or en Californie.

Entrez l'invite : Vue rapprochée d'une boule de verre avec un jardin zen à l'intérieur. À l’intérieur de la sphère se trouve un nain qui crée des motifs dans le sable.

Entrez l'invite : Gros plan extrême d'une femme de 24 ans clignant des yeux, debout à Marrakech pendant l'Heure Magique, film tourné en 70 mm, profondeur de champ, couleurs vibrantes, cinématique.

Entrez l'invite : Le reflet dans la fenêtre d'un train traversant la banlieue de Tokyo.

Entrez promo : l'histoire de la vie d'un robot dans un décor cyberpunk.

L'image est trop réelle et trop bizarre à la fois

Mais OpenAI admet que le modèle actuel a aussi des faiblesses. Il peut avoir des difficultés à simuler avec précision des phénomènes physiques dans des scènes complexes et ne pas comprendre les relations de cause à effet spécifiques. Le modèle peut également confondre les détails spatiaux des signaux, tels que la gauche et la droite, et peut avoir des difficultés à décrire avec précision les événements au fil du temps, comme suivre une trajectoire de caméra spécifique.

Par exemple, ils ont constaté que les animaux et les personnes apparaissaient spontanément au cours du processus de génération, notamment dans les scènes contenant de nombreuses entités.

Dans l'exemple ci-dessous, Prompt était à l'origine "Cinq chiots loups gris jouant et se poursuivant sur une route de gravier isolée entourée d'herbe. Les chiots couraient, sautaient, poursuivaient, se mordaient et jouaient les uns avec les autres. " Mais l'image générée par "copier-coller" rappelle beaucoup certaines mystérieuses légendes de fantômes :

Il y a aussi l'exemple suivant avant et après avoir soufflé la bougie, la flamme n'a pas changé du tout, révélée. :

Détails techniques

Nous savons très peu de choses sur les détails du modèle derrière Sora. Selon le blog OpenAI, plus d'informations seront publiées dans des documents techniques ultérieurs.

Quelques informations de base révélées dans le blog : Sora est un modèle de diffusion qui génère des vidéos qui ressemblent initialement à du bruit statique, puis transforme progressivement la vidéo en supprimant le bruit en plusieurs étapes. Les générateurs d'images et de vidéos de

Midjourney et Stable Diffusion s'appuient également sur des modèles de diffusion. Mais on constate que la qualité des vidéos générées par OpenAI Sora est bien meilleure. Sora a l'impression de créer une vraie vidéo, alors que les modèles précédents de ces concurrents ressemblaient à des animations en stop-motion d'images générées par l'IA.

Sora peut générer la vidéo entière en une seule fois ou étendre la vidéo générée pour la rendre plus longue. En permettant au modèle de prévoir plusieurs images à la fois, OpenAI résout le problème difficile de garantir qu'un sujet reste intact même s'il quitte temporairement la ligne de mire.

Semblable au modèle GPT, Sora utilise également une architecture de transformateur pour obtenir d'excellentes performances de mise à l'échelle.

OpenAI représente les vidéos et les images comme une collection d'unités de données plus petites appelées correctifs, chaque correctif est similaire à un jeton dans GPT. En unifiant la représentation des données, OpenAI peut entraîner des transformateurs de diffusion sur une gamme de données visuelles plus large que jamais, y compris différentes durées, résolutions et formats d'image.

Sora est construit sur des recherches antérieures sur les modèles DALL・E et GPT. Il utilise la technologie de récapitulation de DALL・E 3 pour générer des sous-titres hautement descriptifs pour les données d'entraînement visuel. En conséquence, le modèle est capable de suivre plus fidèlement les signaux textuels de l'utilisateur dans les vidéos générées.

En plus de pouvoir générer des vidéos basées uniquement sur des descriptions textuelles, le modèle peut générer des vidéos basées sur des images statiques existantes et animer avec précision et méticuleuse le contenu de l'image. Le modèle peut également extraire des vidéos existantes et les agrandir ou remplir les images manquantes.

^{Lien de référence : https://openai.com/sora}

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!