Sora rejoint le bucket de la famille Adobe et la vidéo est modifiée pour inclure des images et des scènes : aperçu de la mise à jour PR

C'est l'outil de montage vidéo à l'ère de l'IA générative.

Adobe disposera bientôt des capacités de création vidéo générative d'IA les plus avancées.

Aujourd'hui, Adobe a annoncé un plan de mise à jour pour une nouvelle version de Premiere Pro. Cela inclut l'ajout de plug-ins pour des modèles de génération vidéo d'IA tiers, qu'il s'agisse de Sora d'OpenAI ou de Gen-2 et Pika de Runway, qui apparaîtront bientôt dans le système d'outils Adobe et seront utilisés par les utilisateurs.

Désormais, grâce aux capacités du grand modèle Firefly d'Adobe, vous pouvez ajouter ou soustraire du contenu directement sur le matériel vidéo.

Vous avez l'impression qu'il y a moins de plans d'arrière-plan pendant la transition ? Utilisez maintenant simplement Sora d'OpenAI pour générer automatiquement un paragraphe. Sora peut créer jusqu'à trois variantes vidéo pour les invites en langage naturel par appel d'API.

Le nouvel outil peut également être utilisé pour "étendre" la longueur de séquences existantes à partir de rien, mais cette partie ne semble pas être contrôlée par le mot d'invite.

Depuis qu'OpenAI a lancé Sora en février de cette année, nous n'avons pu voir que la démo officielle des vidéos générées par l'IA sur le compte TikTok, et le véritable outil est toujours dans l'état « à paraître prochainement ». Maintenant que la nouvelle version d'Adobe Premiere Pro a été dévoilée, cela peut indiquer que la nouvelle technologie sera bientôt lancée.

Pour les 33 millions d’utilisateurs payants d’Adobe Creative Cloud, il s’agit d’une affaire encore plus importante, et elle pourrait entraîner les changements les plus radicaux et révolutionnaires dans le domaine du design.

Grâce à cette fonctionnalité, les utilisateurs de Premiere Pro pourront éditer, traiter et mixer avec des vidéos d'action en direct capturées par des caméras traditionnelles ainsi que des séquences d'IA. Imaginez prendre une vidéo d'un acteur exécutant une scène d'évasion d'un monstre, puis utiliser l'intelligence artificielle pour générer le monstre - cette étape ne nécessite aucun accessoire, costume ou acteur, et les deux clips vidéo sont accessibles dans le même éditeur et combinés dans le même fichier vidéo.

Il en va de même pour les animations créées à l'aide de processus plus matures (de l'ordinateur aux images dessinées à la main), qui peuvent être mélangées avec des séquences IA correspondantes dans le même fichier sur Premiere Pro.

Il convient de mentionner que lors de la démonstration d'Adobe, nous avons une fois de plus constaté qu'il existe un écart de génération entre Sora d'OpenAI et d'autres produits similaires – les effets vidéo qu'il génère sont bien meilleurs que les autres outils disponibles.

Contrairement à de nombreuses annonces précédentes d'Adobe liées à Firefly, cette fois-ci, les nouveaux outils de génération vidéo n'ont pas encore de date de sortie, Adobe a seulement annoncé qu'ils seraient lancés cette année.

L'introduction de grands modèles d'IA avancés tiers est une exploration tournée vers l'avenir pour le traitement vidéo. Selon Adobe, l'idée est d'offrir davantage d'options aux utilisateurs de Premiere Pro. Adobe indique également que ses balises d'identification de contenu peuvent être appliquées à ces clips générés pour identifier les modèles d'IA qui ont été utilisés pour les générer.

Premiere Pro (PR) d'Adobe est l'un des programmes de montage vidéo les plus populaires au monde depuis sa première sortie pour Mac fin 1991 et est maintenant utilisé par les principaux monteurs de films hollywoodiens et les producteurs de films indépendants du monde entier. . Elle est sur le point de vivre une révolution sans précédent au cours de ses 33 années d’histoire.

Il est important de noter qu'Adobe n'a pas encore déterminé quand ces générateurs vidéo IA tiers seront intégrés à Premiere Pro, et les détails ne semblent pas encore entièrement finalisés, de nombreux outils tiers nécessitant un abonnement payant lors de l'intégration. libérer.

De plus, Adobe utilise également ses propres produits d'IA générative en interne (tels que Firefly et Generative Fill, etc.), soulignant que ses modèles sont formés sur des données qu'il possède ou qu'il a l'autorisation/les droits d'utiliser, tels que le contenu Adobe fourni par les créateurs de Stock (bien que cela soit au grand dam de certains photographes et artistes Adobe Stock).

Adobe ajoute l'IA générative

Adobe se concentre sur la création multimédia et les produits logiciels créatifs Après l'apparition de la technologie de l'IA générative, cette entreprise a rapidement rejoint la bataille pour ne pas être laissée pour compte.

La semaine dernière, Bloomberg a rapporté qu'Adobe avait formé Firefly sur certaines images générées par le concurrent Midjourney, lui-même basé sur le modèle d'IA open source Stable Diffusion, sur un train de données Web récupérées publiquement et protégées par le droit d'auteur.

Aujourd'hui, Adobe a annoncé qu'une version du modèle de génération de texte en image Firefly sera intégrée à Premiere Pro "plus tard cette année", offrant un nouvel ensemble de "flux de travail génératifs d'IA" et de fonctionnalités.

Par exemple, la fonctionnalité Generative Extension permettra aux monteurs vidéo et aux cinéastes d'« ajouter des images de manière transparente pour allonger les clips vidéo » sans avoir à filmer de nouvelles séquences, ce qui pourrait s'avérer une fonctionnalité très utile et permettant de gagner du temps. fonction de l'argent. Adobe affirme également que cela permettra des transitions plus fluides dans les vidéos, telles que l'extension de clips qui se terminent trop brusquement pour rester sur un moment ou une action plus longtemps.

Firefly for Video garantira également que les utilisateurs de Premiere Pro pourront exécuter une fonctionnalité intelligente de « détection et suppression d'objets », mettant essentiellement en évidence les objets de la vidéo (accessoires, personnages, costumes, décors, etc.) et permettant aux modèles d'IA de les suivre. à travers différents cadres. Les utilisateurs peuvent également tirer parti de l'IA générative pour modifier ces objets en de nouveaux objets, changer rapidement les vêtements ou les accessoires d'un personnage, ou même supprimer entièrement des objets sur plusieurs clips et angles de caméra.

Enfin, Firefly for Video sera également livré avec un générateur d'images texte-vidéo, le rendant comparable à Sora, Runway, Pika et Stable Video Diffusion.

Bien qu'elle soit encore en avant-première, l'intégration de l'IA de nouvelle génération d'Adobe pour Premiere Pro suscite déjà les applaudissements des cinéastes et des créatifs des médias sociaux.

"Cela a été très utile pour mon travail de film d'action réelle", a déclaré le réalisateur Kevin K. Shah.

Contenu de référence :

https://venturebeat.com/ai/adobe-to-add-ai-video-generators-sora-runway-pika-to-premiere-pro/

https://www.theverge.com/2024/4/15/24130804/adobe-premiere-pro-firefly-video-generative-ai-openai-sora

https:/ /www.adobe.com/products/premiere/ai-video-editing.html

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!