Utilisez l'IA pour vous plonger dans l'animation, qui a reçu plus de 1,5 million de vues en 3 jours. Animateur professionnel : j'avais peur.

Enregistrez simplement une vidéo et l'IA vous plongera parfaitement dans l'animation !

Qu'il s'agisse de lignes, de couleurs ou de présentation de lumière et d'ombre, c'est exactement le même que le style réaliste des bandes dessinées américaines. L'animation est également délicate et fluide, et la fréquence d'images n'est évidemment pas faible :

.

La production d'un tel film contient 120 plans VFX (combien d'efforts faut-il pour investir dans l'animation des effets visuels) ?

Seulement 3 personnes suffisent, et aucune équipe de costumes ou d'accessoires n'est nécessaire.

En revanche, de nombreux effets spéciaux animés à succès précédemment filmés nécessitaient souvent beaucoup d'efforts, et des équipes bien constituées comptaient même des centaines de personnes.

Après la mise en ligne de cet anime sur YouTube, il a reçu plus de 1,5 million de vues et plus de 110 000 likes en trois jours.

Il y a déjà des peintres qui ont peur après l'avoir lu :

J'ai consacré ma vie à la peinture... Cependant, ceux-ci seront remplacés dans quelques années.

Certains internautes ont estimé que leur « rêve d'enfant était devenu réalité » :

Quand j'étais jeune, j'ai toujours pensé que les animations étaient basées sur de vraies vidéos. Maintenant que je vois ça, je pense que c'est super cool.

Alors, comment est produit un tel anime ?

Comment utiliser l'IA pour réaliser une animation ?

Le processus est divisé en trois parties.

La première partie consiste à utiliser l'IA pour créer et générer des personnages d'anime et établir la relation entre celle-ci et les acteurs ; la deuxième partie consiste à créer des scènes d'animation ; la troisième partie consiste à synthétiser et à ajuster l'effet d'animation final.

Jetons un coup d'œil à la première partie de l'utilisation de l'IA pour redessiner l'animation des personnages. Cette partie a été réalisée à l'aide de Stable Diffusion, et le modèle de diffusion DreamBooth lancé par Google a été utilisé pour la mise au point.

Prenons ce personnage de l'anime comme exemple. Le coin supérieur gauche est le prototype de l'acteur, et le coin inférieur droit est le personnage de l'anime créé par l'IA :

Cela ne peut pas être fait en mettant directement l'image vidéo par cadre en diffusion stable. L'effet apparaît.

Afin de garantir que le style d'animation du personnage produise l'effet souhaité, les auteurs ont collecté un grand nombre de captures d'écran de personnages de l'anime classique "Vampire Hunter D" sous différents angles et les ont transmises à l'IA :

Dans le même temps, l’IA doit apprendre et mémoriser diverses caractéristiques détaillées de personnes réelles, du visage au corps.

Il est donc nécessaire de prendre à l'avance un grand nombre de photos des acteurs sous différents éclairages, sous plusieurs angles et diverses actions :

De cette façon, lorsque l'IA voit les acteurs dans la vidéo , il peut rapidement utiliser "Vampire Hunter" D" qui est la base du style de peinture et dessine des personnages de style anime qui ressemblent à des acteurs.

Comme pour certaines prises de vue agrandies du visage difficiles à contrôler, ControlNet est également utilisé pour contrôler davantage les effets générés.

Cependant, il existe toujours un problème avec les animations générées directement par l'IA.

Même si la différence entre les images n'est pas grande, la connexion n'est pas complètement cohérente. Certaines pointes de cheveux "sautant à plusieurs reprises" et des détails d'ombre et de lumière feront scintiller follement l'image :

Les auteurs ont pensé à utiliser DEFlicker. pour éliminer le scintillement. Le plug-in résout ce problème et réduit légèrement la fréquence d'images pour garantir une image fluide.

La deuxième partie consiste à générer la scène. Dans cette partie, les auteurs ont directement utilisé Unreal Engine et certains des modèles 3D qui l'accompagnent pour créer l'arrière-plan de l'animation.

Par exemple, cet arrière-plan rotatif a l'air très cool :

Le fond est réalisé en combinant un grand nombre de photos de scène et en défilant rapidement :

La dernière partie est le polissage après synthèse.

Cette partie a été réalisée par l'équipe elle-même. D'une part, ils ont ajouté quelques modèles 3D (comme des bougies vacillantes) à la vidéo pour augmenter l'immersion des personnages :

D'autre part, ils ont ajouté. beaucoup de visuels rétro Les effets spéciaux rendent l'animation beaucoup plus sophistiquée :

Enfin, il y a cette animation créée avec l'aide de l'IA.

Création de la vidéo d'effets spéciaux parodie de Boston Dynamics

L'équipe derrière cette création d'animation, Corridor Crew, vient d'un studio de production américain appelé Corridor Digital.

Corridor Digital a été créée en 2009. Au fil des années, elle a créé de nombreuses courtes vidéos populaires axées sur les effets spéciaux.

La plus connue est la « Contre-attaque d’Atlas » de 2019 (un nouveau robot peut maintenant riposter !) qui a usurpé le robot de Boston Dynamics.

Dans la vidéo, Atlas a été victime d'intimidation et de maltraitance à plusieurs reprises par des gens, et n'en a finalement plus pu et a lancé une attaque contre les humains :

△Source : "Bosstown Dynamics" (Dog Head)

Cette vidéo était autrefois considéré comme une véritable fuite des images de Boston Dynamics jusqu'à ce que Corridor Digital vienne le nier.

Par la suite, Boston Dynamics a également officiellement réfuté les rumeurs, affirmant qu'il ne s'agissait que d'un CGI produit par Corridor Digital.

L'équipe Corridor Crew de Corridor Digital Studio est chargée de réaliser des « programmes révélateurs » qui expliquent spécifiquement les effets spéciaux et les processus techniques de production derrière divers blockbusters. Les membres de l'équipe projetteront certaines séries télévisées et films, discuteront et décomposeront le visuel. coups d'effets.

Ils ont également invité de nombreux artistes et acteurs d'effets spéciaux à être invités dans l'émission pour observer leurs réactions aux divers effets spéciaux.

Concernant l'animation IA produite par l'équipe, certains internautes ont ridiculisé :

Pourquoi ne pas inviter des animateurs la prochaine fois ? Découvrez leurs réactions à cet anime IA.

Alors, que pensez-vous de l'effet d'animation réalisé par l'IA ? ​

Lien de référence :

[1]​​https://www.php.cn/link/f3957fa3bea9138b3f54f0e18975a30c​​

[2]​​https://www.php.cn/link/ 532435c44bec236b471a47a88d63513d​​

[3]https://twitter.com/bilawalsidhu/status/1631043203515449344​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!