La version dessinée par l'IA du MV de 'Mohe Dance Hall' est un succès auprès des internautes : on a l'impression que l'IA comprend les paroles.

La peinture IA est vraiment puissante ! Cela fait simplement décoller du sol une personne handicapée qui ne sait pas dessiner et se transforme en "Makoto Shinkai" !

Pendant la fête nationale, un propriétaire d'Up nommé "Le chien qui a sauvé le monde" sur la station B a utilisé l'outil de dessin généré par l'IA Midjourney pour doubler un MV pour la chanson entière "Mohe Ballroom". Parce que ces peintures dessinées par l'IA sont très cohérentes avec le contenu textuel des paroles, de nombreux internautes ont déclaré que l'IA avait peint la scène dans leur esprit en écoutant cette chanson, disant que l'aurore la nuit à Mohe dans la peinture est si beau!

La peinture IA est l'une des directions de recherche du langage de vision AIGC (AI-Generated Content), c'est-à-dire que la vision du texte, la saisie de la description du texte puis la génération d'images sont l'un des artefacts dans ce domaine.

Actuellement, ce MV de "Mohe Dance Hall" dessiné par AI a attiré près de 400 000 vues et 1,70 000 likes. Certains internautes ont commenté sous cette vidéo : "On a l'impression qu'IA comprend les paroles

.

1 AI a peint un monde magnifique pour moi

En décembre 2019, alors que le chanteur folk Liu Shuang collectionnait de la musique à Mohe, il a rencontré un vieil homme dansant seul dans une salle de danse locale. Après la conversation, Liu Shuang a appris cela. la femme du vieil homme est décédée dans l'incendie de forêt du « 6 mai » à Daxinganling en 1987. Depuis lors, le vieil homme ne s'est jamais remarié et n'a pas d'enfants. Il aime aussi danser pour commémorer sa femme qui aime danser. s'est inspiré de cette histoire pour créer "Mohe Ballroom". "Le chien qui a sauvé le monde" de

Up a également été ému par l'histoire racontée dans la chanson "Mohe Ballroom" et a travaillé dur pour décrire un monde magnifique à l'IA sur la base du contexte créatif et des paroles de la chanson.

Quand les paroles chantent : "Si tu as le temps, viendras-tu me voir ? Regarde comment la neige vieillit."

AI a dessiné l'image d'un vieil homme debout seul dans un campagne enneigée. Sur le chemin, vous pouvez voir les aurores brillantes briller au-dessus de votre tête et un paysage urbain architectural de style russe recouvert d'épaisses glaces et de neige.

Puis la voix masculine a chanté : "Comment mes yeux pourraient-ils fondre ? Et si tu me voyais ?"

Dans la première ligne des paroles, l'IA a dessiné le portrait d'un argent en larmes -vieil homme aux cheveux, puis Une ligne de paroles, l'image montre une vieille femme aux cheveux blancs se penchant légèrement vers un vieil homme qui baisse la tête en pensant, comme s'il criait : « Si mon heure n'était pas fixée il y a trente ans , je devrais être aussi démodé que toi. " , pouvez-vous voir à quoi je ressemble maintenant ? "

À ce moment-là, les paroles disent : " La poussière sera scellée dans la mer... "

La mort a emporté la jeune vie, et la mémoire et le corps seront enfermés dans la mer. Dans le tableau, une femme vêtue d'une robe semble se tenir sous la rivière de l'oubli, regardant le passé.

Dans l'intermède de la chanson, l'IA a peint la belle aurore de Mohe la nuit, la salle de danse pleine de monde, la femme dansant vers le clair de lune, la fille aux cheveux courts portant un béret et l'aurore perçant la nuit de Skyrim.

Les paroles répètent : "Je n'ai jamais vu de village où les aurores apparaissent, ni vu personne allumer des feux d'artifice tard dans la nuit."

Puis ce qui est apparu était le visage d'un garçon aux yeux brillants, un visage enfantin et une mer d'étoiles, et une fille en rouge debout dans le champ sous le ciel plein de feux d'artifice.

Ensuite, nous arrivons aux paroles préférées des gens dans cette chanson, "L'étoile du soir est comme tes yeux qui tuent les gens et mettent le feu, tu ne dis rien, le vent sauvage me dérange

." Peinture AI C'est un œil qui reflète le ciel étoilé, "Les étoiles sont comme vos yeux. Elles regardaient la nuit quand le ciel était plein de feu, laissant les flammes dévorer votre corps. Deux personnes éloignées l'une de l'autre dans l'herbe et regardant." l'un l'autre, debout tranquillement sous l'aurore verte, craignant de déranger l'autre partie, et la seule chose qui bougeait était le vent qui soufflait à travers les arbres verts et les épis.

Puis, le chanteur a chanté à propos du désir du vieil homme : « À trois mille kilomètres de là, je t'ai rencontré par hasard Dans le jardin, une jupe dansait. »

Le tableau est sous le cyan. aurore. , deux personnes s'approchant progressivement, et le dos d'une femme en robe blanche dans le jardin.

Puis les paroles ont répondu : "Sous les lumières, la lumière du matin a été secouée, dans la salle de bal Mohe en 1980."

AI a dessiné le soleil qui venait de se lever, les silhouettes humaines sur le sol. fenêtres jusqu'au plafond de la salle de bal Mohe et le siècle dernier Dans les années 1980, la salle de danse Mohe était pleine de monde et colorée, "il y a toi et il y a moi".

Je dois dire que le propriétaire d'Up "Le chien qui a sauvé le monde" et AI ont créé conjointement des œuvres étonnantes. Non seulement le style des personnages a la même continuation, mais les différentes scènes ont des couleurs vives et des compositions exquises. , en particulier les rouges. Dans l’image du soleil, de la lumière du jour et de la silhouette d’une personne dans une salle de bal, il est vraiment incroyable que l’IA puisse mettre ces éléments de manière si raisonnable sur une seule image.

2 Les peintures qui touchent le cœur des gens sont indispensables à l'interprétation par l'auteur humain de l'arrière-plan de la chanson et de la signification des paroles, ainsi qu'à l'imagination de l'atmosphère et de la scène créées par les paroles.

Si vous ne saisissez les paroles que lorsque l'IA est en train de peindre, une telle description textuelle est loin d'être suffisante pour l'IA. L'auteur humain doit décrire avec précision l'image imaginée, afin que l'IA puisse comprendre quel type de peinture. De plus, la peinture par l'IA ne s'accomplit pas du jour au lendemain. Les créateurs humains doivent sélectionner celle qui correspond le mieux aux paroles et aux images parmi n images avec des descriptions identiques ou similaires, et enfin créer un bon MV.

Tout comme le créateur du MV dessiné par l'IA de "Mohe Dance Hall" "Le chien qui a sauvé le monde" a répondu, (ce n'est pas que l'IA a compris les paroles) "C'est que j'ai compris les paroles et les a décrits à l'IA dans un anglais approximatif. "

Certains internautes ont également commenté : "C'est très beau, mais l'apparence et le style vestimentaire des personnages de ce tableau ne semblent pas avoir lieu en Chine. . "

"Peut-être que cette IA apprenait à l'origine. Je n'ai pas appris à dessiner des Asiatiques. "

"Cette bibliothèque de matériaux ne vient pas principalement d'Asie, et il y a même quelques images d'Asie du Sud-Est et du Sud. Asie, donc les personnages ont l'air très russes."

Ces commentaires ont tous cliqué. Cela résout les problèmes actuels de la peinture par l'IA. Les bases de données utilisées par de nombreux outils de dessin générés par l'IA au cours de la phase d'apprentissage profond proviennent pour la plupart de sites Web d'images européens et américains, ce qui rend les IA moins efficaces pour dessiner des visages asiatiques et des images orientales.

Bien que la peinture par l'IA ait encore un long chemin à parcourir, toutes les peintures ne sont pas complètement belles. Les peintres humains doivent toujours ajuster certains détails. Il existe encore de nombreux défauts dans la génération de portraits, que l'on peut trouver dans la capture d'écran MV ci-dessus. quelques défauts dans la peinture de l'IA, tels que : "les cils ne doivent pas être mélangés avec les cheveux", "les membres du personnage ne semblent pas coordonnés" et "la peinture de la tête est incomplète", etc., mais nous devons admettre que la peinture de l'IA progresse vraiment très vite. étant capable de dessiner des meubles simples en forme d'avocat, jusqu'à maintenant pouvoir créer de grandes et magnifiques peintures, les progrès globaux en termes de couleur et de composition ont été formidables, ce qui est incroyable.

Peut-être qu'à l'avenir, l'IA ne peindra pas image par image, mais créera des animations continues. Nous attendons ce jour avec impatience.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!