La nouvelle IA de Google est à la mode ! Tu peux dessiner le mot le plus long du monde

Les amis, savez-vous quel est ce mot anglais ?

Pneumonoultramicroscopiquesilicovolcanoconiose.

Ceci est reconnu comme le mot le plus long au monde - un mot de 45 lettres, qui signifie "une maladie causée par le dépôt de particules de silice volcanique dans les poumons" (communément appelée silicose volcanique).

Mais et si, au lieu de vous demander d'épeler ce mot, vous... le dessiniez ?

(Vous ne savez même pas lire, mais vous dessinez quand même ???)

Parti, la dernière IA proposée par Google, peut facilement résoudre ce problème.

Après avoir « transmis » ce mot à Parti, il peut générer plusieurs images raisonnables de maladies pulmonaires de manière décente :

Mais ce n'est qu'un petit test de la capacité de Parti, selon Google, qui est actuellement le plus avancé IA « texte-image ».

Par exemple, dites-lui : "Combinez l'Opéra de Sydney et la Tour Eiffel", le résultat est le suivant :

(Si vous ne savez pas, vous pensez vraiment que c'est une image)

Et dans le chemin de l'algorithme Mathématiquement, on peut dire que le propre Imagen Parti de Google a porté la "peinture IA" à un nouveau niveau.

Même Jeff Dean, responsable de l'IA de Google, a tweeté plusieurs fois et s'est bien amusé :

Extensible à 20 milliards de paramètres : plus réaliste et "plus intelligent"

Faits D'un autre côté, les capacités de Parti ne le sont pas arrêtez-vous là.

Grâce au modèle évolutif jusqu'à 20 milliards de paramètres, d'une part, les images qu'il génère sont plus détaillées et réalistes.

Qu'il s'agisse de quelques mots ou d'un court paragraphe de plus de cinquante mots, il peut être clairement affiché.

Par exemple, Le dos d'un violon, le dos du violon.

Ou peut-être que c’est la scène nocturne décrite dans la « Nuit étoilée » de Van Gogh. ps, il y a 67 mots dans ce paragraphe.

Le résultat est que Parti n'est pas un problème non plus. Il peut dessiner toutes sortes d'images pour vous dans un seul paquet~

C'est aussi la deuxième plus grande capacité de Parti. Non seulement les détails sont en place. , mais le style peut aussi être modifié.

Il existe également des descriptions particulières comme "Le raton laveur porte un costume formel, un haut-de-forme, une canne et un sac poubelle", qui peuvent également créer une œuvre fleurie sans manquer de détails.

En termes de style, il existe le style Van Gogh, le style pharaonique égyptien, le style pixel, le style de peinture traditionnelle chinoise, le style abstrait...

Même parfois, il racontera des jeux de mots.

（Toad’ay）

Plus précisément en termes de résultats de tests, Parti a obtenu les résultats les plus avancés en termes de scores FID pour MS-COCO et Localized Narrative (LN, description 4 fois plus longue).

Surtout, le score FID de l'échantillon zéro MS-COCO n'est que de 7,23, et le score FID affiné est de 3,22, dépassant l'Imagen et le DALL-E 2 précédents.

Tous les composants sont des Transformers

Après un mois, Google a porté la peinture IA à un nouveau niveau, mais l'auteur a déclaré : le secret est simple.

Parti traite principalement les images générées par texte comme une modélisation séquence à séquence. Ceci est quelque peu similaire à la traduction automatique, où les jetons de texte sont donnés en entrée à l'encodeur et la sortie cible passe du texte à l'image.

Structurellement, tous ses composants ne comportent que trois parties : encodeur, décodeur et marqueur d'image, et ils sont tous basés sur le Transformer standard.

Tout d'abord, l'image est codée dans une séquence discrète de balises à l'aide du tagger d'image basé sur Transformer ViT-VQGAN.

Ensuite, les paramètres sont étendus à 20 milliards grâce à la structure d'encodage-décodage de Transformer.

Les recherches précédentes sur la génération d'images à partir de texte, à l'exception du premier GAN, peuvent être grossièrement divisées en deux idées.

L'un est basé sur le modèle autorégressif. Tout d'abord, les caractéristiques du texte sont mappées aux caractéristiques de l'image, puis une architecture de séquence similaire à Transformer est utilisée pour apprendre la relation entre l'entrée du langage et la sortie de l'image.

Un élément clé de cette approche est le tagger d'images, qui convertit chaque image en une séquence d'unités discrètes. Par exemple, DALL-E et CogView adoptent cette idée.

L'autre est une voie qui a fait de fréquents progrès au cours de cette période : les modèles texte-image basés sur la diffusion, comme DALL-E 2 et Imagen.

Ils ont abandonné le tagger d'images et ont plutôt utilisé un modèle de diffusion pour générer directement des images. Ce que l’on peut voir, c’est que ces modèles produisent des images de meilleure qualité et obtiennent de meilleurs résultats sur le FID zéro tir MS-COCO.

Le succès du modèle Parti prouve que le modèle autorégressif peut être utilisé pour améliorer l'effet des images générées par du texte.

Dans le même temps, Parti a également introduit et publié un nouveau test de référence - PartiPrompts, qui est utilisé pour mesurer la capacité du modèle dans 12 catégories et 11 défis.

Mais Parti a encore certaines limites, et les chercheurs ont également montré quelques bugs :

Par exemple, la description négative ne sert à rien~

Une assiette sans bananes, et un verre sans jus d'orange à côté de la tasse.

Commettez également des erreurs de bon sens, comme une mise à l'échelle déraisonnable. Par exemple, sur cette photo, le robot est plusieurs fois plus grand qu'une voiture de course.

Un robot brillant vêtu d'une combinaison de course et d'une visière noire se tient fièrement devant une voiture de F1. Le soleil se couche sur le paysage urbain. Illustration de bande dessinée.

Google "roulez-vous"

Cette étude provient de Google Research, et la plupart des membres de l'équipe sont chinois.

Le personnel de recherche principal comprend Yuanzhong Xu, Thang Luong, etc., qui travaillent actuellement chez Google dans la recherche liée à l'IA.

(Thang Luong a été cité plus de 20 000 fois sur Google Scholar)

△Gauche : Yuanzhong Xu ; Droite : Thang Luong

Mais ce qui est intéressant, c'est que les deux « disent un mot pour laisser l'IA dessiner » , et le même Imagen est créé par Google, et cela a beaucoup à voir avec Parti.

Il est mentionné dans la documentation du projet GitHub de Parti :

Merci à l'équipe Imagen d'avoir partagé avec nous ses récents résultats complets avant de publier Imagen.

Leurs découvertes importantes en matière de guidage CF ont été particulièrement utiles pour le modèle final du Parti.

Et Burcu Karagol Ayan, l'un des auteurs d'Imagen, a également participé au projet Parti.

(C'est comme Google « roulez-le vous-même »)

Non seulement cela, même Aditya Ramesh, l'auteur du « next door » DALL-E 2, a également discuté de l'évaluation MS-COCO pour Parti.

et les auteurs de DALL-Eval ont également apporté leur aide dans le travail sur les données du Parti.

Encore une chose

Il y a une chose à dire, « l'image générée par texte » n'est pas seulement la coqueluche des chercheurs.

Les internautes ne se lassent pas de "jouer" avec (ne soyez pas trop imaginatif).

Il y a quelque temps, j'ai demandé à Imagen de dessiner une dynastie Song "Tigre portant de la VR", qui a directement évolué vers une bataille de peinture IA.

△Photo : Art by Imagen

DALL·E, MidJourney et d'autres "sont venus après avoir entendu la nouvelle" pour participer.

△ Dessin de DALL·E

Il y a même des gens qui combinent Wordle et DALL-E 2 :

...

Mais revenir à Parti cette fois, c'est amusant, mais quand même Certains internautes a soulevé une question « frappée par l'âme » :

Quand sera-t-il commercialisé ? Cela ne servirait à rien de « jouer à huis clos » tout seul.

Adresse du papier Parti :

https://parti.research.google/

Adresse du projet GitHub :

https://github.com/google-research/parti

Lien de référence :

[1]https://twitter.com/lmthang/status/1539664610596225024[2]https://gizmodo.com/new-browser-game-combines-dall-e-mini-and-wordle-1849105289 [3]https://imagen.research.google/​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!