La vitesse d'inférence est 2 fois plus rapide que la diffusion stable. La génération et la réparation d'images peuvent être effectuées avec un seul modèle Google, réalisant ainsi le nouveau SOTA.

La génération de texte en image est l'une des orientations les plus en vogue de l'AIGC en 2022 et a été sélectionnée comme l'une des dix principales avancées scientifiques en 2022 par « Science ». Récemment, le nouveau document de génération de texte en image de Google « Muse : Text-To-Image Generation via Masked Generative Transformers » a attiré une grande attention.

• Adresse papier : https://arxiv.org/pdf/2301.00704v1.pdf
• Adresse du projet : https://muse-model.github.io/

Cette étude propose un nouveau modèle de synthèse texte-image utilisant une approche de modélisation d'image masquée, où l'architecture du décodeur d'image est basée sur des intégrations d'encodeurs T5-XXL Large Language Model (LLM) pré-entraînés et gelés comme condition .

Semblable au précédent modèle Imagen de Google, cette étude a révélé que le réglage basé sur un LLM pré-entraîné est essentiel pour la génération d'images réalistes et de haute qualité. Le modèle Muse est construit sur l'architecture Transformer (Vaswani et al., 2017).

Par rapport à Imagen (Saharia et al., 2022) ou Dall-E2 (Ramesh et al., 2022) basés sur le modèle de diffusion de l'espace pixel en cascade, Muse utilise des jetons discrets, l'efficacité est considérablement améliorée. Par rapport au modèle autorégressif SOTA Parti (Yu et al., 2022), Muse est plus efficace grâce à son utilisation du décodage parallèle.

Sur la base de résultats expérimentaux sur TPU-v4, les chercheurs estiment que Muse est plus de 10 fois plus rapide que les modèles Imagen-3B ou Parti-3B en vitesse d'inférence, et plus rapide que Stable Diffusion v1.4 (Rombach et al., 2022) 2x plus rapide. Les chercheurs pensent que Muse est plus rapide que Stable Diffusion car le modèle de diffusion est utilisé dans Stable Diffusion v1.4, ce qui nécessite évidemment plus d'itérations lors de l'inférence.

D'un autre côté, l'amélioration de l'efficacité de Muse n'a pas entraîné de diminution de la qualité des images générées ni de diminution de la compréhension sémantique du modèle de l'invite de texte de saisie. Cette étude a évalué les résultats de génération de Muse par rapport à plusieurs critères, notamment le score CLIP (Radford et al., 2021) et le FID (Heusel et al., 2017). Le modèle Muse-3B a obtenu un score CLIP de 0,32 et un score FID de 7,88 sur le référentiel de validation zéro tir COCO (Lin et al., 2014).

Jetons un coup d'œil à l'effet de génération Muse :

Génération Texte-Image : Le modèle Muse génère rapidement des images de haute qualité à partir d'invites de texte (sur TPUv4, il faut 1,3 seconde pour qu'une image de résolution 512 x 512 soit générée). L'image de résolution 256x256 prend 0,5 seconde). Par exemple, générez « un ours faisant du vélo et un oiseau perché sur le guidon » :

Le modèle Muse fournit aux utilisateurs des données sans échantillon ni échantillonnage en rééchantillonnant de manière itérative les jetons d'image dans des conditions d'invite de texte. Édition sans masque.

Muse propose également des modifications basées sur des masques, telles que "Il y a un belvédère sur le lac sur fond de belles feuilles d'automne".

Introduction au modèle

Muse est construit sur un certain nombre de composants, la figure 3 donne un aperçu de l'architecture du modèle.

Plus précisément, les composants inclus sont :

Encodeur de texte pré-entraîné : cette étude a révélé que l'utilisation de grands modèles de langage (LLM) pré-entraînés peut améliorer la qualité de la génération d'images. Ils ont émis l’hypothèse que le modèle Muse avait appris à mapper les riches concepts visuels et sémantiques des intégrations LLM aux images générées. Étant donné un sous-titre de texte d’entrée, l’étude le fait passer par un encodeur T5-XXL gelé, ce qui donne lieu à une séquence de 4 096 dimensions de vecteurs d’incorporation de langage. Ces vecteurs d'intégration sont projetés linéairement sur le modèle Transformer.

Utilisation de VQGAN pour la tokenisation sémantique : le composant principal de ce modèle est l'utilisation de jetons sémantiques obtenus à partir du modèle VQGAN. Parmi eux, VQGAN se compose d'un encodeur et d'un décodeur, et une couche de quantification mappe l'image d'entrée à une séquence de jetons dans un livre de codes d'apprentissage. Cette étude utilise toutes des couches convolutives pour créer des encodeurs et des décodeurs afin de prendre en charge l'encodage d'images de différentes résolutions.

Modèle de base : Le modèle de base est un transformateur de masque où les entrées sont des intégrations et des jetons d'image projetés sur T5. L'étude conserve toutes les intégrations de texte (non masquées), masque aléatoirement les jetons d'image de différentes proportions et les remplace par un jeton spécial [masque].

Modèle super-résolution : Cette étude a trouvé avantageux d'utiliser une cascade de modèles : d'abord un modèle de base qui génère une carte latente 16 × 16 (correspondant à une image 256 × 256), puis un suréchantillonnage de la carte latente de base. Le modèle super-résolution est une carte de potentiel 64 × 64 (correspondant à une image 512 × 512).

Réglage précis du décodeur : Pour améliorer encore la capacité du modèle à générer des détails fins, cette étude augmente la capacité du décodeur VQGAN en ajoutant davantage de couches et de canaux résiduels tout en gardant la capacité de l'encodeur inchangée. La nouvelle couche de décodeur est ensuite affinée tout en gelant les poids de l'encodeur VQGAN, le livre de codes et le transformateur (c'est-à-dire le modèle de base et le modèle de super-résolution).

En plus des composants ci-dessus, Muse comprend également des composants à rapport de masque variable, des composants de décodage parallèle itératif pendant l'inférence, etc.

Expériences et résultats

Comme le montre le tableau ci-dessous, Muse raccourcit le temps d'inférence par rapport aux autres modèles.

Le tableau suivant présente les scores FID et CLIP mesurés par différents modèles sur COCO zéro tir :

Comme le montre le tableau ci-dessous, Muse (632M (base)+268M (super -res) modèle paramétrique) a obtenu un score SOTA FID de 6,06 lors de la formation et de l'évaluation sur l'ensemble de données CC3M.

L'image ci-dessous est un exemple des résultats générés par Muse, Imagen et DALL-E 2 sous la même invite.

Les lecteurs intéressés peuvent lire le texte original de l'article pour en savoir plus sur les détails de la recherche.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!