Le grand modèle d'image Vincent d'Apple dévoilé : une diffusion de type matriochka russe, prenant en charge une résolution de 1024 x 1024

Je suis habitué à la Diffusion Stable, et maintenant j'ai enfin un modèle Matryoshka Diffusion, fabriqué par Apple.

À l'ère de l'IA générative, les modèles de diffusion sont devenus un outil populaire pour les applications d'IA générative telles que la génération d'images, de vidéos, de 3D, d'audio et de texte. Cependant, l’extension des modèles de diffusion aux domaines haute résolution reste confrontée à des défis importants car le modèle doit recoder toutes les entrées haute résolution à chaque étape. La résolution de ces défis nécessite l’utilisation d’architectures profondes avec des blocs d’attention, ce qui rend l’optimisation plus difficile et consomme plus de puissance de calcul et de mémoire.

Que dois-je faire ? Certains travaux récents se sont concentrés sur l'étude d'architectures de réseau efficaces pour les images haute résolution. Cependant, aucune des méthodes existantes n’a démontré de résultats au-delà d’une résolution de 512 × 512, et la qualité de la génération est en retard par rapport aux méthodes classiques en cascade ou latentes.

Nous prenons comme exemples OpenAI DALL-E 2, Google IMAGEN et NVIDIA eDiffI, qui économisent de la puissance de calcul en apprenant un modèle basse résolution et plusieurs modèles de diffusion super-résolution, où chaque composant est entraîné séparément. D'autre part, le modèle de diffusion latente (LDM) n'apprend qu'un modèle de diffusion basse résolution et s'appuie sur un auto-encodeur haute résolution entraîné séparément. Pour les deux solutions, les pipelines à plusieurs étapes compliquent la formation et l’inférence, nécessitant souvent un réglage minutieux ou des hyperparamètres.

Dans cet article, les chercheurs proposent les modèles de diffusion Matryoshka (MDM), qui est un nouveau modèle de diffusion pour la génération d'images haute résolution de bout en bout. Le code sera bientôt publié.

Adresse papier : https://arxiv.org/pdf/2310.15111.pdf

L'idée principale proposée dans cette étude est d'utiliser le processus de diffusion basse résolution dans le cadre de la génération haute résolution en utilisant l'intégration L'architecture UNet effectue un processus de diffusion conjointe à plusieurs résolutions.

L'étude a révélé que : MDM, associé à l'architecture UNet imbriquée, permet d'obtenir 1) une perte multi-résolution : une amélioration considérable de la vitesse de convergence du débruitage d'entrée haute résolution ; 2) un plan d'entraînement progressif efficace, à partir d'un entraînement faible. le modèle de diffusion de résolution est démarré et les entrées et sorties haute résolution sont progressivement ajoutées comme prévu. Les résultats expérimentaux montrent que la combinaison d'une perte multi-résolution avec un entraînement progressif peut permettre d'obtenir un meilleur équilibre entre le coût de l'entraînement et la qualité du modèle.

Cette étude évalue MDM sur la génération d'images conditionnelles de classe ainsi que sur la génération d'images et de vidéos conditionnelles de texte. MDM permet de former des modèles haute résolution sans utiliser de cascades ou de diffusion latente. Les études d'ablation montrent que la perte multi-résolution et l'entraînement progressif améliorent considérablement l'efficacité et la qualité de l'entraînement.

Profitons des photos et vidéos suivantes générées par MDM. Les chercheurs ont déclaré que le modèle de diffusion MDM est formé de bout en bout en haute résolution tout en utilisant une formation de données structurées hiérarchiquement. MDM généralise d'abord le modèle de diffusion standard dans l'espace de diffusion, puis propose une architecture imbriquée et un processus de formation dédiés.

Voyons d'abord comment généraliser le modèle de diffusion standard

dans l'espace étendu.

La différence avec les méthodes en cascade ou latentes est que MDM apprend un processus de diffusion unique avec une structure hiérarchique en introduisant des processus de diffusion multi-résolution dans un espace étendu. Les détails sont présentés dans la figure 2 ci-dessous.

Plus précisément, étant donné un point de données x ∈ R^N, le chercheur définit une variable latente liée au temps z_t = z_t^1 , , z_t^R ∈ R^N_1+... NR.

Les chercheurs affirment que la modélisation de la diffusion dans un espace étendu présente les deux avantages suivants. D'une part, nous nous soucions généralement de la sortie pleine résolution z_t^R lors de l'inférence, de sorte que toutes les autres résolutions intermédiaires sont traitées comme des variables latentes supplémentaires z_t^r, ce qui augmente la complexité de la modélisation de la distribution. Deuxièmement, les dépendances multi-résolution offrent la possibilité de partager des poids et des calculs sur z_t^r, redistribuant ainsi les calculs de manière plus efficace et permettant une formation et une inférence efficaces.

Voyons comment fonctionne l'architecture imbriquée (NestedUNet).

Semblable aux modèles de diffusion typiques, les chercheurs utilisent la structure de réseau UNet pour mettre en œuvre le MDM, où les connexions résiduelles et les blocs de calcul sont utilisés en parallèle pour conserver les informations d'entrée à granularité fine. Le bloc de calcul contient ici plusieurs couches de couches de convolution et d’auto-attention. Les codes pour NestedUNet et UNet standard sont les suivants.

En plus de sa simplicité par rapport aux autres méthodes hiérarchiques, NestedUNet permet de répartir le calcul de la manière la plus efficace. Comme le montre la figure 3 ci-dessous, les premières explorations menées par les chercheurs ont révélé que le MDM permet d'obtenir une évolutivité nettement meilleure lors de l'attribution de la plupart des paramètres et des calculs à la résolution la plus basse.

La dernière chose est Apprendre.

Les chercheurs utilisent des cibles de débruitage conventionnelles pour entraîner le MDM à plusieurs résolutions, comme le montre la formule (3) ci-dessous.

Un entraînement progressif est utilisé ici. Les chercheurs ont directement formé le MDM de bout en bout selon la formule (3) ci-dessus et ont démontré une meilleure convergence que la méthode de base d'origine. Ils ont constaté que l’utilisation d’une méthode de formation progressive simple, similaire à celle proposée dans le document du GAN, accélérait considérablement la formation de modèles haute résolution.

Cette méthode de formation évite dès le début une formation haute résolution coûteuse et accélère la convergence globale. De plus, ils ont également intégré un entraînement à résolution mixte, qui entraîne simultanément des échantillons avec différentes résolutions finales dans un seul lot.

Expériences et résultats

MDM est une technique générale applicable à tout problème où les dimensions d'entrée peuvent être compressées progressivement. Une comparaison du MDM avec l’approche de base est présentée dans la figure 4 ci-dessous.

Le tableau 1 montre les résultats de comparaison sur ImageNet (FID-50K) et COCO (FID-30K).

Les figures 5, 6 et 7 ci-dessous montrent les résultats du MDM dans la génération d'images (Figure 5), de texte en image (Figure 6) et de texte en vidéo (Figure 7). Bien qu'il ait été formé sur un ensemble de données relativement petit, MDM présente une forte capacité à générer des images et des vidéos haute résolution.

Les lecteurs intéressés peuvent lire le texte original de l'article pour en savoir plus sur le contenu de la recherche.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!