Maison Périphériques technologiques IA Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie d'image bat la diffusion stable

Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie d'image bat la diffusion stable

Apr 12, 2023 pm 03:43 PM
模型 文本

La génération d'images est l'une des directions les plus en vogue dans le domaine actuel de l'AIGC. Les modèles de génération d'images récemment publiés tels que DALL・E 2, Imagen, Stable Diffusion, etc. ont inauguré une nouvelle ère de génération d'images, atteignant des niveaux sans précédent de qualité d'image et de flexibilité des modèles. Le modèle de diffusion est également devenu le paradigme dominant à l'heure actuelle. Cependant, les modèles de diffusion reposent sur l'inférence itérative, ce qui est une arme à double tranchant car les méthodes itératives peuvent réaliser une formation stable avec des objectifs simples, mais le processus d'inférence nécessite un coût de calcul élevé.

Avant les modèles de diffusion, les réseaux contradictoires génératifs (GAN) étaient une infrastructure couramment utilisée dans les modèles de génération d'images. Par rapport aux modèles de diffusion, les GAN génèrent des images via un seul passage direct et sont donc intrinsèquement plus efficaces, mais en raison de l'instabilité du processus de formation, la mise à l'échelle des GAN nécessite un réglage minutieux de l'architecture du réseau et des facteurs de formation. Par conséquent, les GAN sont efficaces pour modéliser une ou plusieurs classes d’objets, mais sont extrêmement difficiles à adapter à des ensembles de données complexes (sans parler du monde réel). En conséquence, de très grands modèles, données et ressources informatiques sont désormais dédiés aux modèles de diffusion et autorégressifs.

Mais en tant que méthode de génération efficace, de nombreux chercheurs n'ont pas complètement abandonné la méthode GAN. Par exemple, NVIDIA a récemment proposé le modèle StyleGAN-T ; les Chinois de Hong Kong et d'autres ont utilisé des méthodes basées sur le GAN pour générer des vidéos fluides. Il s'agit d'autres tentatives des chercheurs CV sur le GAN.

Maintenant, dans un article CVPR 2023, des chercheurs de POSTECH, de l'Université Carnegie Mellon et de l'Adobe Research Institute ont exploré conjointement plusieurs questions importantes concernant le GAN, notamment :

  • Le GAN peut-il continuer à se développer et à bénéficier de ressources massives, les GAN rencontrent-ils un goulot d’étranglement ?
  • Qu'est-ce qui empêche une nouvelle mise à l'échelle des GAN et pouvons-nous surmonter ces obstacles ?

Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie dimage bat la diffusion stable

  • Lien papier : https://arxiv.org/abs/2303.05511
  • Lien du projet : https://mingukkang.github.io/GigaGAN/

Il convient de noter que Zhu Junyan, l'auteur principal de CycleGAN et lauréat du prix ACM SIGGRAPH de la meilleure thèse de doctorat 2018, est le deuxième auteur de cet article CVPR.

L'étude a d'abord mené des expériences en utilisant StyleGAN2 et a observé que la simple extension du réseau fédérateur entraînait une formation instable. Sur cette base, les chercheurs ont identifié plusieurs problèmes clés et ont proposé une technique pour stabiliser la formation tout en augmentant la capacité du modèle.

Premièrement, cette étude augmente efficacement la capacité du générateur en conservant un ensemble de filtres et en employant des combinaisons linéaires spécifiques à des échantillons. L'étude a également adopté plusieurs techniques couramment utilisées dans un contexte de diffusion et a confirmé qu'elles apportent des avantages similaires aux GAN. Par exemple, l’entrelacement de l’attention personnelle (image uniquement) et de l’attention croisée (image-texte) avec des couches convolutives peut améliorer les performances du modèle.

La recherche réintroduit également la formation multi-échelle et propose un nouveau schéma pour améliorer l'alignement image-texte et générer des détails basse fréquence du résultat. La formation multi-échelle permet aux générateurs basés sur GAN d'utiliser plus efficacement les paramètres des blocs basse résolution, ce qui entraîne un meilleur alignement image-texte et une meilleure qualité d'image. Après un ajustement minutieux, cette étude propose un nouveau modèle GigaGAN avec un milliard de paramètres et réalise une formation stable et évolutive sur de grands ensembles de données (tels que LAION2B-en). Les résultats expérimentaux sont présentés dans la figure 1 ci-dessous.

Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie dimage bat la diffusion stable

De plus, cette étude a adopté une approche en plusieurs étapes [14, 104], générant d'abord des images à basse résolution de 64 × 64, puis un suréchantillonnage à une résolution de 512 × 512. Les deux réseaux sont suffisamment modulaires et puissants pour être utilisés de manière plug-and-play.

Cette étude montre que le réseau de suréchantillonnage GAN conditionné par le texte peut être utilisé comme suréchantillonneur efficace et de meilleure qualité pour le modèle de diffusion sous-jacent, comme le montrent les figures 2 et 3 ci-dessous.

Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie dimage bat la diffusion stable

Les améliorations ci-dessus rendent GigaGAN bien au-delà des GAN précédents : 36 fois plus grand que StyleGAN2 et 6 fois plus grand que StyleGAN-XL et XMC-GAN. Bien que le nombre de paramètres de GigaGAN d'un milliard (1B) soit encore inférieur à celui des grands modèles synthétiques récents tels que Imagen (3,0B), DALL・E 2 (5,5B) et Parti (20B), les chercheurs affirment qu'ils n'ont pas encore observé des changements dans la qualité de la taille du modèle est saturée.

GigaGAN atteint un FID à échantillon nul de 9,09 sur l'ensemble de données COCO2014, ce qui est inférieur à DALL・E 2, Parti-750M et Stable Diffusion.


De plus, par rapport aux modèles de diffusion et aux modèles autorégressifs, GigaGAN présente trois avantages pratiques majeurs. Premièrement, il est des dizaines de fois plus rapide, produisant une image de 512 pixels en 0,13 seconde (Figure 1). Deuxièmement, il peut synthétiser des images ultra haute résolution en résolution 4K en seulement 3,66 secondes. Troisièmement, il dispose d'un espace vectoriel latent contrôlable qui convient aux applications de synthèse d'images contrôlables bien étudiées, telles que le mélange de styles (Figure 6), l'interpolation rapide (Figure 7) et le mélange rapide (Figure 8). La recherche a réussi à former un modèle à l'échelle d'un milliard de paramètres basé sur le GAN, GigaGAN, sur des milliards d'images du monde réel. Cela suggère que les GAN restent une option viable pour la synthèse texte-image et que les chercheurs devraient les envisager pour une expansion future agressive.

Aperçu de la méthode

Les chercheurs ont entraîné un générateur G (z, c) pour prédire, étant donné un codage latent z∼N (0, 1)∈R^128 et un signal de conditionnement de texte c, une image x∈ R^(H×L×3). Ils utilisent un discriminateur D (x, c) pour juger de l'authenticité des images générées par rapport aux échantillons d'une base de données de formation D, qui contient des paires image-texte.

Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie dimage bat la diffusion stable

Bien que les GAN puissent générer avec succès des images réalistes sur des ensembles de données à classes uniques et multi-classes, la synthèse conditionnelle de texte ouvert sur des images Internet est toujours confrontée à des défis. Les chercheurs émettent l’hypothèse que les limites actuelles proviennent de la dépendance à l’égard des couches convolutives. Autrement dit, le même filtre convolutif est utilisé pour modéliser une fonction de synthèse d'image universelle pour toutes les conditions de texte à tous les emplacements de l'image, ce qui constitue un défi. Compte tenu de cela, les chercheurs tentent d'injecter plus d'expressivité dans le paramétrage en sélectionnant dynamiquement des filtres de convolution en fonction des conditions d'entrée et en capturant les dépendances à longue portée via des mécanismes d'attention.

Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie dimage bat la diffusion stable

Le générateur d'images texte haute capacité GigaGAN est illustré dans la figure 4 ci-dessous. Tout d’abord, nous utilisons un modèle CLIP pré-entraîné et un encodeur appris T pour extraire les intégrations de texte. Envoyez des descripteurs de texte locaux au générateur en utilisant une attention croisée. Le descripteur de texte global, ainsi que le code latent z, sont introduits dans le réseau de mappage de style M pour produire le code de style w. Le code de style ajuste le générateur principal en utilisant le style de la sélection papier - noyau adaptatif, illustré à droite.

Le générateur génère une pyramide d'images en convertissant les caractéristiques intermédiaires en images RVB. Pour atteindre une capacité plus élevée, nous utilisons plusieurs couches d'attention et de convolution à chaque échelle (Annexe A2). Ils ont également utilisé un modèle de suréchantillonnage distinct, qui n’est pas illustré sur cette figure.

Le discriminateur se compose de deux branches de traitement d'image et de conditionnement de texte t_D. La branche texte gère le texte de la même manière que le générateur (Figure 4). La branche d'images reçoit une pyramide d'images et effectue des prédictions indépendantes pour chaque échelle d'image. De plus, des prédictions sont effectuées à toutes les échelles ultérieures de la couche de sous-échantillonnage, ce qui en fait un discriminateur d'entrée et de sortie multi-échelle (MS-I/O).

Résultats expérimentaux

Dans l'article, l'auteur a enregistré cinq expériences différentes.

Dans la première expérimentation, ils ont démontré l'efficacité de la méthode proposée en incorporant chaque composante technique une à une.

Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie dimage bat la diffusion stable

Dans la deuxième expérience, ils ont testé la capacité du modèle à générer des graphiques, et les résultats ont montré que GigaGAN a réalisé un FID comparable à la diffusion stable (SD-v1.5), tout en produisant des résultats meilleurs que Les modèles de diffusion ou autorégressifs sont beaucoup plus rapides.

Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie dimage bat la diffusion stable

Dans la troisième expérience, ils ont comparé GigaGAN avec un modèle de diffusion basé sur la distillation, et les résultats ont montré que GigaGAN peut synthétiser des images de meilleure qualité plus rapidement qu'un modèle de diffusion basé sur la distillation.

Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie dimage bat la diffusion stable

Dans la quatrième expérience, ils ont vérifié les avantages du suréchantillonneur de GigaGAN par rapport aux autres suréchantillonneurs dans les tâches de super-résolution conditionnelle et inconditionnelle.

Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie dimage bat la diffusion stable

Contre-attaque du GAN : le nouveau CVPR de Zhu Junyan fonctionne GigaGAN, la vitesse de sortie dimage bat la diffusion stable

Enfin, ils ont montré que leur modèle GAN à grande échelle proposé bénéficie toujours des opérations spatiales latentes continues et démêlées du GAN, permettant ainsi un nouveau mode d'édition d'image. Voir les figures 6 et 8 ci-dessus pour les diagrammes.


Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! Mar 21, 2024 pm 05:21 PM

Cet article explore le problème de la détection précise d'objets sous différents angles de vue (tels que la perspective et la vue à vol d'oiseau) dans la conduite autonome, en particulier comment transformer efficacement les caractéristiques de l'espace en perspective (PV) en vue à vol d'oiseau (BEV). implémenté via le module Visual Transformation (VT). Les méthodes existantes sont globalement divisées en deux stratégies : la conversion 2D en 3D et la conversion 3D en 2D. Les méthodes 2D vers 3D améliorent les caractéristiques 2D denses en prédisant les probabilités de profondeur, mais l'incertitude inhérente aux prévisions de profondeur, en particulier dans les régions éloignées, peut introduire des inexactitudes. Alors que les méthodes 3D vers 2D utilisent généralement des requêtes 3D pour échantillonner des fonctionnalités 2D et apprendre les poids d'attention de la correspondance entre les fonctionnalités 3D et 2D via un transformateur, ce qui augmente le temps de calcul et de déploiement.

See all articles