Table des matières
Méthode​
Expérience
Maison Périphériques technologiques IA Apprendre un modèle de diffusion à partir d'une seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

Apprendre un modèle de diffusion à partir d'une seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

Apr 14, 2023 pm 06:10 PM
模型 自然学习

La technologie consistant à générer des images à partir d'une seule image naturelle est largement utilisée et a donc reçu de plus en plus d'attention. Cette recherche vise à apprendre un modèle génératif inconditionnel à partir d'une seule image naturelle pour générer différents échantillons avec un contenu visuel similaire en capturant les statistiques internes des patchs. Une fois formé, le modèle peut non seulement générer des images de haute qualité indépendantes de la résolution, mais peut également être facilement adapté à diverses applications, telles que l'édition d'images, l'harmonisation d'images et la conversion entre images. ​

SinGAN peut répondre aux exigences ci-dessus. Cette méthode peut construire plusieurs échelles d'images naturelles et former une série de GAN pour apprendre les informations statistiques internes des correctifs dans une seule image. L'idée principale de SinGAN est de former plusieurs modèles à des échelles progressivement croissantes. Cependant, les images générées par ces méthodes peuvent être insatisfaisantes car elles souffrent d'erreurs de détails à petite échelle, entraînant des artefacts évidents dans les images générées (voir Figure 2).

Apprendre un modèle de diffusion à partir dune seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

Dans cet article, des chercheurs de l'Université des sciences et technologies de Chine, de Microsoft Research Asia et d'autres institutions ont proposé un nouveau cadre - un modèle de diffusion d'image unique (SinDiffusion, Single-image Diffusion) est utilisé pour apprendre à partir d’une seule image naturelle, basée sur le modèle probabiliste de diffusion de débruitage (DDPM). Bien que le modèle de diffusion soit un processus de génération en plusieurs étapes, il ne pose pas de problème d'erreurs cumulatives. La raison en est que le modèle de diffusion a une formule mathématique systématique et que les erreurs dans les étapes intermédiaires peuvent être considérées comme des interférences et peuvent être améliorées au cours du processus de diffusion. ​

Une autre conception fondamentale de SinDiffusion est de limiter le champ réceptif du modèle de diffusion. Cette étude a examiné la structure de réseau couramment utilisée dans les modèles de diffusion précédents [7] et a constaté qu'elle présente des performances plus élevées et une structure plus profonde. Cependant, le champ de réception de cette structure de réseau est suffisamment grand pour couvrir l'intégralité de l'image, ce qui amène le modèle à avoir tendance à s'appuyer sur des images d'entraînement en mémoire pour générer des images exactement identiques aux images d'entraînement. Afin d'encourager le modèle à apprendre les statistiques des patchs au lieu de mémoriser l'image entière, la recherche a soigneusement conçu la structure du réseau et introduit un réseau de débruitage par patch. Par rapport à la structure de diffusion précédente, SinDiffusion réduit le nombre de sous-échantillonnage et le nombre de ResBlocks dans la structure de réseau de débruitage d'origine. De cette manière, SinDiffusion peut apprendre d’une seule image naturelle et générer des images diverses et de haute qualité (voir Figure 2).

Apprendre un modèle de diffusion à partir dune seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

  • Adresse papier : https://arxiv.org/pdf/2211.12445.pdf
  • Adresse du projet : https://github.com/WeilunWang/SinDiffusion

L'avantage de SinDiffusion est qu'il peut être utilisé de manière flexible dans divers scénarios (voir Figure 1). Il peut être utilisé dans diverses applications sans aucune reconversion du modèle. Dans SinGAN, les applications en aval sont principalement mises en œuvre en saisissant des conditions dans des GAN pré-entraînés à différentes échelles. Par conséquent, l’application de SinGAN est limitée à celles données dans des conditions spatialement alignées. En revanche, SinDiffusion peut être utilisé dans un plus large éventail d’applications en concevant la procédure d’échantillonnage. SinDiffusion apprend à prédire le gradient d'une distribution de données grâce à un entraînement inconditionnel. En supposant qu'il existe une fonction de notation décrivant la corrélation entre les images générées et les conditions (c'est-à-dire la distance L−p ou un réseau pré-entraîné tel que CLIP), cette étude utilise le gradient du score de corrélation pour guider le processus d'échantillonnage de SinDiffusion. De cette manière, SinDiffusion est capable de générer des images qui correspondent à la fois à la distribution des données et aux conditions données.

Apprendre un modèle de diffusion à partir dune seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

L'étude démontre les avantages du cadre proposé en menant des expériences sur une variété d'images naturelles, notamment des paysages et des œuvres d'art célèbres. Les résultats quantitatifs et qualitatifs confirment que SinDiffusion peut produire des résultats diversifiés et de haute fidélité, tandis que les applications en aval démontrent davantage l'utilité et la flexibilité de SinDiffusion.

Méthode​

Différent de la conception de croissance progressive des études précédentes, SinDiffusion utilise un seul modèle de débruitage à une seule échelle pour l'entraînement, empêchant ainsi l'accumulation d'erreurs. De plus, cette étude a révélé que le champ récepteur au niveau des patchs du réseau de diffusion joue un rôle important dans la capture de la distribution interne des patchs et a conçu une nouvelle structure de réseau de débruitage. Sur la base de ces deux conceptions principales, SinDiffusion génère des images diverses et de haute qualité à partir d’une seule image naturelle.

Le reste de cette section est organisé comme suit : nous passons d'abord en revue SinGAN et montrons la motivation de SinDiffusion, puis introduisons la conception structurelle de SinDiffusion.

Tout d’abord, passons brièvement en revue SinGAN. La figure 3 (a) montre le processus de génération de SinGAN. Afin de générer différentes images à partir d'une seule image, une conception clé de SinGAN consiste à construire une pyramide d'images et à augmenter progressivement la résolution des images générées. ​

La figure 3(b) montre le nouveau cadre de SinDiffusion. Contrairement à SinGAN, SinDiffusion effectue un processus de génération en plusieurs étapes en utilisant un seul réseau de débruitage à une seule échelle. Bien que SinDiffusion utilise également le même processus de génération en plusieurs étapes que SinGAN, les résultats générés sont de haute qualité. En effet, le modèle de diffusion est basé sur la dérivation systématique d'équations mathématiques et les erreurs générées par les étapes intermédiaires sont affinées à plusieurs reprises en bruit au cours du processus de diffusion.

Apprendre un modèle de diffusion à partir dune seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

SinDiffusion

Cet article étudie la relation entre la diversité des générations et le champ réceptif du réseau de débruitage - la modification de la structure du réseau de débruitage peut changer le champ de réception, et quatre types de Ces modèles sont formés sur une seule image naturelle en utilisant des structures de réseau avec des champs de réception différents mais des performances comparables. La figure 4 montre les résultats générés par le modèle sous différents champs récepteurs. On peut observer que plus le champ récepteur est petit, plus les résultats générés par SinDiffusion sont diversifiés et vice versa. Cependant, des recherches ont montré que les modèles de champ récepteur extrêmement petits ne peuvent pas maintenir la structure raisonnable de l'image. Par conséquent, un champ récepteur approprié est important et nécessaire pour obtenir des statistiques de correctifs raisonnables.

Apprendre un modèle de diffusion à partir dune seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

Cette recherche redessine le modèle de diffusion couramment utilisé et introduit un réseau de débruitage par patch pour la génération d'images uniques. La figure 5 est un aperçu du réseau de débruitage par patch dans SinDiffusion et montre les principales différences par rapport aux réseaux de débruitage précédents. Premièrement, la profondeur du réseau de débruitage est réduite en réduisant les opérations de sous-échantillonnage et de suréchantillonnage, élargissant ainsi considérablement le champ de réception. Dans le même temps, les couches d'attention profondes initialement utilisées dans le réseau de débruitage sont naturellement supprimées, faisant de SinDiffusion un réseau entièrement convolutif adapté à la génération à n'importe quelle résolution. Deuxièmement, le champ de réception de SinDiffusion est encore limité en réduisant le resblocage du temps intégré dans chaque résolution. Cette méthode est utilisée pour obtenir un réseau de débruitage par patch avec des champs récepteurs appropriés, obtenant ainsi des résultats réalistes et diversifiés.

Apprendre un modèle de diffusion à partir dune seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

Expérience

Les résultats qualitatifs des images générées aléatoirement par SinDiffusion sont présentés dans la figure 6.

On constate qu'à différentes résolutions, SinDiffusion peut générer des images réelles avec des motifs similaires aux images d'entraînement.

De plus, cet article étudie également SinDiffusion sur la façon de générer des images haute résolution à partir d'une seule image. La figure 13 montre les images de formation et les résultats générés. L'image de formation est une image de paysage d'une résolution de 486 × 741 contenant des composants riches tels que des nuages, des montagnes, de l'herbe, des fleurs et un lac. Pour permettre la génération d'images haute résolution, SinDiffusion a été mis à niveau vers une version améliorée avec des champs de réception et des capacités réseau plus larges. La version améliorée de SinDiffusion génère une image à défilement long haute résolution avec une résolution de 486 × 2048. L'effet généré conserve la disposition interne de l'image de formation inchangée et résume le nouveau contenu, comme le montre la figure 13.

Apprendre un modèle de diffusion à partir dune seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

Comparaison avec les méthodes précédentes

Le tableau 1 montre les résultats quantitatifs produits par SinDiffusion par rapport à plusieurs méthodes difficiles, à savoir SinGAN, ExSinGAN, ConSinGAN et GPNN. Par rapport aux méthodes précédentes basées sur le GAN, SinDiffusion a atteint les performances SOTA après des améliorations progressives. Il convient de mentionner que la méthode de recherche présentée dans cet article améliore considérablement la diversité des images générées. Sur la moyenne de 50 modèles formés sur l'ensemble de données Places50, cette méthode dépasse le modèle actuel le plus difficile avec un score de +0,082 méthode LPIPS.


Apprendre un modèle de diffusion à partir dune seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

En plus des résultats quantitatifs, la figure 8 montre également les résultats qualitatifs sur l'ensemble de données Places50.

Apprendre un modèle de diffusion à partir dune seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

La figure 15 montre les résultats de la génération d'images guidées par texte de SinDiffusion et des méthodes précédentes.

Apprendre un modèle de diffusion à partir dune seule image naturelle est mieux que GAN, SinDiffusion réalise un nouveau SOTA

Veuillez consulter le document original pour plus d'informations.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Nouveaux travaux sur la prédiction de séries chronologiques + grand modèle NLP : générer automatiquement des invites implicites pour la prédiction de séries chronologiques Nouveaux travaux sur la prédiction de séries chronologiques + grand modèle NLP : générer automatiquement des invites implicites pour la prédiction de séries chronologiques Mar 18, 2024 am 09:20 AM

Aujourd'hui, j'aimerais partager un travail de recherche récent de l'Université du Connecticut qui propose une méthode pour aligner les données de séries chronologiques avec de grands modèles de traitement du langage naturel (NLP) sur l'espace latent afin d'améliorer les performances de prévision des séries chronologiques. La clé de cette méthode consiste à utiliser des indices spatiaux latents (invites) pour améliorer la précision des prévisions de séries chronologiques. Titre de l'article : S2IP-LLM : SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting Adresse de téléchargement : https://arxiv.org/pdf/2403.05798v1.pdf 1. Modèle de fond de problème important

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! Mar 21, 2024 pm 05:21 PM

Cet article explore le problème de la détection précise d'objets sous différents angles de vue (tels que la perspective et la vue à vol d'oiseau) dans la conduite autonome, en particulier comment transformer efficacement les caractéristiques de l'espace en perspective (PV) en vue à vol d'oiseau (BEV). implémenté via le module Visual Transformation (VT). Les méthodes existantes sont globalement divisées en deux stratégies : la conversion 2D en 3D et la conversion 3D en 2D. Les méthodes 2D vers 3D améliorent les caractéristiques 2D denses en prédisant les probabilités de profondeur, mais l'incertitude inhérente aux prévisions de profondeur, en particulier dans les régions éloignées, peut introduire des inexactitudes. Alors que les méthodes 3D vers 2D utilisent généralement des requêtes 3D pour échantillonner des fonctionnalités 2D et apprendre les poids d'attention de la correspondance entre les fonctionnalités 3D et 2D via un transformateur, ce qui augmente le temps de calcul et de déploiement.

See all articles