Table des matières
Introduction
Présentation de la méthode
Résultats expérimentaux
Conclusion
Maison Périphériques technologiques IA rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

Apr 12, 2023 am 10:19 AM
图像 模型

Introduction

Le modèle de diffusion est à l'origine dérivé de la thermodynamique en physique, mais il est récemment devenu populaire dans le domaine de l'intelligence artificielle. Quelles autres théories physiques peuvent favoriser le développement de la recherche sur les modèles génératifs ? Récemment, des chercheurs du MIT se sont inspirés de la théorie électromagnétique de haute dimension et ont proposé un modèle génératif appelé Poisson Flow. Théoriquement, ce modèle possède des images intuitives et une théorie rigoureuse ; expérimentalement, il est souvent meilleur que le modèle de diffusion en termes de qualité de génération, de vitesse de génération et de robustesse. Cet article a été accepté par NeurIPS 2022.

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

  • Adresse de papier: https://arxiv.org/abs/2209.11178
  • Code Adresse: https://github.com/newbeeer/poisson_flow

inspired by Electrostatic Mechanics, les chercheurs ont proposé un nouveau modèle génératif appelé Modèle de flux de Poisson (Poisson Flow Generative Models, ou PFGM). Intuitivement, cette recherche peut considérer les points de données à N dimensions comme un groupe de charges positives sur le plan z=0, une nouvelle dimension dans l’espace à N+1 dimensions. Ils génèrent un champ électrique dans l’espace à haute dimension. En partant du plan z=0 et en se déplaçant vers l’extérieur le long des lignes de champ électrique qu’elles génèrent, l’étude a pu envoyer l’échantillon dans un hémisphère (comme le montre la figure 1). La direction de ces lignes de champ électrique correspond au gradient de la solution de l'équation de Poisson dans un espace de grande dimension. Les chercheurs ont prouvé que lorsque le rayon de l’hémisphère est suffisamment grand, les lignes de champ électrique peuvent transformer la distribution des charges (c’est-à-dire la distribution des données) sur le plan z=0 en une distribution uniforme sur l’hémisphère (Figure 2).

PFGM profite de la réversibilité des lignes de champ électrique pour générer une distribution de données sur le plan z=0 : d'abord, les chercheurs échantillonnent uniformément sur un grand hémisphère, puis laissent l'échantillon se déplacer le long des lignes de champ électrique depuis la sphère. au plan z=0, générant ainsi des données. Étant donné que le mouvement le long des lignes de champ électrique peut être décrit par une équation différentielle ordinaire (ODE), dans le cas d'un échantillonnage réel, les chercheurs n'ont qu'à résoudre une ODE déterminée par la direction des lignes de champ électrique. Grâce à un champ électrique, PFGM convertit une simple distribution sur une sphère en une distribution de données complexe. De ce point de vue, le PFGM peut être considéré comme un flux normalisant continu (Normalizing Flow).

Dans l'expérience de génération d'images, PFGM est actuellement le modèle de flux normalisé le plus performant sur l'ensemble de données standard CIFAR-10, atteignant un score FID (une mesure de la qualité de l'image) de 2,35. Les chercheurs ont également démontré d’autres utilisations du PFGM, ​​telles que sa capacité à calculer la probabilité d’image, à effectuer l’édition d’images et à mettre à l’échelle des ensembles de données d’images haute résolution. De plus, les chercheurs ont découvert que PFGM présente trois avantages par rapport aux modèles de diffusion récemment populaires :

(1) Sur la même structure de réseau, la qualité des échantillons générés par l'ODE de PFGM est bien meilleure que l'ODE du modèle de diffusion ; (2) Alors que la qualité de génération de SDE (équation différentielle stochastique) du modèle de diffusion est presque la même, l'ODE de PFGM a atteint une accélération de 10 à 20 fois

(3) La capacité d'expression de PFGM ; Les réseaux plus faibles sont structurellement plus robustes que les modèles de diffusion.

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

Figure 1 : Le point d'échantillonnage se déplace le long de la ligne de champ électrique. Ci-dessus : La distribution des données est en forme de cœur ; en bas : Les données sont distribuées sous la forme d'un PFGM


rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

Figure 2 : Gauche : La trajectoire du champ de Poisson en trois dimensions ; à droite : sur l'image Forward ODE et Reverse ODE en utilisant PFGM

Présentation de la méthode

Notez que le processus ci-dessus intègre des données à N dimensions dans un espace à N+1 dimensions (dimension z supplémentaire). Afin de faciliter la distinction, les chercheurs utilisent x et rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse pour représenter des données à N dimensions et N+1 dimensions. Afin d'obtenir les lignes de champ électrique de grande dimension mentionnées ci-dessus, l'équation de Poisson suivante doit être résolue :

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse est la distribution de données que vous souhaitez générer sur le plan z=0 ; rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse est la fonction potentielle, c'est également l'objectif que les chercheurs cherchent à résoudre. Comme seule la direction de la ligne de champ électrique doit être connue, les chercheurs ont dérivé la forme analytique du gradient de la ligne de champ électrique (le gradient de la fonction de potentiel) :

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

La trajectoire du champ électrique (voir Figure 2) peut être calculée par l'ODE Description suivante :

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

Dans le théorème suivant, les chercheurs prouvent que l'ODE ci-dessus définit une bijection de la distribution uniforme sur l'hémisphère de grande dimension et les données distribution sur le plan z=0. Cette conclusion est la même que l'intuition des figures 1 et 2 : la distribution des données peut être restaurée via des lignes de champ électrique.

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

Formation de PFGM

Étant donné un ensemble de données rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse échantillonnées à partir de la distribution des données, les chercheurs utilisent le gradient de ligne de champ électrique correspondant à l'ensemble de données pour approximer la distribution des données. Dégradé de ligne de champ électrique :

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

Ce gradient de ligne de champ électrique est la cible d'apprentissage. Cette étude utilise la fonction perturb pour sélectionner des points dans l'espace, et la fonction de perte carrée permet au réseau neuronal rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse d'apprendre le gradient de ligne de champ électrique normalisé dans l'espace rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse L'algorithme spécifique est le suivant :

. rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

Échantillonnage PFGM

Après avoir appris la normalisation pour apprendre le gradient de ligne de champ électrique normalisé dans l'espace, la distribution des données peut être échantillonnée via l'ODE suivante :

Cette ODE fait passer progressivement l'échantillon de la grande sphère le long des lignes de champ électrique jusqu'au plan z=0 en réduisant z. De plus, cette étude propose de projeter la distribution uniforme sur une grande sphère sur un certain plan z pour faciliter les simulations ODE et accélérer davantage l'échantillonnage grâce à la substitution de variables. Veuillez vous référer à la section 3.3 de l'article pour connaître les étapes spécifiques.

Résultats expérimentaux

Dans le tableau 1, cette étude utilise l'ensemble de données standard CIFAR-10 pour évaluer différents modèles. Sur cet ensemble de données, PFGM est le modèle de flux normalisé réversible le plus performant, atteignant un score FID de 2,35. PFGM fonctionne mieux que le modèle de diffusion en utilisant la même structure de réseau (DDPM++/DDPM++ deep). Les chercheurs ont également observé que même si la qualité de génération SDE (équation différentielle stochastique) du modèle de diffusion était similaire, PFGM a atteint une accélération de 10 à 20 fois, équilibrant mieux la qualité et la vitesse de génération. En outre, les chercheurs ont découvert que le PFGM est plus robuste que les modèles de diffusion sur des structures de réseau moins expressives, et reste meilleur que les modèles de diffusion dans les mêmes conditions sur des ensembles de données de plus grande dimension. Veuillez consulter la section expérimentale de l'article pour plus de détails. Dans la figure 3, l'étude visualise le processus de génération d'images PFGM.

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

Tableau 1 : Qualité de l'échantillon (FID, Inception) et étapes d'échantillonnage (NFE) sur les données CIFAR-10

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse


rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

rouler! Le modèle de génération de flux du MIT Poisson surpasse le modèle de diffusion, en tenant compte à la fois de la qualité et de la vitesse

Photo trois : Processus d'échantillonnage de PFGM sur CIFAR-10, CelebA 64x64, chambre LSUN 256x256

Conclusion

Cette étude propose un modèle génératif PFGM basé sur l'équation de Poisson. Ce modèle prédit les gradients normalisés des lignes de champ électrique dans un espace étendu de dimensions N+1 et est échantillonné par les ODE correspondantes des lignes de champ électrique. Dans les expériences, le modèle étudié dans cette étude est actuellement le meilleur modèle de flux standardisé et permet d'obtenir de meilleurs effets de génération et une vitesse d'échantillonnage plus rapide que le modèle de diffusion sur la même structure de réseau. Le processus d'échantillonnage du PFGM est plus robuste au bruit et peut également être étendu à des ensembles de données de dimensions supérieures. Les chercheurs s’attendent à ce que le PFGM soit également performant dans d’autres domaines d’application, tels que la génération de molécules et la génération de données 3D.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! Mar 21, 2024 pm 05:21 PM

Cet article explore le problème de la détection précise d'objets sous différents angles de vue (tels que la perspective et la vue à vol d'oiseau) dans la conduite autonome, en particulier comment transformer efficacement les caractéristiques de l'espace en perspective (PV) en vue à vol d'oiseau (BEV). implémenté via le module Visual Transformation (VT). Les méthodes existantes sont globalement divisées en deux stratégies : la conversion 2D en 3D et la conversion 3D en 2D. Les méthodes 2D vers 3D améliorent les caractéristiques 2D denses en prédisant les probabilités de profondeur, mais l'incertitude inhérente aux prévisions de profondeur, en particulier dans les régions éloignées, peut introduire des inexactitudes. Alors que les méthodes 3D vers 2D utilisent généralement des requêtes 3D pour échantillonner des fonctionnalités 2D et apprendre les poids d'attention de la correspondance entre les fonctionnalités 3D et 2D via un transformateur, ce qui augmente le temps de calcul et de déploiement.

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

See all articles