


Quelques lignes de code stabilisent UNet ! L'Université Sun Yat-sen et d'autres ont proposé le modèle de diffusion ScaleLong : de la remise en question du Scaling au devenir Scaling
Dans la structure UNet standard, le coefficient d'échelle sur la connexion à saut long est généralement de 1.
Cependant, dans certains travaux de modèle de diffusion bien connus, tels que Imagen, le modèle génératif basé sur le score et SR3, etc., ils ont tous défini et ont constaté que de tels paramètres peuvent effectivement accélérer la formation de la diffusion des modèles.
Questioning ScalingCependant, il n'y a pas d'analyse spécifique de l'opération de mise à l'échelle de la connexion sautée dans Imagen et d'autres modèles dans l'article original, mais il est dit que ce paramètre contribue à accélérer la formation du modèle de diffusion.
Tout d’abord, ce genre d’affichage empirique nous rend flou sur le rôle que joue ce paramètre ?
De plus, nous ne savons pas si nous pouvons définir uniquement , ou pouvons-nous utiliser d'autres constantes ?
Le « statut » des connexions sautées à différents endroits est-il le même ? Pourquoi utiliser la même constante ?
L'auteur a beaucoup de points d'interrogation à ce sujet...
Photos
Comprendre la mise à l'échelle
De manière générale, par rapport aux structures ResNet et Transformer, UNet n'est pas "profond" dans l'utilisation réelle Pas profond, il est moins sujet aux problèmes d'optimisation tels que la disparition des gradients qui sont courants dans d'autres structures de réseaux neuronaux « profonds ».
De plus, en raison de la particularité de la structure UNet, les entités peu profondes sont connectées à des emplacements profonds via une longue connexion par saut, évitant ainsi davantage des problèmes tels que la disparition du gradient.
Pensez-y à l'envers, si une telle structure n'est pas prise en compte, cela entraînera-t-il des problèmes tels que des gradients excessifs et une oscillation des paramètres (caractéristiques) dues aux mises à jour ?
Photos
En visualisant les caractéristiques et les paramètres de la tâche du modèle de diffusion pendant le processus de formation, on peut constater qu'une instabilité existe.
L'instabilité des paramètres (caractéristiques) affecte le dégradé, qui à son tour affecte les mises à jour des paramètres. En fin de compte, ce processus présente un plus grand risque d’interférence indésirable avec les performances. Nous devons donc trouver des moyens de contrôler cette instabilité.
Plus loin, pour le modèle de diffusion. L'entrée d'UNet est une image bruitée. Si le modèle doit prédire avec précision le bruit ajouté, cela nécessite que le modèle ait une forte robustesse à l'entrée contre des perturbations supplémentaires.
Paper : https://arxiv.org/abs/2310.13545
Code : https://github.com/sail-sg/ScaleLong
Les chercheurs ont trouvé les problèmes ci-dessus, qui peuvent être trouvés dans Long sauter la connexion La mise à l'échelle est effectuée sur le système pour une atténuation unifiée.
D'après le théorème 3.1, la plage d'oscillation de l'entité de la couche intermédiaire (la largeur des limites supérieure et inférieure) est directement liée à la somme des carrés du coefficient d'échelle. Des coefficients de mise à l'échelle appropriés aident à atténuer l'instabilité des fonctionnalités.
Cependant, il convient de noter que si le coefficient d'échelle est directement fixé à 0, le choc est effectivement atténué de manière optimale. (Tête de chien manuelle)
Mais si UNet se dégrade vers une situation sans saut, le problème d'instabilité est résolu, mais la capacité de représentation est également perdue. Il s'agit d'un compromis entre la stabilité du modèle et les capacités de représentation.
Photos
De même, du point de vue du gradient des paramètres. Le théorème 3.3 révèle également que le coefficient d'échelle contrôle l'ampleur du gradient.
Image
De plus, le théorème 3.4 révèle également que la mise à l'échelle sur la connexion à saut long peut également affecter la limite supérieure robuste du modèle aux perturbations d'entrée et améliorer la stabilité du modèle de diffusion aux perturbations d'entrée.
Devenir Scaling
Grâce à l'analyse ci-dessus, nous comprenons l'importance de la mise à l'échelle sur une connexion à saut long pour une formation de modèle stable, s'applique également à l'analyse ci-dessus.
Ensuite, nous analyserons quel type de mise à l'échelle peut avoir de meilleures performances. Après tout, l'analyse ci-dessus ne peut que montrer que la mise à l'échelle est bonne, mais elle ne peut pas déterminer quel type de mise à l'échelle est le meilleur ou le meilleur.
Un moyen simple consiste à introduire un module apprenable pour les connexions à long saut afin d'ajuster la mise à l'échelle de manière adaptative. Cette méthode est appelée méthode Learnable Scaling (LS). Nous adoptons une structure similaire à SENet, qui est la suivante (la structure U-ViT considérée ici est très bien organisée, genre !)
photo
D'après les résultats de cet article, LS peut en effet stabiliser efficacement le formation des modèles de diffusion ! De plus, nous essayons de visualiser les coefficients appris en LS.
Comme le montre la figure ci-dessous, nous constaterons que ces coefficients montrent une tendance exponentielle à la baisse (notez que la première connexion longue sautée ici fait référence à la connexion reliant la première et la dernière extrémité d'UNet), et le premier coefficient est presque proche à 1. Ce phénomène est également étonnant !
Picture
Sur la base de cette série d'observations (veuillez vous référer à l'article pour plus de détails), nous avons en outre proposé la méthode Constant Scaling (CS), qui ne nécessite pas de paramètres apprenables :
La stratégie CS ne nécessite aucun paramètre supplémentaire comme l'opération de mise à l'échelle d'origine utilisant , il n'y a donc presque aucune consommation de calcul supplémentaire.
Bien que CS ne soit pas aussi performant que LS en entraînement stable la plupart du temps, cela vaut toujours la peine d'essayer les stratégies existantes.
Les implémentations ci-dessus de CS et LS sont très simples et ne nécessitent que quelques lignes de code. Pour chaque formule (hua) (li) et chaque structure UNet de type (hu) (shao), les dimensions des fonctionnalités devront peut-être être alignées. (Tête de chien manuelle +1)
Récemment, certains travaux de suivi, tels que FreeU, SCEdit et d'autres travaux, ont également révélé l'importance de la mise à l'échelle de la connexion sautée. Tout le monde est invité à essayer de le promouvoir.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

0. À quoi sert cet article ? Nous proposons DepthFM : un modèle d'estimation de profondeur monoculaire génératif de pointe, polyvalent et rapide. En plus des tâches traditionnelles d'estimation de la profondeur, DepthFM démontre également des capacités de pointe dans les tâches en aval telles que l'inpainting en profondeur. DepthFM est efficace et peut synthétiser des cartes de profondeur en quelques étapes d'inférence. Lisons ce travail ensemble ~ 1. Titre des informations sur l'article : DepthFM : FastMonocularDepthEstimationwithFlowMatching Auteur : MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

Je pleure à mort. Le monde construit à la folie de grands modèles. Les données sur Internet ne suffisent pas du tout. Le modèle de formation ressemble à « The Hunger Games », et les chercheurs en IA du monde entier se demandent comment nourrir ces personnes avides de données. Ce problème est particulièrement important dans les tâches multimodales. À une époque où rien ne pouvait être fait, une équipe de start-up du département de l'Université Renmin de Chine a utilisé son propre nouveau modèle pour devenir la première en Chine à faire de « l'auto-alimentation des données générées par le modèle » une réalité. De plus, il s’agit d’une approche à deux volets, du côté compréhension et du côté génération, les deux côtés peuvent générer de nouvelles données multimodales de haute qualité et fournir un retour de données au modèle lui-même. Qu'est-ce qu'un modèle ? Awaker 1.0, un grand modèle multimodal qui vient d'apparaître sur le Forum Zhongguancun. Qui est l'équipe ? Moteur Sophon. Fondé par Gao Yizhao, doctorant à la Hillhouse School of Artificial Intelligence de l’Université Renmin.

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Quoi? Zootopie est-elle concrétisée par l’IA domestique ? Avec la vidéo est exposé un nouveau modèle de génération vidéo domestique à grande échelle appelé « Keling ». Sora utilise une voie technique similaire et combine un certain nombre d'innovations technologiques auto-développées pour produire des vidéos qui comportent non seulement des mouvements larges et raisonnables, mais qui simulent également les caractéristiques du monde physique et possèdent de fortes capacités de combinaison conceptuelle et d'imagination. Selon les données, Keling prend en charge la génération de vidéos ultra-longues allant jusqu'à 2 minutes à 30 ips, avec des résolutions allant jusqu'à 1080p, et prend en charge plusieurs formats d'image. Un autre point important est que Keling n'est pas une démo ou une démonstration de résultats vidéo publiée par le laboratoire, mais une application au niveau produit lancée par Kuaishou, un acteur leader dans le domaine de la vidéo courte. De plus, l'objectif principal est d'être pragmatique, de ne pas faire de chèques en blanc et de se mettre en ligne dès sa sortie. Le grand modèle de Ke Ling est déjà sorti à Kuaiying.

Récemment, le milieu militaire a été submergé par la nouvelle : les avions de combat militaires américains peuvent désormais mener des combats aériens entièrement automatiques grâce à l'IA. Oui, tout récemment, l’avion de combat IA de l’armée américaine a été rendu public pour la première fois, dévoilant ainsi son mystère. Le nom complet de ce chasseur est Variable Stability Simulator Test Aircraft (VISTA). Il a été personnellement piloté par le secrétaire de l'US Air Force pour simuler une bataille aérienne en tête-à-tête. Le 2 mai, le secrétaire de l'US Air Force, Frank Kendall, a décollé à bord d'un X-62AVISTA à la base aérienne d'Edwards. Notez que pendant le vol d'une heure, toutes les actions de vol ont été effectuées de manière autonome par l'IA ! Kendall a déclaré : "Au cours des dernières décennies, nous avons réfléchi au potentiel illimité du combat air-air autonome, mais cela a toujours semblé hors de portée." Mais maintenant,
