Périphériques technologiques
IA
Le coût de formation des grands modèles a été réduit de près de moitié ! Le dernier optimiseur de l'Université nationale de Singapour a été mis en service
Le coût de formation des grands modèles a été réduit de près de moitié ! Le dernier optimiseur de l'Université nationale de Singapour a été mis en service
L'optimiseur occupe une grande quantité de ressources mémoire dans la formation de grands modèles de langage.
Il existe désormais une nouvelle méthode d'optimisation qui réduit de moitié la consommation de mémoire tout en conservant les mêmes performances.
Ce résultat a été créé par l'Université nationale de Singapour. Il a remporté le prix Outstanding Paper Award lors de la conférence ACL et a été mis en application pratique.
Images
Avec le nombre croissant de paramètres des grands modèles de langage, le problème de consommation de mémoire pendant l'entraînement devient plus grave.
L'équipe de recherche a proposé l'optimiseur CAME, qui a les mêmes performances qu'Adam tout en réduisant la consommation de mémoire.
Photos
L'optimiseur CAME a atteint des performances de formation identiques, voire supérieures, à celles de l'optimiseur Adam dans la pré-formation de plusieurs modèles de langage à grande échelle couramment utilisés, et montre une plus grande robustesse aux scénarios de pré-formation par lots importants sexe.
De plus, la formation de grands modèles de langage via l'optimiseur CAME peut réduire considérablement le coût de la formation de grands modèles.
Méthode de mise en œuvre
L'optimiseur CAME est amélioré sur la base de l'optimiseur Adafactor, ce qui entraîne souvent une perte de performances d'entraînement dans les tâches de pré-entraînement des modèles de langage à grande échelle.
L'opération de factorisation matricielle non négative dans Adafactor produira inévitablement des erreurs dans la formation des réseaux de neurones profonds, et la correction de ces erreurs est à l'origine de pertes de performances.
Et par comparaison, on constate que lorsque la différence entre la valeur de départ mt et la valeur actuelle t est faible, la confiance de mt est plus élevée.
Picture
Inspirée par cela, l'équipe a proposé un nouvel algorithme d'optimisation.
La partie bleue dans l'image ci-dessous est la partie augmentée de CAME par rapport à Adafactor.
Picture
L'optimiseur CAME effectue une correction du montant de la mise à jour en fonction de la confiance de la mise à jour du modèle, et effectue en même temps une opération de décomposition matricielle non négative sur la matrice de confiance introduite.
Au final, CAME a réussi à obtenir l'effet d'Adam avec la consommation d'Adafactor.
Le même effet ne consomme que la moitié des ressources
L'équipe a utilisé CAME pour former respectivement les modèles BERT, GPT-2 et T5.
Les Adam (meilleur effet) et Adafactor (consommation plus faible) précédemment couramment utilisés sont les références pour mesurer les performances du CAME.
Parmi eux, lors du processus de formation BERT, CAME a atteint la même précision qu'Adafaactor en seulement deux fois moins d'étapes.
△Le côté gauche est à l'échelle 8K, le côté droit est à l'échelle 32K
Pour GPT-2, du point de vue de la perte et de la confusion, les performances de CAME sont très proches de celles d'Adam.
Dans la formation du modèle T5, CAME a également montré des résultats similaires.
Quant à la mise au point du modèle, les performances de CAME en termes de précision ne sont pas inférieures à la référence.
En termes de consommation de ressources, lors de l'utilisation de PyTorch pour entraîner BERT avec un volume de données de 4 B, CAME consomme près de la moitié des ressources mémoire par rapport à la ligne de base.
Profil de l'équipe
Le laboratoire HPC-AI de l'Université nationale de Singapour est un laboratoire de calcul haute performance et d'intelligence artificielle dirigé par le professeur You Yang.
Le laboratoire s'engage dans la recherche et l'innovation dans le domaine du calcul haute performance, des systèmes d'apprentissage automatique et du calcul parallèle distribué, et promeut des applications dans des domaines tels que les modèles de langage à grande échelle.
Le chef du laboratoire, You Yang, est le President Young Professor(Presidential Young Professor) du Département d'informatique de l'Université nationale de Singapour.
You Yang a été sélectionné dans la liste Forbes Under 30 Elite (Asie) en 2021 et a remporté le prix IEEE-CS Supercomputing Outstanding Newcomer Award. Ses recherches actuelles portent sur l'optimisation distribuée des algorithmes de formation en apprentissage profond à grande échelle.
Luo Yang, le premier auteur de cet article, est étudiant en master en laboratoire. Ses recherches actuelles portent sur la stabilité et l'efficacité de l'entraînement des grands modèles.
Adresse papier : https://arxiv.org/abs/2307.02047
Page du projet GitHub : https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/CAME
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Sujets chauds
Open source! Au-delà de ZoeDepth ! DepthFM : estimation rapide et précise de la profondeur monoculaire !
Apr 03, 2024 pm 12:04 PM
0. À quoi sert cet article ? Nous proposons DepthFM : un modèle d'estimation de profondeur monoculaire génératif de pointe, polyvalent et rapide. En plus des tâches traditionnelles d'estimation de la profondeur, DepthFM démontre également des capacités de pointe dans les tâches en aval telles que l'inpainting en profondeur. DepthFM est efficace et peut synthétiser des cartes de profondeur en quelques étapes d'inférence. Lisons ce travail ensemble ~ 1. Titre des informations sur l'article : DepthFM : FastMonocularDepthEstimationwithFlowMatching Auteur : MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr
Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo.
May 07, 2024 pm 04:13 PM
Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale
KAN, qui remplace MLP, a été étendu à la convolution par des projets open source
Jun 01, 2024 pm 10:03 PM
Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a
Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle
L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao
Apr 09, 2024 am 11:52 AM
L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.
La vitalité de la super intelligence s'éveille ! Mais avec l'arrivée de l'IA qui se met à jour automatiquement, les mères n'ont plus à se soucier des goulots d'étranglement des données.
Apr 29, 2024 pm 06:55 PM
Je pleure à mort. Le monde construit à la folie de grands modèles. Les données sur Internet ne suffisent pas du tout. Le modèle de formation ressemble à « The Hunger Games », et les chercheurs en IA du monde entier se demandent comment nourrir ces personnes avides de données. Ce problème est particulièrement important dans les tâches multimodales. À une époque où rien ne pouvait être fait, une équipe de start-up du département de l'Université Renmin de Chine a utilisé son propre nouveau modèle pour devenir la première en Chine à faire de « l'auto-alimentation des données générées par le modèle » une réalité. De plus, il s’agit d’une approche à deux volets, du côté compréhension et du côté génération, les deux côtés peuvent générer de nouvelles données multimodales de haute qualité et fournir un retour de données au modèle lui-même. Qu'est-ce qu'un modèle ? Awaker 1.0, un grand modèle multimodal qui vient d'apparaître sur le Forum Zhongguancun. Qui est l'équipe ? Moteur Sophon. Fondé par Gao Yizhao, doctorant à la Hillhouse School of Artificial Intelligence de l’Université Renmin.
La version Kuaishou de Sora 'Ke Ling' est ouverte aux tests : génère plus de 120 s de vidéo, comprend mieux la physique et peut modéliser avec précision des mouvements complexes
Jun 11, 2024 am 09:51 AM
Quoi? Zootopie est-elle concrétisée par l’IA domestique ? Avec la vidéo est exposé un nouveau modèle de génération vidéo domestique à grande échelle appelé « Keling ». Sora utilise une voie technique similaire et combine un certain nombre d'innovations technologiques auto-développées pour produire des vidéos qui comportent non seulement des mouvements larges et raisonnables, mais qui simulent également les caractéristiques du monde physique et possèdent de fortes capacités de combinaison conceptuelle et d'imagination. Selon les données, Keling prend en charge la génération de vidéos ultra-longues allant jusqu'à 2 minutes à 30 ips, avec des résolutions allant jusqu'à 1080p, et prend en charge plusieurs formats d'image. Un autre point important est que Keling n'est pas une démo ou une démonstration de résultats vidéo publiée par le laboratoire, mais une application au niveau produit lancée par Kuaishou, un acteur leader dans le domaine de la vidéo courte. De plus, l'objectif principal est d'être pragmatique, de ne pas faire de chèques en blanc et de se mettre en ligne dès sa sortie. Le grand modèle de Ke Ling est déjà sorti à Kuaiying.
L'US Air Force présente son premier avion de combat IA de grande envergure ! Le ministre a personnellement effectué l'essai routier sans intervenir pendant tout le processus, et 100 000 lignes de code ont été testées 21 fois.
May 07, 2024 pm 05:00 PM
Récemment, le milieu militaire a été submergé par la nouvelle : les avions de combat militaires américains peuvent désormais mener des combats aériens entièrement automatiques grâce à l'IA. Oui, tout récemment, l’avion de combat IA de l’armée américaine a été rendu public pour la première fois, dévoilant ainsi son mystère. Le nom complet de ce chasseur est Variable Stability Simulator Test Aircraft (VISTA). Il a été personnellement piloté par le secrétaire de l'US Air Force pour simuler une bataille aérienne en tête-à-tête. Le 2 mai, le secrétaire de l'US Air Force, Frank Kendall, a décollé à bord d'un X-62AVISTA à la base aérienne d'Edwards. Notez que pendant le vol d'une heure, toutes les actions de vol ont été effectuées de manière autonome par l'IA ! Kendall a déclaré : "Au cours des dernières décennies, nous avons réfléchi au potentiel illimité du combat air-air autonome, mais cela a toujours semblé hors de portée." Mais maintenant,
