Maison Périphériques technologiques IA Il y a aussi un transformateur dans le cerveau ! Le même mécanisme que 'l'hippocampe'

Il y a aussi un transformateur dans le cerveau ! Le même mécanisme que 'l'hippocampe'

Apr 11, 2023 pm 03:43 PM
模型 transforme

, Je ne peux pas le créer et je ne comprends pas

—— Ferman

veut créer une intelligence artificielle Tout d'abord, nous devons comprendre pourquoi le cerveau humain est intelligent.

Avec la naissance des réseaux de neurones et leur brillant développement qui a suivi, les chercheurs ont recherché des

explications biologiques pour les réseaux de neurones, et les progrès biologiques ont également inspiré les chercheurs en IA à développer de nouveaux modèles.

Il y a aussi un transformateur dans le cerveau ! Le même mécanisme que lhippocampe

Mais les chercheurs dans le domaine de l'intelligence artificielle ont en réalité un objectif plus ambitieux :

Utiliser des modèles d'IA pour aider à comprendre le cerveau.

Des recherches récentes ont montré que bien que le modèle

Transformer le plus populaire ait été développé sans aucune aide de connaissances biologiques, sa structure est très similaire à la structure hippocampique du cerveau humain.

Il y a aussi un transformateur dans le cerveau ! Le même mécanisme que lhippocampe

Lien papier : https://arxiv.org/pdf/2112.04035.pdf

Après que les chercheurs aient équipé le Transformer d'un codage positionnel récursif, ils ont découvert que le modèle pouvait reproduire avec précision l'hippocampe. formation. ) de la

représentation spatiale

. Cependant, l'auteur a également déclaré qu'il n'était pas surpris par ce résultat, car Transformer est étroitement lié au

modèle hippocampique

actuel en neurosciences, les plus évidents sont cellules de lieu (cellules de lieu) et grille cellules (cellule de la grille). De plus, il a été constaté grâce à des expériences que le modèle Transformer présente une énorme amélioration des performances par rapport au modèle fourni par la version neuroscience.

Ce travail combine des calculs de réseaux neuronaux artificiels et de réseaux cérébraux pour fournir une nouvelle compréhension des interactions entre l'hippocampe et le cortex cérébral

et donne des indications sur le fonctionnement des zones corticales

au-delà du modèle neuroscientifique actuel pour un plus large éventail de tâches complexes. comme la compréhension du langage. Le transformateur simule l'hippocampe ?

Il est encore difficile pour les humains de comprendre leur propre cerveau. Par exemple, étudier comment le cerveau organise et accède aux informations spatiales pour déterminer « où nous sommes, ce qui nous attend et comment y arriver » reste un défi difficile à relever. .

L'ensemble du processus peut impliquer le rappel de réseaux de mémoire entiers et de données spatiales stockées provenant de dizaines de milliards de neurones, chacun connecté à des milliers d'autres neurones.

Bien que les neuroscientifiques aient identifié plusieurs éléments clés, tels que les cellules de la grille, les neurones qui cartographient l'emplacement, la manière de mener des études plus approfondies reste inconnue : les chercheurs ne peuvent pas prélever et étudier des tranches de matière grise humaine pour observer comment les mémoires d'images basées sur la localisation , les sons et les odeurs circulent et se connectent les uns aux autres.

Les modèles d'intelligence artificielle offrent une autre façon de comprendre le cerveau humain. Au fil des années, les neuroscientifiques ont utilisé divers types de réseaux neuronaux pour simuler le déclenchement des neurones dans le cerveau.

Des recherches récentes montrent que l'hippocampe (une structure cérébrale cruciale pour la mémoire) est fondamentalement similaire au modèle Transformer.

Les chercheurs ont obtenu des résultats remarquables en utilisant de nouveaux modèles pour suivre les informations spatiales d'une manière similaire au fonctionnement interne du cerveau.

James Whittington, neuroscientifique cognitif de l'Université d'Oxford et de l'Université de Stanford, a déclaré que lorsque l'on sait que ces modèles cérébraux sont équivalents aux Transformers, cela signifie que les nouveaux modèles seront plus performants et plus faciles à entraîner. . Il y a aussi un transformateur dans le cerveau ! Le même mécanisme que lhippocampe

Comme le montrent les travaux de Whittington et d'autres, Transformer peut considérablement améliorer la capacité des modèles de réseaux neuronaux à imiter les divers calculs effectués par les cellules de la grille et d'autres parties du cerveau.

Whittington affirme que de tels modèles pourraient faire progresser notre compréhension du fonctionnement des réseaux neuronaux artificiels et, plus probablement, de la manière dont les calculs sont effectués dans le cerveau.

David Ha, un informaticien de Google Brain qui est principalement engagé dans la recherche sur le modèle Transformer, a déclaré que nous n'essayons pas de recréer un nouveau cerveau, mais pouvons-nous créer un mécanisme pour faire ce que le cerveau peut faire ?

Transformer a été proposé pour la première fois il y a cinq ans comme nouveau modèle d'intelligence artificielle pour traiter le langage naturel. C'était également l'arme secrète des « modèles vedettes » tels que BERT et GPT-3. Ces modèles peuvent générer des paroles de chansons convaincantes, composer des sonnets shakespeariens ou effectuer un travail de service client humain.

Le mécanisme de base de Transformer est l'auto-attention, dans laquelle chaque entrée (comme un mot, un pixel, un nombre dans une séquence) est toujours connectée à toutes les autres entrées, tandis que d'autres réseaux neuronaux courants connectent simplement l'entrée. avec certaines entrées sont connectés.

Bien que Transformer ait été conçu spécifiquement pour les tâches en langage naturel, des recherches ultérieures ont prouvé que Transformer fonctionne également bien dans d'autres tâches, telles que la classification d'images et maintenant la modélisation du cerveau.

En 2020, une équipe dirigée par l'informaticien Sepp Hochreiter (premier auteur de l'article du LSTM) de l'Université Johann Kepler de Linz, en Autriche, a utilisé un Transformer pour réajuster un modèle de récupération de mémoire puissant et de longue date, le Réseau Hopfield.

Proposés pour la première fois par le physicien de Princeton John Hopfield il y a 40 ans, ces réseaux suivent une règle générale : les neurones actifs en même temps établissent des connexions fortes entre eux.

Hochreiter et ses collaborateurs ont noté que les chercheurs sont toujours à la recherche de meilleurs modèles de récupération de mémoire, et ils ont vu un lien entre la façon dont une nouvelle classe de réseaux Hopfield récupère les souvenirs et la manière dont les transformateurs effectuent leur attention.

Développés par Hopfield et Dmitry Krotov du laboratoire d'intelligence artificielle MIT-IBM Watson, ces nouveaux réseaux Hopfield ont des connexions plus efficaces et peuvent stocker et récupérer plus de mémoires que les réseaux Hopfield standards. L'équipe de Hochreiter a résolu ce problème. problème en ajoutant un mécanisme d'attention similaire dans Transformer règles pour moderniser ces réseaux.

Il y a aussi un transformateur dans le cerveau ! Le même mécanisme que lhippocampeEn 2022, ce nouvel article a encore ajusté la méthode de Hochreiter et modifié le Transformer afin qu'il ne traite plus la mémoire comme une séquence linéaire, mais comme une chaîne de mots dans une phrase, la codant comme des coordonnées de grande dimension dans l'espace. .

Les chercheurs affirment que cette « torsion » améliore encore les performances du modèle dans les tâches de neurosciences. Les résultats expérimentaux ont également montré que le modèle est mathématiquement équivalent au modèle de modèles de déclenchement de cellules en grille que les neuroscientifiques voient dans les analyses IRMf.

Caswell Barry, neuroscientifique à l'University College de Londres, a déclaré que les cellules de la grille ont cette structure passionnante, belle et régulière avec un motif frappant qui est peu susceptible de se produire au hasard.

Ce nouveau travail montre comment Transformer reproduit avec précision les modèles observés dans l'hippocampe.

Ils ont également reconnu que le modèle Transformer peut déterminer où il se trouve en fonction de son état précédent et de la façon dont il s'est déplacé, et d'une manière clé qui entre dans le modèle traditionnel de cellules de grille.

D'autres travaux récents suggèrent également que Transformer peut faire progresser notre compréhension d'autres fonctions cérébrales.

L'année dernière, Martin Schrimpf, neuroscientifique informatique du MIT, a analysé 43 modèles de réseaux neuronaux différents pour voir dans quelle mesure ils prédisaient les mesures de l'activité neuronale humaine rapportées par l'IRMf et l'électrocorticographie.

Il y a aussi un transformateur dans le cerveau ! Le même mécanisme que lhippocampe

Il y a aussi un transformateur dans le cerveau ! Le même mécanisme que lhippocampe

Il a découvert que Transformer est actuellement le réseau neuronal leader et le plus avancé capable de prédire presque tous les changements trouvés en imagerie.

David Ha et Yujin Tang, qui est également informaticien, ont également récemment conçu un modèle capable d'entrer délibérément une grande quantité de données dans le Transformer de manière aléatoire et désordonnée, simulant la façon dont le corps humain transmet des observations sensorielles à le cerveau. Il s’avère que Transformer peut traiter avec succès des flux d’informations désordonnés, tout comme notre cerveau.

Il y a aussi un transformateur dans le cerveau ! Le même mécanisme que lhippocampe

Lien papier : https://arxiv.org/abs/2111.14377

Yujin Tang a déclaré que les réseaux de neurones sont câblés et ne peuvent recevoir que des entrées spécifiques. Mais dans la vraie vie, les ensembles de données évoluent souvent rapidement et la plupart des IA n’ont aucun moyen de s’adapter. À l’avenir, nous aimerions essayer une architecture capable de s’adapter rapidement.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Nouveaux travaux sur la prédiction de séries chronologiques + grand modèle NLP : générer automatiquement des invites implicites pour la prédiction de séries chronologiques Nouveaux travaux sur la prédiction de séries chronologiques + grand modèle NLP : générer automatiquement des invites implicites pour la prédiction de séries chronologiques Mar 18, 2024 am 09:20 AM

Aujourd'hui, j'aimerais partager un travail de recherche récent de l'Université du Connecticut qui propose une méthode pour aligner les données de séries chronologiques avec de grands modèles de traitement du langage naturel (NLP) sur l'espace latent afin d'améliorer les performances de prévision des séries chronologiques. La clé de cette méthode consiste à utiliser des indices spatiaux latents (invites) pour améliorer la précision des prévisions de séries chronologiques. Titre de l'article : S2IP-LLM : SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting Adresse de téléchargement : https://arxiv.org/pdf/2403.05798v1.pdf 1. Modèle de fond de problème important

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre ! Mar 21, 2024 pm 05:21 PM

Cet article explore le problème de la détection précise d'objets sous différents angles de vue (tels que la perspective et la vue à vol d'oiseau) dans la conduite autonome, en particulier comment transformer efficacement les caractéristiques de l'espace en perspective (PV) en vue à vol d'oiseau (BEV). implémenté via le module Visual Transformation (VT). Les méthodes existantes sont globalement divisées en deux stratégies : la conversion 2D en 3D et la conversion 3D en 2D. Les méthodes 2D vers 3D améliorent les caractéristiques 2D denses en prédisant les probabilités de profondeur, mais l'incertitude inhérente aux prévisions de profondeur, en particulier dans les régions éloignées, peut introduire des inexactitudes. Alors que les méthodes 3D vers 2D utilisent généralement des requêtes 3D pour échantillonner des fonctionnalités 2D et apprendre les poids d'attention de la correspondance entre les fonctionnalités 3D et 2D via un transformateur, ce qui augmente le temps de calcul et de déploiement.

See all articles