


Il y a vraiment ResNet dans le cerveau ! Le premier « Drosophila Brain Connectome » au monde est sorti : il a fallu plus de dix ans pour reconstruire 3 000 neurones et plus de 500 000 synapses !
Bien que l'apprentissage profond moderne ait depuis longtemps cessé d'imiter les « réseaux de neurones biologiques », la compréhension du mécanisme de fonctionnement des cerveaux biologiques reste très utile pour le développement futur des modèles de réseaux de neurones.
La façon dont les circuits cérébraux sont structurés affecte les capacités de calcul du cerveau, mais jusqu'à présent, aucune structure spécifique du cerveau n'a été observée, sauf dans certains organismes très simples.
En novembre de l'année dernière, des chercheurs de nombreuses institutions de premier plan telles que l'Université de Cambridge, l'Université Johns Hopkins et le Janelia Research Park ont mis en ligne un article sur Biorxiv Après plus de dix ans de recherche ardue, pour la première fois. , le connectome cérébral des "larves de drosophile" a été entièrement reconstruit. " Science" supérieure.
L'un des auteurs de l'article, le professeur agrégé Joshua Vogelstein de l'Université Johns Hopkins, a déclaré que les mouches des fruits sont plus proches du cerveau humain à bien des égards que d'autres organismes. Certaines zones correspondent à la prise de décision, d'autres correspondent à. l'apprentissage, et certaines zones Correspond à la navigation ; et le cerveau des larves de drosophile et des humains est également divisé en côtés gauche et droit.Bonne nouvelle : Le connectome cérébral reconstruit des larves de drosophile comprend 3016 neurones
Mauvaise nouvelle :
Les humains possèdent 86 milliards de neurones.
Reconstruction complète du cerveau larvaire de la drosophileLe cerveau est principalement composé de "cellules neuronales". Les neurones adjacents peuvent s'envoyer des signaux au niveau de la connexion entre les cellules synaptiques, et l'un des neurones libère des "neurotransmetteurs" Un autre neurone. est responsable de la réception de ce produit chimique. La carte complète des neurones et des synapses du cerveau est appelée le connectome. L’étude du connectome est cruciale pour comprendre comment le cerveau génère le comportement.
Le principal processus de reconstruction du connectome consiste à couper le cerveau en tranches ultra-fines (20 microns), puis à utiliser le flux électronique d'un microscope électronique pour imager les tranches. Par exemple, couper les tranches de la taille d'un sel. Cerveau de larves de drosophile C'est des milliers de morceaux
Si quelque chose ne va pas, il faut tout recommencer.
Pour certains organismes simples, il est relativement facile de construire un connectome complet. Le premier connectome complet a été dessiné chez Caenorhabditis elegans, qui ne comptait que 302 neurones dans tout le corps dans les années 1980. terminé le moment venu. Mais jusqu'à présent, les chercheurs ont cartographié des connectomes synaptiques complets pour seulement trois organismes, chacun avec seulement quelques centaines de neurones cérébraux.
En 2020, des chercheurs de Google et du Janelia Research Park ont publié un modèle 3D du connectome cérébral de la drosophile, contenant 25 000 neurones de drosophile couvrant différents types de cellules et plusieurs régions cérébrales, mais le modèle n'est pas un cerveau complet, et même dans ce cas le modèle ne contient qu'un quart des 100 000 neurones d'une mouche des fruits adulte.
Certains groupes de recherche étudient également le connectome des animaux dotés d'un cerveau plus gros, comme les insectes, les poissons, les mammifères, etc. Cependant, en raison du grand nombre de neurones, la principale méthode de recherche consiste à diviser le cerveau et à étudier séparément. Cela entraîne une incapacité à reconstruire les régions du cerveau qui sont interconnectées dans l’espace.
Le connectome complet reconstruit cette fois appartient aux larves de Drosophila melanogaster peut montrer des comportements très riches, notamment l'apprentissage, le calcul de valeurs et la sélection comportementale, et présente les mêmes caractéristiques que les mouches des fruits adultes et les insectes plus gros. structure du cerveau.
De puissants outils génétiques peuvent être utilisés pour manipuler ou enregistrer sélectivement des types de neurones individuels, dans des systèmes modèles traitables, en ce qui concerne la fonction de motifs neuronaux et de circuits spécifiques révélés par le connectome. Les hypothèses d'action peuvent être facilement testé.
L'équipe de recherche a coupé le cerveau d'une larve de Drosophila melanogaster « âgée de 6 heures » en 4841 morceaux, l'a numérisé avec un microscope électronique à haute résolution, a numérisé l'image puis l'a réassemblée en une image tridimensionnelle ; après analyse informatique Avec l'aide de , la carte finale générée contient 3016 neurones et 548 000 synapses.
Le réseau résiduel est caché à l'intérieur
Les chercheurs ont mené une analyse détaillée de la structure des circuits cérébraux, y compris les connexions et les types de neurones, les nœuds de réseau et les schémas de circuits neuronaux.
La plupart (73 %) des centres d'entrée et de sortie du cerveau (centres d'entrée et de sortie) sont des « centres post-synaptiques pour les centres d'apprentissage » ou des « centres pré-synaptiques pour les neurones dopaminergiques qui pilotent l'apprentissage » ; La technologie regroupe hiérarchiquement les neurones en fonction de la connectivité synaptique en 93 types qui sont cohérents en interne en fonction d'autres caractéristiques telles que la morphologie et la fonction.
Les chercheurs ont également développé un algorithme pour suivre la propagation du signal dans les voies multi-synaptiques du cerveau et analysé les voies de réaction (de la sensation à la sortie) et de rétroaction, l'intégration multisensorielle (intégration multisensorielle) et les interactions trans-hémisphères.
Une intégration multisensorielle étendue se trouve dans le cerveau, ainsi que de multiples voies interconnectées à différentes profondeurs, des neurones sensoriels aux neurones de sortie, formant un réseau de traitement distribué.
Le cerveau a une structure hautement récurrente et 41 % des neurones reçoivent des entrées récurrentes à longue portée. Cependant, la répartition des boucles n'est pas uniforme et le taux de boucles est particulièrement élevé dans les domaines impliquant l'apprentissage et la sélection d'actions.
Les neurones dopaminergiques, qui conduisent l'apprentissage, sont parmi les neurones les plus courants dans le cerveau.
Il existe de nombreux neurones controlatéraux qui se projettent vers les deux hémisphères du cerveau. Ils sont des centres d'entrée et de sortie et se synapsent les uns avec les autres, favorisant la connexion entre les deux hémisphères du cerveau. l'article analyse également l'interaction entre le cerveau et les nerfs.
Les chercheurs ont découvert que les neurones descendants ciblent un petit groupe d'éléments prémoteurs, qui jouent un rôle important dans le changement d'état locomoteur.
Conclusion
Le connectome cérébral complet des larves de drosophile fournira la base d'autres études théoriques et expérimentales sur la fonction cérébrale pendant encore longtemps, et les méthodes et outils informatiques générés dans cette étude faciliteront l'analyse future de la connectome.
Bien que les détails de l'organisation du cerveau varient selon le règne animal, de nombreuses structures de circuits neuronaux sont conservées.
À mesure que les connectomes cérébraux d'autres organismes seront cartographiés à l'avenir, les comparaisons entre différents connectomes révéleront des structures de circuits communes et potentiellement optimales, ainsi que les particularités des différences comportementales entre les organismes.
Certaines des caractéristiques structurelles observées dans le cerveau des larves de drosophile, notamment les raccourcis multicouches et les boucles imbriquées proéminentes, peuvent être trouvées dans les réseaux neuronaux artificiels de pointe, complétant peut-être les réseaux actuels. En termes de profondeur et de généralisation des tâches de traitement, ces caractéristiques peuvent également augmenter la puissance de calcul du cerveau et surmonter les limitations physiologiques du nombre de neurones.
Une analyse future des similitudes et des différences entre le cerveau et les réseaux de neurones artificiels pourrait aider à comprendre les principes informatiques du cerveau et pourrait inspirer de nouvelles architectures d'apprentissage automatique.
Commentaires connexes
Gashpal Yekai, professeur de neurosciences à l'Université d'Exeter, au Royaume-Uni, a déclaré que tous les neurones du cerveau ont été reconstruits et que toutes les connexions neuronales ont été analysées. Il a qualifié ce travail de « très important ».
Catherine Dulac, de l'université Harvard aux États-Unis, estime que ces données révèlent la « logique profonde » de ces connexions neuronales.
Cependant, Scott Emmons, de l'Albert Einstein College of Medicine de New York, estime que la simple cartographie des synapses ne fournit pas une image complète.
Emmons a cartographié le connectome du mâle et de la femelle C. elegans en 2019. Les neurones peuvent également communiquer entre eux via des produits chimiques libérés lentement tels que des hormones et d'autres connexions entre les cellules, appelées jonctions lacunaires.
Tout cela doit être pris en compte, mais seules les synapses sont incluses dans le connectome nouvellement dessiné.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Les méthodes d'apprentissage profond d'aujourd'hui se concentrent sur la conception de la fonction objectif la plus appropriée afin que les résultats de prédiction du modèle soient les plus proches de la situation réelle. Dans le même temps, une architecture adaptée doit être conçue pour obtenir suffisamment d’informations pour la prédiction. Les méthodes existantes ignorent le fait que lorsque les données d’entrée subissent une extraction de caractéristiques couche par couche et une transformation spatiale, une grande quantité d’informations sera perdue. Cet article abordera des problèmes importants lors de la transmission de données via des réseaux profonds, à savoir les goulots d'étranglement de l'information et les fonctions réversibles. Sur cette base, le concept d'information de gradient programmable (PGI) est proposé pour faire face aux différents changements requis par les réseaux profonds pour atteindre des objectifs multiples. PGI peut fournir des informations d'entrée complètes pour la tâche cible afin de calculer la fonction objectif, obtenant ainsi des informations de gradient fiables pour mettre à jour les pondérations du réseau. De plus, un nouveau cadre de réseau léger est conçu

Les modèles linguistiques à grande échelle (LLM) ont démontré des capacités convaincantes dans de nombreuses tâches importantes, notamment la compréhension du langage naturel, la génération de langages et le raisonnement complexe, et ont eu un impact profond sur la société. Cependant, ces capacités exceptionnelles nécessitent des ressources de formation importantes (illustrées dans l’image de gauche) et de longs temps d’inférence (illustrés dans l’image de droite). Les chercheurs doivent donc développer des moyens techniques efficaces pour résoudre leurs problèmes d’efficacité. De plus, comme on peut le voir sur le côté droit de la figure, certains LLM (LanguageModels) efficaces tels que Mistral-7B ont été utilisés avec succès dans la conception et le déploiement de LLM. Ces LLM efficaces peuvent réduire considérablement la mémoire d'inférence tout en conservant une précision similaire à celle du LLaMA1-33B

Dans Minecraft, la redstone est un élément très important. C'est un matériau unique dans le jeu. Les interrupteurs, les torches de redstone et les blocs de redstone peuvent fournir une énergie semblable à l'électricité aux fils ou aux objets. Les circuits Redstone peuvent être utilisés pour construire des structures permettant de contrôler ou d'activer d'autres machines. Ils peuvent eux-mêmes être conçus pour répondre à une activation manuelle par les joueurs, ou ils peuvent émettre des signaux à plusieurs reprises ou répondre à des changements provoqués par des non-joueurs, tels que le mouvement des créatures. et des objets. Chute, croissance des plantes, jour et nuit, et plus encore. Par conséquent, dans mon monde, Redstone peut contrôler de nombreux types de machines, allant des machines simples telles que les portes automatiques, les interrupteurs d'éclairage et les alimentations stroboscopiques, aux énormes ascenseurs, aux fermes automatiques, aux petites plates-formes de jeu et même aux machines intégrées aux jeux. Récemment, la station B UP principale @

Processus 3 nm, les performances dépassent le H100 ! Récemment, le média étranger DigiTimes a annoncé que Nvidia développait le GPU de nouvelle génération, le B100, dont le nom de code est "Blackwell". Il s'agirait d'un produit destiné aux applications d'intelligence artificielle (IA) et de calcul haute performance (HPC). , le B100 utilisera le processus de traitement 3 nm de TSMC, ainsi qu'une conception de module multi-puces (MCM) plus complexe, et apparaîtra au quatrième trimestre 2024. Pour Nvidia, qui monopolise plus de 80 % du marché des GPU d’intelligence artificielle, il peut utiliser le B100 pour frapper pendant que le fer est chaud et attaquer davantage des challengers comme AMD et Intel dans cette vague de déploiement d’IA. Selon les estimations de NVIDIA, d'ici 2027, la valeur de production de ce domaine devrait atteindre environ

Les modèles d'apprentissage profond pour les tâches de vision (telles que la classification d'images) sont généralement formés de bout en bout avec des données provenant d'un seul domaine visuel (telles que des images naturelles ou des images générées par ordinateur). Généralement, une application qui effectue des tâches de vision pour plusieurs domaines doit créer plusieurs modèles pour chaque domaine distinct et les former indépendamment. Les données ne sont pas partagées entre différents domaines. Lors de l'inférence, chaque modèle gérera un domaine spécifique. Même s'ils sont orientés vers des domaines différents, certaines caractéristiques des premières couches entre ces modèles sont similaires, de sorte que la formation conjointe de ces modèles est plus efficace. Cela réduit la latence et la consommation d'énergie, ainsi que le coût de la mémoire lié au stockage de chaque paramètre du modèle. Cette approche est appelée apprentissage multidomaine (MDL). De plus, les modèles MDL peuvent également surpasser les modèles simples.

Adresse papier : https://arxiv.org/abs/2307.09283 Adresse code : https://github.com/THU-MIG/RepViTRepViT fonctionne bien dans l'architecture ViT mobile et présente des avantages significatifs. Ensuite, nous explorons les contributions de cette étude. Il est mentionné dans l'article que les ViT légers fonctionnent généralement mieux que les CNN légers sur les tâches visuelles, principalement en raison de leur module d'auto-attention multi-têtes (MSHA) qui permet au modèle d'apprendre des représentations globales. Cependant, les différences architecturales entre les ViT légers et les CNN légers n'ont pas été entièrement étudiées. Dans cette étude, les auteurs ont intégré des ViT légers dans le système efficace.

La revue la plus complète des grands modèles multimodaux est ici ! Écrit par 7 chercheurs chinois de Microsoft, il compte 119 pages - il part de deux types d'orientations de recherche multimodales sur grands modèles qui ont été complétées et sont toujours à l'avant-garde, et résume de manière exhaustive cinq sujets de recherche spécifiques : la compréhension visuelle et la génération visuelle. L'agent multimodal grand modèle multimodal supporté par le modèle visuel unifié LLM se concentre sur un phénomène : le modèle de base multimodal est passé de spécialisé à universel. Ps. C'est pourquoi l'auteur a directement dessiné une image de Doraemon au début de l'article. Qui devrait lire cette critique (rapport) ? Dans les mots originaux de Microsoft : tant que vous souhaitez apprendre les connaissances de base et les derniers progrès des modèles de base multimodaux, que vous soyez un chercheur professionnel ou un étudiant, ce contenu est très approprié pour vous réunir.

Le magazine "ComputerWorld" a écrit un article disant que "la programmation disparaîtra d'ici 1960" parce qu'IBM a développé un nouveau langage FORTRAN, qui permet aux ingénieurs d'écrire les formules mathématiques dont ils ont besoin, puis de les soumettre à l'ordinateur pour que la programmation se termine. Picture Quelques années plus tard, nous avons entendu un nouveau dicton : tout homme d'affaires peut utiliser des termes commerciaux pour décrire ses problèmes et dire à l'ordinateur quoi faire. Grâce à ce langage de programmation appelé COBOL, les entreprises n'ont plus besoin de programmeurs. Plus tard, il est dit qu'IBM a développé un nouveau langage de programmation appelé RPG qui permet aux employés de remplir des formulaires et de générer des rapports, de sorte que la plupart des besoins de programmation de l'entreprise puissent être satisfaits grâce à lui.
