Les nouveaux matériaux du MIT créent « Artificial Synapse 2.0 » pour simuler la formation en apprentissage profond et accélérer 1 million de fois !

Ces dernières années, alors que les scientifiques continuent de repousser les limites de l'apprentissage automatique, le temps, l'énergie et l'argent nécessaires pour former des modèles de réseaux neuronaux de plus en plus complexes ont augmenté rapidement. "Le modèle peut être construit, mais la formation est trop lente" est devenu un casse-tête qui préoccupe de plus en plus de chercheurs.

Récemment, un nouveau domaine de l'intelligence artificielle appelé « apprentissage profond analogique » promet un calcul plus rapide avec moins d'énergie. Les résistances programmables sont un élément clé de l’apprentissage profond analogique, tout comme les transistors sont des éléments essentiels des processeurs numériques.

En disposant à plusieurs reprises des résistances programmables en couches complexes, les chercheurs peuvent créer un réseau simulé de neurones artificiels et de synapses qui effectuent des calculs comme un réseau neuronal numérique. Ce réseau peut être formé pour mettre en œuvre des tâches complexes d’intelligence artificielle telles que la reconnaissance d’images et le traitement du langage naturel.

La vitesse de calcul des réseaux de neurones simulés dépend en grande partie de la vitesse de transmission des « synapses artificielles ». C’est ce que tente de résoudre une équipe du MIT. Ils ont déjà développé une synapse artificielle simulée, et ce qu’ils doivent faire maintenant, c’est développer un nouveau matériau qui surpasse l’ancienne version originale.

Cette fois, ils ont utilisé un matériau inorganique pratique dans le processus de fabrication, permettant à la résistance programmable mentionnée ci-dessus de fonctionner 1 million de fois plus vite que la version précédente, tout en atteignant également une vitesse supérieure à celle des synapses du cerveau humain qui sont environ 1 des millions de fois plus vite. De plus, ce matériau rend les résistances extrêmement économes en énergie. Contrairement à ceux utilisés dans les versions antérieures de l’appareil, le nouveau matériau est compatible avec la technologie de fabrication du silicium. Ce changement permet de fabriquer des dispositifs à l’échelle nanométrique et pourrait ouvrir la voie à une intégration dans le matériel informatique commercial pour les applications d’apprentissage en profondeur. Ce document de recherche a été publié dans Science.

Lien correspondant de l'article : https://www.science.org/doi/pdf/10.1126/science.abp8064

Auteur correspondant de l'article, MIT Electrical Engineering and Computer Science "Avec Grâce à cette découverte clé, associée à la puissante technologie de nanofabrication du MIT.nano, nous avons pu assembler les pièces et démontrer que ces dispositifs sont essentiellement très rapides et peuvent fonctionner à des tensions raisonnables. "Le dispositif fonctionne en insérant électrochimiquement les plus petits ions - protons - dans l'oxyde isolant pour moduler sa conductivité électronique. Parce que l'appareil que nous utilisons est très fin, vous pouvez donc accélérer le mouvement de cet ion en utilisant des champs électriques puissants et pousser ces appareils ioniques en fonctionnement nanoseconde. " Bilge, auteur correspondant de » ont expliqué le document et le professeur Breene M. Kerr du Département de science et d'ingénierie nucléaires et du Département de science et d'ingénierie des matériaux, Yildiz. "Les potentiels d'action dans les cellules biologiques augmentent et diminuent à l'échelle de la milliseconde en raison d'une différence de tension d'environ 0,1 volt", a déclaré Ju Li, auteur correspondant de l'article et professeur au Département de science et d'ingénierie nucléaires et au Département de science et d'ingénierie des matériaux. chez Battelle Energy Alliance, sous réserve de la stabilité de l'eau. "Ici, nous appliquons des tensions allant jusqu'à 10 volts à travers un film de verre solide spécial d'une épaisseur nanométrique qui peut conduire les protons sans l'endommager de manière permanente. De plus, plus le champ électrique est fort, plus le dispositif d’ionisation fonctionnera rapidement. Les co-auteurs de l'article incluent également Frances M. Ross, professeure Ellen Swallow Richards au Département de science et d'ingénierie des matériaux ; les postdoctorants Nicolas Emond et Baoming Wang et Difei Zhang, étudiant diplômé de l'EECS ;

Ces résistances programmables augmentent considérablement la vitesse d'entraînement des réseaux de neurones tout en réduisant considérablement le coût et la consommation d'énergie de l'entraînement. Cela pourrait aider les scientifiques à développer plus rapidement des modèles d’apprentissage profond pour des applications telles que les voitures autonomes, la détection des fraudes ou l’analyse d’images médicales. « Une fois que vous disposez d'un processeur analogique, vous n'avez plus besoin de former le réseau sur lequel d'autres personnes travaillent. Vous pouvez former un réseau d'une complexité sans précédent que personne d'autre ne peut se permettre. une voiture, mais un avion." » A déclaré Murat Onen, premier auteur de l'article et chercheur postdoctoral au MIT.

Apprentissage profond accéléré 1 million de fois

Il y a deux raisons principales pour lesquelles l'apprentissage profond analogique est plus rapide et plus économe en énergie que son homologue numérique.

Tout d'abord, les calculs sont effectués en mémoire, donc d'énormes charges de données ne sont pas transférées de la mémoire au processeur. Les processeurs analogiques fonctionnent également en parallèle. Si la matrice s'agrandit, le processeur analogique n'a pas besoin de plus de temps pour terminer la nouvelle opération car tous les calculs sont effectués simultanément. Un élément clé de la nouvelle technologie de processeur analogique du MIT est appelé résistance programmable par protons. Ces résistances sont mesurées en nanomètres et sont disposées en réseau, comme un damier.

Résistance programmable à protons nanosecondes

Pour développer une résistance à protons programmable ultra-rapide et économe en énergie, les chercheurs ont examiné différents matériaux électrolytiques. Alors que d'autres appareils utilisent des composés organiques, Onen se concentre sur le verre phosphosilicate inorganique (PSG). Le PSG est essentiellement de la silice, un matériau déshydratant en poudre utilisé pour éliminer l'humidité.

Dans des conditions humidifiées, des chercheurs l'ont étudié comme conducteur de protons pour les piles à combustible. C'est également l'oxyde le plus connu dans le traitement du silicium. Pour fabriquer le PSG, une petite quantité de phosphore est ajoutée au silicium, lui conférant des propriétés particulières de conduction protonique. Onen a émis l’hypothèse que le PSG optimisé pourrait avoir une conductivité protonique élevée à température ambiante sans avoir besoin d’eau, ce qui en ferait un électrolyte solide idéal.

Vitesse incroyable

Le PSG est capable d'obtenir un mouvement ultra-rapide des protons car il contient un grand nombre de pores de taille nanométrique, et la surface de ces pores fournit des chemins pour la diffusion des protons.

Il peut également résister à des champs électriques pulsés très puissants.

Onen explique : "C'est crucial car appliquer plus de tension à l'appareil peut faire bouger les protons extrêmement rapidement."

Onen a déclaré : "Cette vitesse est assez surprenante. Normalement, nous n'utilisons pas une telle puissance." des champs magnétiques sur les appareils pour les empêcher de se transformer en cendres. Mais au lieu de cela, les protons finissent par voyager à travers la pile d'appareils à des vitesses énormes, et c'est encore un million de fois plus rapide qu'auparavant. sont petits et ont une faible masse, et ce mouvement ne détruit rien. C'est presque comme une téléportation. Parce que les protons n'endommagent pas les matériaux, les résistances peuvent fonctionner pendant des millions de cycles sans panne.

Propriétés de modulation ultrarapides et économes en énergie des résistances programmables à protons

Ce nouvel électrolyte permet des résistances à protons programmables jusqu'à 1 million de fois plus rapides que les appareils précédents et peut être utilisé pour fonctionner efficacement à température ambiante , ce qui est important pour son intégration dans le matériel informatique.

En raison des propriétés isolantes du PSG, lorsque les protons se déplacent, presque aucun courant ne traverse le matériau. Onen a ajouté : "Cela rend l'appareil très économe en énergie."

del Alamo a déclaré : "Maintenant qu'ils ont démontré l'efficacité de ces résistances programmables, les chercheurs envisagent de les reconcevoir pour une production à grand volume". Les propriétés du réseau de résistances et l'augmenter afin qu'il puisse être intégré dans un système », a ajouté Yildiz : « Une autre direction intéressante que ces dispositifs ioniques peuvent permettre est le matériel économe en énergie, allant au-delà de la simulation de réseaux neuronaux profonds en simulant des circuits neuronaux et synaptiques. règles de plasticité dérivées des neurosciences, nous avons entamé de telles collaborations avec le soutien du MIT Quest for Intelligence. "

William Chueh, professeur agrégé de science et d'ingénierie des matériaux à l'Université de Stanford, a déclaré : " Comme le lithium-ion, la réaction d'intercalation trouvée dans les batteries a été largement explorée dans les dispositifs de mémoire. Ces travaux montrent que les dispositifs de mémoire à base de protons. offrent des vitesses de commutation et une durabilité impressionnantes et surprenantes. Cependant, William Chueh n'a pas été impliqué dans cette étude.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!