Apprentissage physique profond avec des méthodes de formation inspirées par la biologie : une approche sans gradient du matériel physique

La demande croissante d’intelligence artificielle a stimulé la recherche sur l’informatique non conventionnelle basée sur des appareils physiques. Même si ces dispositifs informatiques imitent le traitement analogique de l’information inspiré par le cerveau, le processus d’apprentissage repose toujours sur des méthodes optimisées pour le traitement numérique, telles que la rétropropagation, qui ne sont pas adaptées à une mise en œuvre physique.

Ici, une équipe de chercheurs des laboratoires japonais NTT Device Technology Labs et de l'Université de Tokyo démontrent la physique en étendant un algorithme d'entraînement d'inspiration biologique appelé apprentissage profond Direct Feedback Alignment (DFA). Contrairement à l'algorithme original, la méthode proposée est basée sur des projections aléatoires avec des activations non linéaires alternatives. Par conséquent, les réseaux de neurones physiques peuvent être entraînés sans connaissance du système physique et de ses gradients. De plus, le calcul de cette formation peut être simulé sur du matériel physique évolutif.

Les chercheurs ont démontré une preuve de concept à l'aide d'un réseau neuronal optoélectronique récurrent appelé ordinateur à réservoir profond. Le potentiel d’un calcul accéléré avec des performances compétitives sur les benchmarks est démontré. Les résultats fournissent des solutions pratiques pour la formation et l’accélération du calcul neuromorphique.

La recherche s'intitulait « Apprentissage profond physique avec méthode d'entraînement inspirée biologiquement : approche sans gradient pour le matériel physique » et a été publiée dans « Nature Communications » le 26 décembre 2022.

Physical Deep Learning

Les performances record de l'apprentissage automatique basé sur les réseaux de neurones artificiels (ANN) dans le traitement d'images, la reconnaissance vocale, les jeux, etc. ont démontré avec succès ses capacités exceptionnelles. Bien que ces algorithmes ressemblent au fonctionnement du cerveau humain, ils sont essentiellement mis en œuvre au niveau logiciel à l’aide du matériel informatique traditionnel de von Neumann. Cependant, ces réseaux de neurones artificiels basés sur l’informatique numérique sont confrontés à des problèmes de consommation d’énergie et de vitesse de traitement. Ces problématiques motivent l’utilisation de plateformes physiques alternatives pour la mise en œuvre de réseaux de neurones artificiels.

Fait intéressant, même la dynamique physique passive peut être utilisée comme ressources de calcul dans les ANN connectés de manière aléatoire. Connu sous le nom d'ordinateur à réservoir physique (RC) ou de machine d'apprentissage extrême (ELM), la facilité de mise en œuvre de ce cadre élargit considérablement le choix de matériaux réalisables et leur gamme d'applications. De tels réseaux neuronaux (PNN) physiquement implémentés sont capables d'externaliser la charge de calcul spécifique à une tâche vers des systèmes physiques.

La construction de réseaux physiques plus profonds est une direction prometteuse pour améliorer encore les performances, car ils peuvent étendre de manière exponentielle les capacités d'expression du réseau. Cela motive les propositions de PNN profonds utilisant diverses plates-formes physiques. Leur formation repose essentiellement sur une méthode appelée rétropropagation (BP), qui a connu un grand succès dans les ANN logiciels. Cependant, BP ne convient pas au PNN dans les aspects suivants. Premièrement, la mise en œuvre physique des opérations BP reste complexe et non évolutive. Deuxièmement, BP nécessite une compréhension précise de l’ensemble du système physique. De plus, lorsque nous appliquons BP au RC, ces exigences compromettent les propriétés uniques du RC physique, à savoir que nous devons comprendre et simuler avec précision les réseaux stochastiques physiques en boîte noire.

Comme la BP dans le PNN, la difficulté de faire fonctionner la BP dans les réseaux neuronaux biologiques a également été soulignée par la communauté des sciences du cerveau ; la rationalité de la BP dans le cerveau a toujours été remise en question. Ces considérations ont conduit au développement d’algorithmes d’entraînement biologiquement valables.

Une direction prometteuse dans un avenir proche est l'alignement par rétroaction directe (DFA). Dans cet algorithme, une transformation linéaire aléatoire fixe du signal d'erreur final de la couche de sortie est utilisée pour remplacer le signal d'erreur inverse. Par conséquent, cette méthode ne nécessite pas de propagation couche par couche des signaux d’erreur ni de connaissance des poids. De plus, DFA serait évolutif aux grands modèles de réseaux modernes. Le succès de cette formation biologiquement motivée suggère qu’il existe un moyen plus approprié de former les PNN que les BP. Cependant, DFA nécessite toujours la dérivée f'(a) de la fonction non linéaire f(x) pour l'entraînement, ce qui entrave l'application de la méthode DFA dans les systèmes physiques. Par conséquent, une plus grande échelle de DFA est importante pour les applications PNN.

DFA et son amélioration de l'apprentissage profond en physique

Ici, les chercheurs démontrent l'apprentissage profond en physique en améliorant l'algorithme DFA. Dans le DFA amélioré, nous remplaçons la dérivée de l'activation physique non linéaire f'(a) dans le DFA standard par un g(a) non linéaire arbitraire et montrons que les performances sont robustes au choix de g(a). Grâce à cette amélioration, il n'est plus nécessaire de modéliser f'(a) avec précision. Puisque la méthode proposée est basée sur des projections stochastiques parallèles avec des activations non linéaires arbitraires, les calculs d'entraînement peuvent être effectués sur des systèmes physiques de la même manière que les concepts physiques ELM ou RC. Cela permet une accélération physique de l’inférence et de la formation.

Figure : Concept du PNN et sa formation à travers BP et DFA augmenté. (Source : article)

Pour démontrer la preuve de concept, les chercheurs ont construit un RC optoélectronique de physique profonde assisté par FPGA comme établi. Bien que le benchtop soit simple à utiliser et puisse être appliqué à une variété de plates-formes physiques avec uniquement des mises à jour au niveau logiciel, il atteint des performances comparables à celles des systèmes de pointe de grande taille et complexes.

Figure : Système RC en profondeur optoélectronique avec formation DFA améliorée. (Source : papier)

De plus, l'ensemble du temps de traitement, y compris le temps de traitement numérique, a été comparé, et la possibilité d'une accélération physique du processus de formation a été trouvée.

Figure : Performances du système RC profond optoélectronique. (Source : Paper)

Le budget temps de traitement du banc RC se décompose comme suit : Traitement FPGA (transfert de données, allocation mémoire et DAC/ADC) ~92% traitement numérique pour le prétraitement/Post- ; traitement. Par conséquent, au stade actuel, le temps de traitement est dominé par les calculs numériques sur les FPGA et les CPU. En effet, le banc optoélectronique implémente un réservoir utilisant une seule ligne à retard non linéaire. Ces limitations pourraient être assouplies en utilisant du matériel informatique entièrement parallèle et entièrement optique à l'avenir. Comme on peut le voir, le calcul sur CPU et GPU montre une tendance de O(N^2) pour le nombre de nœuds, tandis que le calcul sur table affiche O(N), ce qui est dû au goulot d'étranglement du transfert de données.

L'accélération physique en dehors du CPU est observée à N ~ 5 000 et ~ 12 000 pour les algorithmes BP et DFA améliorés, respectivement. Cependant, en termes de vitesse de calcul, l’efficacité contre les GPU n’a pas été directement observée en raison de leurs limitations de mémoire. En extrapolant la tendance du GPU, une accélération physique sur le GPU peut être observée à N ~ 80 000. À notre connaissance, il s’agit de la première comparaison de l’ensemble du processus d’entraînement et de la première démonstration d’accélération de l’entraînement physique à l’aide de PNN.

Pour étudier l'applicabilité de la méthode proposée à d'autres systèmes, des simulations numériques ont été réalisées à l'aide du réseau neuronal photonique largement étudié. De plus, la RC basée sur le retard démontrée expérimentalement s'avère bien adaptée à divers systèmes physiques. Concernant l’évolutivité des systèmes physiques, le principal problème dans la construction de réseaux profonds est leur bruit inhérent. Les effets du bruit sont étudiés au moyen de simulations numériques. Le système s’est avéré robuste au bruit.

Évolutivité et limites de l'approche proposée

Ici, l'évolutivité de l'approche basée sur DFA vers des modèles plus modernes est prise en compte. L’un des modèles les plus couramment utilisés pour l’apprentissage profond pratique est le réseau neuronal convolutif (CNN) profondément connecté. Cependant, il a été signalé que l’algorithme DFA est difficile à appliquer aux CNN standards. Par conséquent, la méthode proposée peut être difficile à appliquer de manière simple aux PNN convolutifs.

L'applicabilité au SNN est également un sujet important compte tenu de la mise en œuvre du matériel de simulation. L'applicabilité de la formation basée sur DFA au SNN a été signalée, ce qui signifie que le DFA amélioré proposé dans cette étude peut faciliter la formation.

Bien que les algorithmes basés sur DFA aient le potentiel d'être étendus à des modèles plus pratiques que le simple MLP ou RC, l'efficacité de l'application de la formation basée sur DFA à de tels réseaux reste inconnue. Ici, en tant que travail supplémentaire à cette étude, l'évolutivité de la formation basée sur DFA (DFA lui-même et DFA amélioré) vers les modèles mentionnés ci-dessus (MLP-Mixer, Vision transformer (ViT), ResNet et SNN) est étudiée. La formation basée sur DFA s'est avérée efficace même pour les modèles pratiques exploratoires. Bien que la précision réalisable de la formation basée sur DFA soit essentiellement inférieure à celle de la formation BP, certains ajustements du modèle et/ou de l'algorithme peuvent améliorer les performances. Notamment, la précision du DFA et du DFA augmenté était comparable pour tous les paramètres expérimentaux explorés, ce qui suggère que de nouvelles améliorations du DFA lui-même contribueront directement à l'amélioration du DFA augmenté. Les résultats montrent que la méthode peut être étendue à de futures implémentations de modèles pratiques de PNN, au-delà des simples modèles MLP ou RC.

Tableau 1 : Applicabilité de DFA amélioré aux modèles de réseau réels. (Source : Papier)

BP vs DFA dans le matériel physique

De manière générale, BP est très difficile à implémenter sur du matériel physique car il nécessite de calculer toutes les informations contenues dans le graphique. Par conséquent, la formation sur le matériel physique a toujours été réalisée au moyen de simulations informatiques, ce qui entraîne des coûts de calcul importants. De plus, les différences entre le modèle et le système réel conduisent à une précision réduite. En revanche, DFA amélioré ne nécessite pas de connaissances préalables précises sur le système physique. Par conséquent, dans les PNN profonds, les méthodes basées sur DFA sont plus efficaces que les méthodes basées sur BP en termes de précision. De plus, le matériel physique peut être utilisé pour accélérer les calculs.

De plus, la formation DFA ne nécessite pas de propagation d'erreur séquentielle calculée couche par couche, ce qui signifie que la formation de chaque couche peut être effectuée en parallèle. Par conséquent, une mise en œuvre DFA plus optimisée et parallèle pourrait conduire à des accélérations plus significatives. Ces caractéristiques uniques démontrent l'efficacité des méthodes basées sur DFA, en particulier pour les réseaux de neurones basés sur du matériel physique. D’un autre côté, la précision du modèle amélioré formé par DFA est toujours inférieure à celle du modèle formé par BP. Améliorer davantage la précision de la formation basée sur DFA reste un travail à venir.

Autre accélération physique

L'implémentation physique confirme l'accélération du traitement des boucles RC avec un grand nombre de nœuds. Cependant, ses avantages restent limités et des améliorations supplémentaires sont nécessaires. Le temps de traitement du prototype actuel est exprimé en transfert de données et en allocation de mémoire au FPGA. Par conséquent, l’intégration de tous les processus dans un FPGA améliorera considérablement les performances au détriment de la flexibilité expérimentale. De plus, à l’avenir, les méthodes optiques aéroportées réduiront considérablement les coûts de transmission. L'intégration optique à grande échelle et l'intégration sur puce amélioreront encore les performances du calcul optique lui-même.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!