Avec une faible consommation d'énergie et une faible consommation de temps, l'équipe de l'Académie chinoise des sciences et de l'Université de Hong Kong utilise une nouvelle méthode pour effectuer un apprentissage multitâche pour les calculs de réservoirs internes dans les capteurs portables.

L'apprentissage multitâche intégré au capteur n'est pas seulement un avantage clé de la vision biologique, mais aussi un objectif majeur de l'intelligence artificielle. Cependant, les puces de vision en silicium traditionnelles nécessitent beaucoup de temps et d'énergie. De plus, la formation de modèles d’apprentissage profond traditionnels n’est ni évolutive ni abordable sur les appareils de pointe.

Ici, une équipe de recherche de l'Académie chinoise des sciences et de l'Université de Hong Kong propose une co-conception d'un algorithme de matériaux pour simuler le paradigme d'apprentissage de la rétine humaine avec une faible surcharge. Basé sur le semi-conducteur p-NDI en forme de brosse à bouteille avec des propriétés efficaces de dissociation d'excitons et de transport de charge à travers l'espace, un système informatique de réservoir de capteur dynamique basé sur un transistor portable est développé qui présente une excellente séparabilité sur les propriétés de différentes tâches, la mémoire d'atténuation et les caractéristiques de l'état d'écho.

Combiné à la « fonction de lecture » sur la diode organique memristive, RC peut reconnaître des lettres et des chiffres manuscrits et classer divers vêtements avec des taux de précision de 98,04 %, 88,18 % et 91,76 % (supérieurs à tous les semi-conducteurs organiques signalés).

En plus des images 2D, la dynamique spatio-temporelle de RC extrait naturellement les caractéristiques des vidéos basées sur des événements pour classer 3 types de gestes avec une précision de 98,62 %. De plus, le coût de calcul est nettement inférieur à celui des réseaux de neurones artificiels traditionnels. Ce travail fournit une co-conception matériaux-algorithme prometteuse pour des systèmes neuromorphiques photoniques abordables et efficaces.

La recherche s'intitule « Wearable in-sensor réservoir computing using optoelectronic polymères with through-space charge-transport caractéristiques for multi-tâches learning » et a été publiée dans « Nature Communications » le 28 janvier 2023 》 .

La rétine humaine non seulement détecte, mais traite également les signaux lumineux simultanément en collectant de riches signaux dynamiques, accélérant ainsi l'apprentissage lié aux tâches dans le cortex visuel en aval. La synergie de la rétine et du cortex visuel est à la base de la capacité du cerveau à apprendre le multitâche de manière efficace, compacte et rapide et constitue un objectif fondamental de l'intelligence générale artificielle (AGI).

En revanche, les puces de vision en silicium traditionnelles avec des unités de détection, de traitement et de stockage physiquement séparées entraînent une surcharge de temps et d'énergie importante en raison des navettes de données volumineuses et fréquentes entre ces unités, ainsi que de la conversion séquentielle analogique-numérique, qui constitue la limite fondamentale de l’efficacité énergétique potentielle. Cette situation est encore exacerbée par le ralentissement de la loi de Moore. De plus, l'apprentissage dans les modèles d'apprentissage profond traditionnels, tels que les réseaux neuronaux récurrents pour les signaux temporels, utilise une formation fastidieuse sur des tâches très spécifiques (par exemple, descente de gradient via rétropropagation dans le temps, BPTT), ce qui est difficile en termes d'accès à la batterie et de facteurs de forme. ni évolutif ni abordable sur les appareils de pointe avec des facteurs de forme limités.

De grands efforts ont été déployés pour simuler la rétine humaine et des paradigmes d'apprentissage abordables. En termes de matériaux, semi-conducteurs bidimensionnels inorganiques photosensibles, tels que MoS2 avec des défauts et des sites d'impuretés, SnS avec des états de défaut de type double liés à Sn et S, défauts liés à l'oxydation et performances de la pérovskite de phosphore noir en couches les points quantiques avec un fort effet de contrôle de la lumière, l'hétérostructure h-BN/WSe2 qui peut capturer et libérer des électrons, et le MoOx qui présentent des changements d'état de valence sont les matériaux de rétine artificielle les plus largement utilisés. De plus, les semi-conducteurs organiques qui sont intrinsèquement biocompatibles, portables et évolutifs, tels que le PDVT-10, le PDPP4T dopé à la chlorophylle et les bicouches pentacène/soie et CD, imitent leurs homologues biologiques de manière plus fidèle.

En termes d'algorithmes, le calcul de réservoir (RC) projette de manière non linéaire des signaux temporels dans l'espace des fonctionnalités en collectant la mémoire qui s'efface d'un système dynamique fixe et est considéré comme une solution d'apprentissage de pointe prometteuse. Étant donné que l’apprentissage du RC est limité à la couche de lecture de la mémoire à long terme, le coût de formation est considérablement réduit par rapport aux modèles d’apprentissage profond traditionnels. Cependant, il n’a toujours pas conçu d’algorithme de matériaux appariés pour combiner une rétine artificielle efficace et un apprentissage de bord abordable basé sur la RC afin de libérer le potentiel multitâche de la vision neuromorphique biomimétique.

Illustration : comparaison de la réponse du photocourant des semi-conducteurs conventionnels et du p-NDI, et principes détaillés de conception des semi-conducteurs du système RC au sein du capteur. (Source : Papier)

Ici, des chercheurs de l'Académie chinoise des sciences et de l'Université de Hong Kong proposent un algorithme de conception conjointe d'un polymère semi-conducteur photosensible (p-NDI) avec une dissociation efficace des excitons et des propriétés de transport de charge dans tout l'espace pour construire des RC intégré au capteur pour la classification du mode multitâche. Le dispositif neuromorphique flexible est basé sur un transistor à trois bornes avec un canal semi-conducteur p-NDI. En raison de son excellent comportement de photoréponse et de sa mémoire d'évanouissement non linéaire, l'appareil est capable simultanément de détecter, de mémoriser et de prétraiter les entrées optiques in situ (c'est-à-dire l'amélioration du contraste et la réduction du bruit).

Illustration : Performance de classification multi-tâches. (Source : article)

De plus, la synergie entre la dynamique de dissociation des excitons/recombinaison de charges, les effets de photogating et les propriétés de transport de charge à travers l'espace dans les polymères permet d'utiliser les systèmes RC dynamiques à base de transistors dans différentes tâches. Cela montre excellentes caractéristiques de séparabilité, de mémoire d'atténuation et d'état d'écho. Ces rétines basées sur RC sont associées à une « fonction de lecture » mise en œuvre sur une diode à gel d'ions organiques memristive.

Les fonctions synergiques de prétraitement du signal et de RC dynamique fournies par tous les matériaux optoélectroniques organiques, les taux de précision dans l'identification des lettres et des chiffres manuscrits et la classification de divers vêtements ont atteint respectivement 98,04 %, 88,18 % et 91,76 %. de styles et de tailles de vêtements. La précision globale du système est de 88,00 %, identifiant non seulement correctement les vêtements, mais également la taille des vêtements. Bien qu'il s'agisse d'images 2D, la dynamique spatio-temporelle de la RC a été utilisée pour classer des vidéos basées sur des événements de gestes d'agitation de la main gauche, d'agitation de la main droite et d'applaudissements avec une précision de 98,62 %.

Illustration : Classification vidéo basée sur des événements à l'aide de l'ensemble de données DVSGesture128. (Source : Papier)

Cependant, ce RC à base de transistor p-NDI ne contient pas l'électrolyte liquide largement utilisé dans les transistors électrochimiques organiques synaptiques, améliorant ainsi l'évolutivité et l'opérabilité. Ce travail fournit une stratégie prometteuse de co-conception matériau-algorithme pour des systèmes neuromorphiques photoniques portables, abordables et efficaces dotés de capacités d'apprentissage multitâches.

Lien papier : https://www.nature.com/articles/s41467-023-36205-9

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!