Mit geringem Energieverbrauch und geringem Zeitaufwand nutzt das Team der Chinesischen Akademie der Wissenschaften und der Universität Hongkong eine neue Methode, um Multitasking-Lernen für Reservoirberechnungen in tragbaren Sensoren durchzuführen.

In-sensorisches Multitasking-Lernen ist nicht nur ein wesentlicher Vorteil des biologischen Sehens, sondern auch ein wichtiges Ziel der künstlichen Intelligenz. Herkömmliche Silizium-Vision-Chips verursachen jedoch einen hohen Zeit- und Energieaufwand. Darüber hinaus ist das Training herkömmlicher Deep-Learning-Modelle auf Edge-Geräten weder skalierbar noch erschwinglich.

Hier schlägt ein Forschungsteam der Chinesischen Akademie der Wissenschaften und der Universität Hongkong ein gemeinsames Design eines Materialalgorithmus vor, um das Lernparadigma der menschlichen Netzhaut mit geringem Overhead zu simulieren. Basierend auf dem flaschenbürstenförmigen Halbleiter p-NDI mit effizienter Exzitonendissoziation und Ladungstransporteigenschaften durch den Raum wird ein tragbares Transistor-basiertes dynamisches Sensorreservoir-Rechensystem entwickelt, das eine hervorragende Trennbarkeit bei verschiedenen Aufgabeneigenschaften, Dämpfungsgedächtnis und Echozustandseigenschaften aufweist.

In Kombination mit der „Auslesefunktion“ der memristiven organischen Diode kann RC handgeschriebene Buchstaben und Zahlen erkennen und verschiedene Kleidungsstücke mit Genauigkeitsraten von 98,04 %, 88,18 % und 91,76 % (höher als alle gemeldeten organischen Halbleiter) klassifizieren.

Zusätzlich zu 2D-Bildern extrahiert die raumzeitliche Dynamik von RC auf natürliche Weise Merkmale aus ereignisbasierten Videos, um drei Arten von Gesten mit einer Genauigkeit von 98,62 % zu klassifizieren. Darüber hinaus ist der Rechenaufwand deutlich geringer als bei herkömmlichen künstlichen neuronalen Netzen. Diese Arbeit bietet ein vielversprechendes Co-Design von Materialien und Algorithmen für erschwingliche und effiziente photonische neuromorphe Systeme.

Die Forschung trägt den Titel „Tragbares In-Sensor-Reservoir-Computing mit optoelektronischen Polymeren mit Ladungstransporteigenschaften durch den Raum für Multitask-Lernen“ und wurde am 28. Januar 2023 in „Nature Communications“ veröffentlicht 》 .

Die menschliche Netzhaut nimmt nicht nur Lichtsignale wahr, sondern verarbeitet sie auch gleichzeitig, indem sie reichhaltige dynamische Signale sammelt und so das aufgabenbezogene Lernen im nachgeschalteten visuellen Kortex beschleunigt. Die Synergie von Netzhaut und visuellem Kortex liegt der Fähigkeit des Gehirns zugrunde, Multitasking effizient, kompakt und schnell zu erlernen, und ist ein grundlegendes Ziel der künstlichen allgemeinen Intelligenz (AGI).

Im Gegensatz dazu verursachen herkömmliche Silizium-Vision-Chips mit physisch getrennten Erfassungs-, Verarbeitungs- und Speichereinheiten aufgrund des großen und häufigen Datentransfers zwischen diesen Einheiten sowie der sequentiellen Analog-Digital-Umwandlung einen erheblichen Zeit- und Energieaufwand ist die grundsätzliche Grenze der potenziellen Energieeffizienz. Diese Situation wird durch die Verlangsamung des Mooreschen Gesetzes noch verschärft. Darüber hinaus erfordert das Lernen in traditionellen Deep-Learning-Modellen, wie z. B. rekurrenten neuronalen Netzen für zeitliche Signale, ein langwieriges Training für sehr spezifische Aufgaben (z. B. Gradientenabstieg über Backpropagation through Time, BPTT), was hinsichtlich des Batteriezugriffs und der Formfaktoren schwierig ist auf Edge-Geräten mit begrenzten Formfaktoren weder skalierbar noch erschwinglich.

Es wurden große Anstrengungen unternommen, um die menschliche Netzhaut zu simulieren und erschwingliche Lernparadigmen zu schaffen. Was die Materialien angeht, sind anorganische, fotoempfindliche zweidimensionale Halbleiter wie MoS2 mit Defekten und Verunreinigungsstellen, SnS mit Doppeldefektzuständen im Zusammenhang mit Sn und S, Oxidationsdefekten und der Leistung von geschichtetem Perowskit aus schwarzem Phosphor Quantenpunkte mit starker Lichtkontrollwirkung, h-BN/WSe2-Heterostruktur, die Elektronen einfangen und freisetzen kann, und MoOx, die Valenzzustandsänderungen aufweisen, sind die am häufigsten verwendeten künstlichen Netzhautmaterialien. Darüber hinaus ahmen organische Halbleiter, die von Natur aus biokompatibel, tragbar und skalierbar sind, wie PDVT-10, Chlorophyll-dotiertes PDPP4T sowie Pentacen/Seide- und CD-Doppelschichten, biologische Gegenstücke auf eine getreuere Art und Weise nach.

In Bezug auf Algorithmen projiziert Reservoir Computation (RC) zeitliche Signale nichtlinear in den Merkmalsraum, indem es den schwindenden Speicher eines festen dynamischen Systems sammelt und gilt als vielversprechende Edge-Learning-Lösung. Da das Lernen von RC auf die Ausleseschicht des Langzeitgedächtnisses beschränkt ist, werden die Trainingskosten im Vergleich zu herkömmlichen Deep-Learning-Modellen deutlich reduziert. Es wurde jedoch immer noch kein Algorithmus für gepaarte Materialien entwickelt, um effiziente künstliche Netzhaut und erschwingliches RC-basiertes Edge-Learning zu kombinieren und so das Multitasking-Potenzial des biomimetischen neuromorphen Sehens freizusetzen.

Abbildung: Vergleich der Photostromreaktion von herkömmlichen Halbleitern und p-NDI sowie detaillierte Halbleiterdesignprinzipien des RC-Systems im Sensor. (Quelle: Papier)

Hier schlagen Forscher der Chinesischen Akademie der Wissenschaften und der Universität Hongkong ein Materialalgorithmus-Codesign eines photoresponsiven Halbleiterpolymers (p-NDI) mit effizienter Exzitonendissoziation und Ladungstransporteigenschaften im gesamten Raum vor, um einen In-Sensor zu konstruieren RC für die Klassifizierung im Multitasking-Modus. Das flexible neuromorphe Gerät basiert auf einem Transistor mit drei Anschlüssen und einem p-NDI-Halbleiterkanal. Aufgrund seines hervorragenden Photoreaktionsverhaltens und seines nichtlinearen Fading-Speichers ist das Gerät in der Lage, optische Eingaben gleichzeitig vor Ort zu erfassen, zu speichern und vorzuverarbeiten (d. h. Kontrastverstärkung und Rauschreduzierung).

Abbildung: Klassifizierungsleistung bei mehreren Aufgaben. (Quelle: Papier)

Darüber hinaus ermöglicht die Synergie zwischen Exzitonendissoziations-/Ladungsrekombinationsdynamik, Photogating-Effekten und Ladungstransporteigenschaften durch den Raum in Polymeren den Einsatz von dynamischen RC-Systemen auf Transistorbasis für verschiedene Aufgaben ausgezeichnete Trennbarkeit, Dämpfungsgedächtnis und Echozustandseigenschaften. Diese RC-basierten Netzhäute sind mit einer „Auslesefunktion“ gepaart, die auf einer memristiven organischen Ionengeldiode implementiert ist.

Durch die synergetischen Funktionen der Signalvorverarbeitung und der dynamischen RC, die alle organischen optoelektronischen Materialien bieten, erreichten die Genauigkeitsraten bei der Identifizierung handgeschriebener Buchstaben und Zahlen und der Klassifizierung verschiedener Kleidungsstücke 98,04 %, 88,18 % bzw. 91,76 %. Dies bedeutet Multitasking-Lernen von Kleidungsstilen und -größen. Die Gesamtgenauigkeit des Systems beträgt 88,00 % und erkennt nicht nur die Kleidung korrekt, sondern auch die Größe der Kleidung. Obwohl es sich um 2D-Bilder handelte, wurde die raumzeitliche Dynamik von RC verwendet, um ereignisbasierte Videos von Winken mit der linken Hand, Winken mit der rechten Hand und Klatschgesten mit einer Genauigkeit von 98,62 % zu klassifizieren.

Abbildung: Ereignisbasierte Videoklassifizierung mithilfe des DVSGesture128-Datensatzes. (Quelle: Paper)

Dieser auf p-NDI-Transistoren basierende RC enthält jedoch nicht den flüssigen Elektrolyten, der häufig in synaptischen organischen elektrochemischen Transistoren verwendet wird, wodurch die Skalierbarkeit und Bedienbarkeit verbessert wird. Diese Arbeit bietet eine vielversprechende Co-Design-Strategie für Material und Algorithmen für tragbare, erschwingliche und effiziente photonische neuromorphe Systeme mit Multitasking-Lernfähigkeiten.

Papierlink: https://www.nature.com/articles/s41467-023-36205-9

Das obige ist der detaillierte Inhalt vonMit geringem Energieverbrauch und geringem Zeitaufwand nutzt das Team der Chinesischen Akademie der Wissenschaften und der Universität Hongkong eine neue Methode, um Multitasking-Lernen für Reservoirberechnungen in tragbaren Sensoren durchzuführen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!