Wie Durchbrüche in verschiedenen KI-Bereichen wie Bildverarbeitung, intelligente Gesundheitsversorgung, selbstfahrende Autos und intelligente Städte zeigen, erlebt Deep Learning zweifellos ein goldenes Zeitalter. Im Laufe des nächsten Jahrzehnts werden KI- und Computersysteme endlich über menschenähnliche Lern- und Denkfähigkeiten verfügen, um einen konstanten Informationsfluss zu verarbeiten und mit der realen Welt zu interagieren.
Allerdings erleiden aktuelle KI-Modelle Leistungseinbußen, wenn sie kontinuierlich auf neue Informationen trainiert werden. Dies liegt daran, dass bei der Generierung neuer Daten diese über die vorhandenen Daten geschrieben werden und die vorherigen Informationen gelöscht werden. Dieser Effekt wird als „katastrophales Vergessen“ bezeichnet. Das Stabilitäts-Plastizitäts-Dilemma führt dazu, dass KI-Modelle ihr Gedächtnis aktualisieren müssen, um sich kontinuierlich an neue Informationen anzupassen und gleichzeitig die Stabilität des aktuellen Wissens aufrechtzuerhalten. Dieses Problem verhindert, dass SOTA-KI-Modelle kontinuierlich aus realen Informationen lernen.
Mittlerweile ermöglichen Edge-Computing-Systeme die Verlagerung der Datenverarbeitung aus Cloud-Speichern und Rechenzentren näher an die ursprüngliche Quelle, beispielsweise Geräte, die mit dem Internet der Dinge verbunden sind. Die effiziente Anwendung von kontinuierlichem Lernen auf ressourcenbeschränkten Edge-Computing-Geräten bleibt eine Herausforderung, obwohl in diesem Bereich viele Modelle für kontinuierliches Lernen vorgeschlagen wurden, um dieses Problem zu lösen. Herkömmliche Modelle erfordern eine hohe Rechenleistung und große Speicherkapazität.
Kürzlich hat ein Forschungsteam der Singapore University of Technology and Design (SUTD) ein neues Modell entwickelt, das ein äußerst energieeffizientes System für kontinuierliches Lernen erreichen kann, indem es „Continuous Learning Electrical Conduction“ untersucht in Resistive-Switching“-Memory Materials“ wurde in der Fachzeitschrift „Advanced Theory and Simulation“ veröffentlicht.
Papieradresse: https://onlinelibrary.wiley.com/doi/abs/10.1002/adts.202200226
Das Team schlägt ein vom Gehirn inspiriertes Modell vor – Brain-Inspired Replay (BIR) – das kontinuierliches Lernen auf natürliche Weise ermöglicht. Das BIR-Modell basiert auf künstlichen neuronalen Netzen und Variations-Autoencodern, um die Funktionen des menschlichen Gehirns zu simulieren, und kann auch in inkrementellen Lernszenarien ohne gespeicherte Daten gut funktionieren. Forscher haben auch BIR-Modelle verwendet, um das Wachstum leitfähiger Filamente mithilfe von elektrischem Strom in digitalen Speichersystemen darzustellen.
Oben links in der Abbildung unten werden die generativen Wiedergabeeinstellungen angezeigt, oben rechts das Training des künstlichen neuronalen Netzwerks mit generativer Wiedergabe; unten links und unten rechts wird die normalisierte aktuelle Genauigkeit angezeigt des konventionellen bzw. BIR-Modells.
Assistenzprofessor Loke, einer der entsprechenden Autoren des Papiers, erklärte: „In BIR wird Wissen im trainierten Modell gespeichert , wodurch der Leistungsverlust bei der Einführung zusätzlicher Aufgaben ohne Rückgriff auf Daten aus früheren Arbeiten minimiert wird. Daher kann dieser Ansatz viel Energie sparen.“ Er fügte außerdem hinzu: „Ohne die Speicherung von Daten wird eine SOTA-Genauigkeit von 89 % bei der Compliance-Herausforderung erreicht.“ „#🎜🎜 #
Das obige ist der detaillierte Inhalt vonDurch die Simulation von Gehirnfunktionen erreicht dieses KI-Modell wirklich kontinuierliches Lernen wie ein Mensch. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!