Die neuen Materialien des MIT erzeugen „Artificial Synapse 2.0', um Deep-Learning-Training zu simulieren und die Geschwindigkeit um das Millionenfache zu steigern!

Da Wissenschaftler in den letzten Jahren die Grenzen des maschinellen Lernens immer weiter verschieben, ist der Zeit-, Energie- und Geldaufwand für das Training immer komplexerer neuronaler Netzwerkmodelle rapide gestiegen. „Das Modell kann gebaut werden, aber das Training ist zu langsam“ ist zu einem Problem geworden, das immer mehr Forscher beschäftigt.

Seit Kurzem verspricht ein neues Feld der künstlichen Intelligenz namens „Simulation Deep Learning“ schnellere Berechnungen mit weniger Energie. Programmierbare Widerstände sind ein wichtiger Bestandteil des analogen Deep Learning, ebenso wie Transistoren Kernelemente digitaler Prozessoren sind. Durch die wiederholte Anordnung programmierbarer Widerstände in komplexen Schichten können Forscher ein simuliertes Netzwerk aus künstlichen Neuronen und Synapsen erstellen, das wie ein digitales neuronales Netzwerk funktioniert. Dieses Netzwerk kann trainiert werden, um komplexe Aufgaben der künstlichen Intelligenz wie Bilderkennung und Verarbeitung natürlicher Sprache umzusetzen.

Die Rechengeschwindigkeit simulierter neuronaler Netze hängt maßgeblich von der Übertragungsgeschwindigkeit „künstlicher Synapsen“ ab. Dies versucht ein Team am MIT zu lösen. Sie haben zuvor eine künstlich simulierte Synapse entwickelt und müssen nun ein neues Material entwickeln, das die ursprüngliche alte Version übertrifft.

Dieses Mal verwendeten sie ein praktisches anorganisches Material im Herstellungsprozess, wodurch der oben genannte programmierbare Widerstand genauso schnell wie frühere Versionen laufen konnte – 1 Million Mal schneller als Synapsen in der menschliches Gehirn. Darüber hinaus macht dieses Material Widerstände äußerst energieeffizient. Im Gegensatz zu denen, die in früheren Versionen des Geräts verwendet wurden, ist das neue Material mit der Silizium-Herstellungstechnologie kompatibel. Diese Änderung ermöglicht die Herstellung von Geräten im Nanometerbereich und könnte den Weg für die Integration in kommerzielle Computerhardware für Deep-Learning-Anwendungen ebnen.

Diese Forschungsarbeit wurde in Science veröffentlicht.

Papierlink: https://www.science.org/doi /pdf/10.1126/science.abp8064

Der korrespondierende Autor des Papiers ist Professor Downer vom Department of Electrical Engineering and Computer Science (EECS) der Universität MIT „Mit dieser wichtigen Entdeckung, gepaart mit der leistungsstarken Nanofabrikationstechnologie von MIT.nano, konnten wir die Einzelteile zusammenfügen und zeigen, dass diese Geräte an sich sehr schnell sind und innerhalb angemessener Zeitrahmen hergestellt werden können“, sagte Jesús A. del Alamo „Das Gerät fügt elektrochemisch die kleinsten Ionen – Protonen – in das isolierende Oxid ein, um dessen elektronische Leitfähigkeit zu modulieren. Da das von uns verwendete Gerät sehr dünn ist, kann es ein elektrisches Feld verwenden, um die Bewegung dieser Ionen zu beschleunigen und diese anzuschieben Ionengeräte in den Betrieb im Nanosekundenbereich zu überführen“, erklärte der korrespondierende Autor Bilge Yildiz, Breene M. Kerr-Professor am Department of Nuclear Science and Engineering und am Department of Materials Science and Engineering. Ju Li, korrespondierender Autor des Papiers und Professor an der Abteilung für Nuklearwissenschaft und -technik sowie Professor an der Abteilung für Materialwissenschaft und -technik der Battelle Energy Alliance, sagte: „Das Aktionspotential in biologischen Zellen wird in der Größenordnung gemessen.“ Die Skala geht auf und ab, denn die Spannungsdifferenz von etwa 0,1 Volt wird durch die Stabilität des Wassers bestimmt. „Hier legen wir Spannungen von bis zu 10 Volt an eine spezielle nanometerdicke feste Glasfolie an, die Protonen leiten kann.“ ", sagte er. Wird es nicht dauerhaft beschädigen. Je stärker das elektrische Feld ist, desto schneller arbeitet das Ionisationsgerät. Zu den Co-Autoren des Papiers gehören auch Frances M. Ross, die Ellen Swallow Richards-Professorin am Department of Materials Science and Engineering; die Postdocs Nicolas Emond und Baoming Wang sowie der EECS-Doktorand Difei Zhang;

Diese programmierbaren Widerstände erhöhen die Trainingsgeschwindigkeit neuronaler Netze erheblich und reduzieren gleichzeitig die Kosten und den Energieverbrauch des Trainings erheblich. Dies könnte Wissenschaftlern helfen, schneller Deep-Learning-Modelle für Anwendungen wie selbstfahrende Autos, Betrugserkennung oder medizinische Bildanalyse zu entwickeln. „Sobald Sie einen analogen Prozessor haben, müssen Sie nicht mehr das Netzwerk trainieren, an dem andere Leute arbeiten. Sie können ein Netzwerk mit beispiellos hoher Komplexität trainieren, die sich sonst niemand leisten kann. Mit anderen Worten, es ist nicht nur schnell.“ Auto, sondern ein Flugzeug. Sagte Murat Onen, der Erstautor der Arbeit und Postdoktorand am MIT.

1 Million Mal beschleunigtes Deep Learning

Es gibt zwei Hauptgründe, warum analoges Deep Learning schneller und energieeffizienter ist als sein digitales Gegenstück Grund.

Zuallererst werden die Berechnungen im Speicher durchgeführt, sodass keine großen Datenmengen vom Speicher zum Prozessor hin und her übertragen werden. Auch analoge Prozessoren arbeiten parallel. Wenn die Matrix wächst, benötigt der Analogprozessor nicht mehr Zeit, um die neue Operation abzuschließen, da alle Berechnungen gleichzeitig durchgeführt werden. Ein Schlüsselelement der neuen analogen Prozessortechnologie des MIT ist ein protonenprogrammierbarer Widerstand. Diese Widerstände werden in Nanometern gemessen und sind schachbrettartig angeordnet.

Programmierbarer Nanosekunden-Protonenwiderstand

#🎜 entwickeln Um einen ultraschnellen, energieeffizienten programmierbaren Protonenwiderstand zu entwickeln, suchten die Forscher nach verschiedenen Elektrolytmaterialien. Während andere Geräte organische Verbindungen verwenden, konzentriert sich Onen auf anorganisches Phosphosilikatglas (PSG). PSG ist im Grunde Kieselsäure, ein pulverförmiges Trockenmittel, das zur Entfernung von Feuchtigkeit verwendet wird.

Unter feuchten Bedingungen untersuchten die Forscher es als Protonenleiter für Brennstoffzellen. Es ist auch das bekannteste Oxid in der Siliziumverarbeitung. Zur Herstellung von PSG wird dem Silizium eine kleine Menge Phosphor zugesetzt, was ihm besondere Eigenschaften der Protonenleitung verleiht. Onen stellte die Hypothese auf, dass das optimierte PSG bei Raumtemperatur eine hohe Protonenleitfähigkeit aufweisen könnte, ohne dass Wasser erforderlich wäre, was es zu einem idealen Festelektrolyten machen würde.

Erstaunliche Geschwindigkeit

PSG ist zur ultraschnellen Bewegung von Protonen fähig, da es eine große Anzahl nanometergroßer Poren enthält, deren Oberfläche Protonendiffusion ist gibt den Weg vor.

Es hält auch sehr starken gepulsten elektrischen Feldern stand.

Onen erklärte: „Das ist entscheidend, weil das Anlegen von mehr Spannung an das Gerät dazu führen kann, dass sich die Protonen extrem schnell bewegen.“ „Diese Geschwindigkeit ist ziemlich überraschend. Normalerweise würden wir bei Geräten keine so starken Magnetfelder verwenden, um zu verhindern, dass sie sich in Asche verwandeln. Aber stattdessen landeten die Protonen in riesigen Mengen. Es ist eine Million Mal schneller als das, was wir vorher gemacht haben, und das wegen.“ Aufgrund seiner geringen Größe und geringen Masse zerstört die Bewegung nichts. Es ist fast wie eine Teleportation. Da Protonen das Material nicht beschädigen, können Widerstände Millionen von Zyklen lang funktionieren Versagen.

Ultraschnelle und energieeffiziente Modulationseigenschaften protonenprogrammierbarer Widerstände# 🎜🎜#

Dieser neue Elektrolyt ermöglicht programmierbare Protonenwiderstände bis zu 1 Million Mal schneller als bisherige Geräte und arbeitet effizient bei Raumtemperatur, was die Einbeziehung in Berechnungen erleichtert Hardware ist sehr wichtig.

Aufgrund der isolierenden Eigenschaften von PSG fließt bei der Bewegung von Protonen fast kein Strom durch das Material. „Dadurch ist das Gerät sehr energieeffizient“, fügte Onen hinzu. „Nachdem sie die Wirksamkeit dieser programmierbaren Widerstände nachgewiesen haben, planen die Forscher, sie für die Massenproduktion umzugestalten. Anschließend können sie die Eigenschaften des Widerstandsarrays untersuchen.“ Skalieren Sie es, damit es in das System eingebettet werden kann. 🎜 #Yildiz fügte hinzu: „Eine weitere spannende Richtung, die diese ionischen Geräte ermöglichen können, ist energieeffiziente Hardware zur Simulation neuronaler Schaltkreise und synaptischer Plastizitätsregeln, die in den Neurowissenschaften abgeleitet sind, über die Simulation tiefer neuronaler Netze hinaus.“ beginnen bereits mit der Arbeit mit neuronalen Netzen. Diese Art der Zusammenarbeit wird von MIT Quest for Intelligence unterstützt.“ Zusammenarbeit ist entscheidend für zukünftige Innovationen. Der Weg, der vor uns liegt, bleibt herausfordernd, aber auch sehr spannend!“ „Ionenbatterien wurden in Speichergeräten ausführlich erforscht“, sagte Chueh. „Diese Arbeit zeigt, dass protonenbasierte Speichergeräte beeindruckende und überraschende Schaltgeschwindigkeiten und Haltbarkeit bieten.“ Sex.“ 🎜🎜# Allerdings war William Chueh nicht an dieser Studie beteiligt.

Das obige ist der detaillierte Inhalt vonDie neuen Materialien des MIT erzeugen „Artificial Synapse 2.0', um Deep-Learning-Training zu simulieren und die Geschwindigkeit um das Millionenfache zu steigern!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!