Akademiker E Weinan leitet die neue Arbeit: Große Modelle verfügen nicht nur über RAG und Parameterspeicher, sondern auch über eine dritte Art von Speicher

2,4B Speicher³ erreicht eine bessere Leistung als größere LLM- und RAG-Modelle.

In den letzten Jahren haben große Sprachmodelle (LLMs) aufgrund ihrer außergewöhnlichen Leistung beispiellose Aufmerksamkeit erhalten. Das Trainieren und Ableiten von LLM ist jedoch teuer, und es wird versucht, die Kosten durch verschiedene Optimierungsmethoden zu senken.

In diesem Artikel ließen sich Forscher des Shanghai Algorithm Innovation Research Institute, der Universität Peking und anderer Institutionen von der Gedächtnishierarchie des menschlichen Gehirns inspirieren. Sie statteten LLM mit explizitem Gedächtnis aus (einem Speicherformat, das billiger als Modellparameter ist). RAG), um diese Kosten zu reduzieren. Konzeptionell können LLMs von geringeren Parametergrößen, Trainingskosten und Inferenzkosten profitieren, da der Großteil ihres Wissens in den expliziten Speicher externalisiert wird. T-Papier-Adresse: https://arxiv.org/pdf/2407.01178 2.4B LLM von Grund auf entwickelt, das eine bessere Leistung als größere LLM- und RAG-Modelle und eine höhere Dekodierungsgeschwindigkeit als RAG erzielte. Dieses Modell heißt Memory

3

, weil in LLM das explizite Gedächtnis nach dem impliziten Gedächtnis (Modellparameter) und dem Arbeitsgedächtnis (Kontextschlüsselwerte) die dritte Form des Gedächtnisses ist.

• In diesem Artikel wird insbesondere ein neues Speicherformat vorgestellt, das explizite Gedächtnis, das sich durch relativ niedrige Schreibkosten und relativ niedrige Lesekosten auszeichnet. Wie in Abbildung 1 dargestellt, wandelt das Modell zunächst die Wissensbasis (oder einen beliebigen Textdatensatz) in explizite Erinnerungen um, die als Schlüsselwerte mit geringer Aufmerksamkeit implementiert werden, ruft diese Erinnerungen dann während der Inferenz auf und integriert sie in die Mitte der Selbstaufmerksamkeitsschicht.
• ^{Das neue Speicherformat definiert eine neue Speicherhierarchie:}

Darüber hinaus stellt dieser Artikel auch eine Speicherschaltkreistheorie vor, die die Externalisierung von Wissen unterstützt, und schlägt eine Speichersparsität vor, die den Speicher handhabbar machen kann. Mechanismen und ein zweistufiger Mechanismus Vortrainingsprotokoll zur Förderung der Gedächtnisbildung.

Zusammenfassung:

Speicher3

Nutzt expliziten Speicher während des Inferenzprozesses, wodurch die Belastung durch das Speichern spezifischer Kenntnisse für Modellparameter verringert wird die Wissensbasis, in der das Sparse-Memory-Format die wahre Speichergröße beibehält; Es bietet außerdem eine bessere Leistung und schnellere Schlussfolgerungen als RAG.

Darüber hinaus verbessert das Gedächtnis

3

die Faktizität, lindert Halluzinationen und ermöglicht eine schnelle Anpassung an berufliche Aufgaben.

Einführung in die Methode

• Die Speicherschaltungstheorie hilft zu bestimmen, welches Wissen als expliziter Speicher gespeichert werden kann und welche Modellarchitektur zum Lesen und Schreiben des expliziten Speichers geeignet ist.
• Forscher betrachten die Input-Output-Beziehung als den internen Mechanismus des Schaltkreises und definieren Wissen als die Input-Output-Beziehung und ihren Schaltkreis. Durch die Manipulation dieser Schaltkreise kann man einen Großteil des Wissens vom LLM isolieren und gleichzeitig seine Funktionalität beibehalten.
• Speicher
  3
: In Bezug auf die Architektur besteht das Ziel dieses Artikels darin, einen expliziten Speichermechanismus für Transformer LLM zu entwerfen, sodass die Schreib- und Lesekosten relativ niedrig sind. Darüber hinaus hofft dieser Artikel, die Änderungen an der Transformer-Architektur auf den kleinstmöglichen Umfang zu beschränken, ohne neue trainierbare Parameter hinzuzufügen, sodass die meisten vorhandenen Transformer-LLMs nahezu ohne Feinabstimmung in den Speicher konvertiert werden können
• 3
  Modell. Der einfache Entwurfsprozess ist wie folgt:

Schreibkosten: Vor der Inferenz schreibt LLM jede Referenz in den expliziten Speicher, der auf dem Laufwerk gespeichert wird.Erinnerungen werden aus den Schlüsselvektoren der Selbstaufmerksamkeitsschicht ausgewählt, sodass der Schreibprozess kein Training erfordert. Jede Referenz wird unabhängig verarbeitet, wodurch die Kosten einer langen Kontextaufmerksamkeit vermieden werden.

Lesekosten: Während der Inferenz wird der explizite Speicher vom Laufwerk abgerufen und durch Selbstaufmerksamkeit zusammen mit den üblichen Kontextschlüsselwerten gelesen. Jeder Speicher besteht aus einer sehr kleinen Anzahl von Schlüsselwerten aus einer kleinen Anzahl von Aufmerksamkeitsköpfen, wodurch zusätzliche Berechnungen, GPU-Speicher, Laufwerksspeicher und Ladezeit erheblich reduziert werden. Dadurch kann LLM viele Referenzen häufig abrufen, ohne dass sich dies auf die Decodierungsgeschwindigkeit auswirkt.

Der Argumentationsprozess ist in Abbildung 9 dargestellt. Immer wenn LLM 64 Token generiert, verwirft es den aktuellen Speicher, verwendet diese 64 Token als Abfragetext, um 5 neue Speicher abzurufen, und verwendet diese Speicher weiterhin für die Dekodierung. Ebenso ruft LLM bei der Verarbeitung von Hinweisen 5 Speicher für jeden 64-Token-Block ab. Jeder Block konzentriert sich auf seinen eigenen Speicher, und der Speicher kann zwischen den Blöcken variieren.

Erinnerungen schreiben und lesen: Während der Inferenz kann LLM die abgerufenen expliziten Erinnerungen direkt über seine Selbstaufmerksamkeitsschicht lesen, indem es sie mit kontextuellen Schlüsselwerten verkettet (Abbildung 9). Insbesondere ändert sich für jeden Aufmerksamkeitskopf h der l-ten Schicht, wenn er als Speicherkopf ausgewählt wird, seine Ausgabe Y^(l,h):

Darüber hinaus verwendet diese Studie explizites Gedächtnis parallel Positionskodierung, das heißt, alle Schlüsselpositionen liegen im gleichen Intervall der Länge 128, wie in Abbildung 9 dargestellt.

Zweistufiges Vortraining: Das Vortraining besteht aus zwei Phasen, dem Aufwärmen und dem kontinuierlichen Training. Nur die laufende Trainingsphase erfordert explizites Gedächtnis, während die Aufwärmphase das gleiche Format wie das normale Vortraining verwendet.

Abbildung 13 zeigt den Trainingsverlust- und Lernratenplan während der Aufwärmphase.

Abbildung 14 zeigt den Trainingsverlust- und Lernratenplan während der kontinuierlichen Trainingsphase.

Experimentelle Ergebnisse

Die Forscher bewerteten die allgemeinen Fähigkeiten (Benchmark-Aufgaben), Konversationsfähigkeiten, beruflichen Fähigkeiten (Recht und Medizin) und Halluzinationen des Memory³-Modells. Darüber hinaus haben die Forscher auch die Dekodierungsgeschwindigkeit von Memory³ gemessen und sie mit ähnlichen und größeren SOTA LLM- und RAG-Modellen verglichen.

Die Bewertungsergebnisse der allgemeinen Fähigkeiten sind unten aufgeführt. Die Ergebnisse zeigen, dass das explizite Gedächtnis die durchschnittliche Punktzahl um 2,51 % erhöhte. Im Vergleich dazu beträgt der Punkteunterschied zwischen Llama2-7B und 13B 4,91 %. Explizites Gedächtnis kann die „effektive Modellgröße“ um 2,51/4,91 ≈ 51,1 % erhöhen.

Als nächstes bewerteten die Autoren die Dialogfähigkeiten von Memory³. Die Ergebnisse sind in Tabelle 18 aufgeführt. Sie zeigen, dass das Modell Vicuna-7B, Falcon-40B-Instruct und ChatGLM2-6B mit weniger Parametern übertrifft.

Derzeit hat LLM immer noch mit Halluzinationsproblemen zu kämpfen. Konzeptionell sollte Memory³ weniger anfällig für Halluzinationen sein, da sein explizites Gedächtnis direkt dem Referenztext entspricht. Um Halluzinationen zu bewerten, wählten die Forscher zwei englische Datensätze zur Auswertung aus. Die Ergebnisse sind in Tabelle 19 aufgeführt. Memory³ erreicht bei den meisten Aufgaben die höchsten Werte.

Ein Vorteil der Verwendung von explizitem Speicher besteht darin, dass sich LLM durch die Aktualisierung seiner Wissensdatenbank leicht an neue Domänen und Aufgaben anpassen kann. Importieren Sie einfach aufgabenbezogene Referenzen in die Wissensdatenbank von Memory³ und konvertieren Sie diese optional im Falle eines Warmstarts in den expliziten Speicher.Das Modell kann dieses neue Wissen dann für Schlussfolgerungen nutzen, den kostspieligeren und potenziell verlustbehafteten Feinabstimmungsprozess überspringen und schneller als RAG laufen. Diese Kostenreduzierung wurde in Abbildung 4 dargestellt und könnte die schnelle Einführung von LLM in verschiedenen Branchen erleichtern.

Die Tabelle unten zeigt, dass Memory³ besser abschneidet als die meisten Modelle.

Abschließend bewerteten die Forscher die Decodierungsgeschwindigkeit oder den Speicherdurchsatz³ anhand der Anzahl der pro Sekunde generierten Token.

Weitere Informationen finden Sie im Originalpapier.

Das obige ist der detaillierte Inhalt vonAkademiker E Weinan leitet die neue Arbeit: Große Modelle verfügen nicht nur über RAG und Parameterspeicher, sondern auch über eine dritte Art von Speicher. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!