Groß angelegte Sprachmodelle (LLMs) haben überzeugende Fähigkeiten bei vielen wichtigen Aufgaben gezeigt, darunter das Verständnis natürlicher Sprache, die Sprachgenerierung und komplexes Denken, und hatten tiefgreifende Auswirkungen auf die Gesellschaft. Diese herausragenden Fähigkeiten erfordern jedoch erhebliche Schulungsressourcen (im linken Bild dargestellt) und lange Inferenzzeiten (im rechten Bild dargestellt). Daher müssen Forscher wirksame technische Mittel entwickeln, um ihre Effizienzprobleme zu lösen.
Darüber hinaus wurden, wie auf der rechten Seite der Abbildung zu sehen ist, einige effiziente LLMs (Sprachmodelle) wie Mistral-7B erfolgreich beim Entwurf und Einsatz von LLMs eingesetzt. Diese effizienten LLMs können die Nutzung des Inferenzspeichers erheblich reduzieren und die Inferenzlatenz reduzieren, während sie gleichzeitig eine ähnliche Genauigkeit wie LLaMA1-33B beibehalten. Dies zeigt, dass es bereits einige praktikable und effiziente Methoden gibt, die bei der Gestaltung und Nutzung von LLMs erfolgreich angewendet werden.
In diesem Bericht geben Forscher der Ohio State University, des Imperial College, der Michigan State University, der University of Michigan, Amazon, Google, Boson AI und Microsoft Asia Research umfassende Einblicke in die Forschung zu effizienten LLMs Überblick über das System. Sie teilten bestehende Technologien zur Optimierung der Effizienz von LLMs in drei Kategorien ein, darunter modellzentriert, datenzentriert und Framework-zentriert, und fassten die modernsten verwandten Technologien zusammen und diskutierten sie.
... LLM s -Umfrage 
1. Kompressionsmodell Im Bereich des maschinellen Lernens ist die Modellgröße oft ein wichtiger Gesichtspunkt. Größere Modelle benötigen oft mehr Speicherplatz und Rechenressourcen und können bei der Ausführung auf mobilen Geräten auf Einschränkungen stoßen. Daher ist die Komprimierung des Modells eine häufig verwendete Technik zur Reduzierung der Modellgröße. Modellkomprimierungstechniken werden hauptsächlich in vier Kategorien unterteilt: Quantisierung, Parameterbereinigung, Low-Rank-Schätzung und Wissensdestillation (siehe Abbildung unten), darunter Quantisierung Komprimiert die Gewichte oder Aktivierungswerte des Modells von hoher Präzision auf niedrige Präzision. Durch die Parameterbereinigung werden die redundanteren Teile der Modellgewichte gesucht und gelöscht. Durch die Schätzung mit niedrigem Rang wird die Gewichtsmatrix des Modells in mehrere Niedrigpräzisionen umgewandelt. Bei der Destillation von Produktwissen wird ein großes Modell direkt zum Trainieren eines kleinen Modells verwendet, sodass das kleine Modell bei der Ausführung bestimmter Aufgaben das große Modell ersetzen kann.
2. Effizientes Vortraining
Die Kosten für das Vortraining von LLMs sind sehr hoch. Eine effiziente Vorschulung zielt darauf ab, die Effizienz zu verbessern und die Kosten des Vorschulungsprozesses für LLMs zu senken. Effizientes Vortraining kann in gemischte Präzisionsbeschleunigung, Modellskalierung, Initialisierungstechnologie, Optimierungsstrategien und Beschleunigung auf Systemebene unterteilt werden.
Die gemischte Präzisionsbeschleunigung verbessert die Effizienz des Vortrainings, indem Steigungen, Gewichte und Aktivierungen mithilfe von Gewichten mit geringer Präzision berechnet, diese dann wieder in hochpräzise umgewandelt und zur Aktualisierung der ursprünglichen Gewichte angewendet werden. Die Modellskalierung beschleunigt die Konvergenz vor dem Training und reduziert die Trainingskosten, indem die Parameter kleiner Modelle für die Skalierung auf große Modelle verwendet werden. Die Initialisierungstechnologie beschleunigt die Konvergenz des Modells, indem sie den Initialisierungswert des Modells gestaltet. Die Optimierungsstrategie konzentriert sich auf die Entwicklung leichter Optimierer, um den Speicherverbrauch während des Modelltrainings zu reduzieren. Die Beschleunigung auf Systemebene nutzt verteilte und andere Technologien, um das Modell-Vortraining auf Systemebene zu beschleunigen.
3. Effiziente Feinabstimmung
Effiziente Feinabstimmung soll die Effizienz des LLM-Feinabstimmungsprozesses verbessern. Gängige effiziente Feinabstimmungstechnologien werden in zwei Kategorien unterteilt: Die eine ist die Parameter-basierte effiziente Feinabstimmung und die andere die speichereffiziente Feinabstimmung.
Parameter Efficient Fine-Tuning (PEFT) zielt darauf ab, LLM an nachgelagerte Aufgaben anzupassen, indem das gesamte LLM-Backbone eingefroren und nur ein kleiner Satz zusätzlicher Parameter aktualisiert wird. In dem Artikel haben wir PEFT weiter in eine Adapter-basierte Feinabstimmung, eine Low-Rank-Anpassung, eine Präfix-Feinabstimmung und eine Prompt-Word-Feinabstimmung unterteilt.
Effiziente speicherbasierte Feinabstimmung konzentriert sich auf die Reduzierung des Speicherverbrauchs während des gesamten LLM-Feinabstimmungsprozesses, z. B. auf die Reduzierung des durch Optimiererstatus und Aktivierungswerte verbrauchten Speichers.
4. Effizientes Denken
Effizientes Denken zielt darauf ab, die Effizienz des Inferenzprozesses von LLMs zu verbessern. Forscher unterteilen gängige hocheffiziente Argumentationstechnologien in zwei Hauptkategorien: die eine ist die Beschleunigung des Denkens auf Algorithmusebene und die andere die Beschleunigung des Denkens auf Systemebene.
Die Inferenzbeschleunigung auf Algorithmusebene kann in zwei Kategorien unterteilt werden: spekulative Dekodierung und KV-Cache-Optimierung. Die spekulative Dekodierung beschleunigt den Sampling-Prozess, indem Token parallel mithilfe eines kleineren Entwurfsmodells berechnet werden, um spekulative Präfixe für das größere Zielmodell zu erstellen. KV – Cache-Optimierung bezieht sich auf die Optimierung der wiederholten Berechnung von Schlüssel-Wert-Paaren (KV) während des Inferenzprozesses von LLMs.
Inferenzbeschleunigung auf Systemebene dient dazu, die Anzahl der Speicherzugriffe auf bestimmter Hardware zu optimieren, den Grad der Algorithmusparallelität zu erhöhen usw., um die LLM-Inferenz zu beschleunigen. 5. Effizientes Modellarchitekturdesign Wir unterteilen den Entwurf effizienter Modellarchitekturen je nach Modelltyp in vier Hauptkategorien: effiziente Aufmerksamkeitsmodule, hybride Expertenmodelle, große Langtextmodelle und Architekturen, die Transformatoren ersetzen können.
Das effiziente Aufmerksamkeitsmodul zielt darauf ab, die komplexen Berechnungen und die Speichernutzung im Aufmerksamkeitsmodul zu optimieren. Das Hybrid-Expertenmodell (MoE) ersetzt die Argumentationsentscheidungen einiger Module von LLMs durch mehrere kleine Expertenmodelle, um eine allgemeine Sparsamkeit zu erreichen Textgroße Modelle sind LLMs, die speziell für die effiziente Verarbeitung extrem langer Texte entwickelt wurden. Die Architektur, die den Transformator ersetzen kann, besteht darin, die Komplexität des Modells zu reduzieren und durch Neugestaltung der Modellarchitektur vergleichbare Argumentationsfunktionen zu erreichen.
Datenzentriert
Der datenzentrierte Ansatz konzentriert sich auf die Rolle der Datenqualität und -struktur bei der Verbesserung der Effizienz von LLMs. In diesem Artikel diskutieren Forscher zwei Arten datenzentrierter Methoden im Detail, darunter Datenauswahl und Stichwort-Engineering
.
1. Datenauswahl 
Die Datenauswahl von LLM zielt darauf ab, Daten vor dem Training zu bereinigen und zu optimieren, z. B. indem redundante und ungültige Daten entfernt werden, um den Trainingsprozess zu beschleunigen.
2. Prompt Word Engineering
Prompt Word Engineering leitet LLMs an, durch die Gestaltung effektiver Eingaben (Prompt Words) eine beträchtliche Modellleistung zu erzielen . Forscher unterteilen gängige Prompt-Word-Engineering-Technologien in drei Hauptkategorien: Prompt-Word-Engineering mit wenigen Stichproben, Prompt-Word-Komprimierung und Prompt-Word-Generierung.
Das Prompt-Word-Engineering mit wenigen Beispielen bietet LLM eine begrenzte Anzahl von Beispielen, die ihm beim Verständnis der auszuführenden Aufgaben helfen. Die Komprimierung von Prompt-Worten beschleunigt die Verarbeitung von Eingaben durch LLMs, indem lange Prompt-Eingaben oder das Lernen komprimiert und Prompt-Darstellungen verwendet werden. Die Generierung von Eingabeaufforderungswörtern zielt darauf ab, automatisch wirksame Eingabeaufforderungen zu erstellen, die das Modell anleiten, spezifische und relevante Antworten zu generieren, anstatt manuell annotierte Daten zu verwenden.
Die Forscher untersuchten die kürzlich beliebten effizienten LLMs-Frameworks und listeten die effizienten Aufgaben auf, die sie optimieren können, einschließlich Vortraining, Feinabstimmung und Inferenz (wie folgt). in der Abbildung dargestellt).
In dieser Umfrage bieten Ihnen die Forscher einen systematischen Überblick über effiziente LLMs, einen wichtigen Forschungsbereich, der sich der Demokratisierung von LLMs widmet. Sie erklären zunächst, warum effiziente LLMs erforderlich sind. In einem geordneten Rahmen untersucht dieser Artikel effiziente Technologien auf der algorithmischen Ebene und der Systemebene von LLMs aus modellzentrierter, datenzentrierter bzw. rahmenzentrierter Perspektive.
Forscher gehen davon aus, dass Effizienz in LLMs und LLM-orientierten Systemen eine immer wichtigere Rolle spielen wird. Sie hoffen, dass diese Umfrage Forschern und Praktikern einen schnellen Einstieg in dieses Gebiet ermöglicht und als Katalysator für die Anregung neuer Forschung zu effizienten LLMs dient.
Das obige ist der detaillierte Inhalt vonEin tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
![[Web-Frontend] Node.js-Schnellstart](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
