Inhaltsverzeichnis
Framework-zentriert
Zusammenfassung
Heim Technologie-Peripheriegeräte KI Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle

Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle

Jan 14, 2024 pm 07:48 PM
ai 研究 调查

Groß angelegte Sprachmodelle (LLMs) haben überzeugende Fähigkeiten bei vielen wichtigen Aufgaben gezeigt, darunter das Verständnis natürlicher Sprache, die Sprachgenerierung und komplexes Denken, und hatten tiefgreifende Auswirkungen auf die Gesellschaft. Diese herausragenden Fähigkeiten erfordern jedoch erhebliche Schulungsressourcen (im linken Bild dargestellt) und lange Inferenzzeiten (im rechten Bild dargestellt). Daher müssen Forscher wirksame technische Mittel entwickeln, um ihre Effizienzprobleme zu lösen.

Darüber hinaus wurden, wie auf der rechten Seite der Abbildung zu sehen ist, einige effiziente LLMs (Sprachmodelle) wie Mistral-7B erfolgreich beim Entwurf und Einsatz von LLMs eingesetzt. Diese effizienten LLMs können die Nutzung des Inferenzspeichers erheblich reduzieren und die Inferenzlatenz reduzieren, während sie gleichzeitig eine ähnliche Genauigkeit wie LLaMA1-33B beibehalten. Dies zeigt, dass es bereits einige praktikable und effiziente Methoden gibt, die bei der Gestaltung und Nutzung von LLMs erfolgreich angewendet werden.

Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle

In diesem Bericht geben Forscher der Ohio State University, des Imperial College, der Michigan State University, der University of Michigan, Amazon, Google, Boson AI und Microsoft Asia Research umfassende Einblicke in die Forschung zu effizienten LLMs Überblick über das System. Sie teilten bestehende Technologien zur Optimierung der Effizienz von LLMs in drei Kategorien ein, darunter modellzentriert, datenzentriert und Framework-zentriert, und fassten die modernsten verwandten Technologien zusammen und diskutierten sie.

... LLM s -Umfrage Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle


    Um die an der Überprüfung beteiligten Papiere bequem zu organisieren und auf dem neuesten Stand zu halten, hat der Forscher ein GitHub-Repository erstellt und pflegt es aktiv. Sie hoffen, dass dieses Repositorium Forschern und Praktikern hilft, die Forschung und Entwicklung effizienter LLMs systematisch zu verstehen und sie dazu inspiriert, zu diesem wichtigen und spannenden Gebiet beizutragen.
  • Die URL des Lagers lautet https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey. In diesem Repository finden Sie Inhalte zu einer Umfrage zu effizienten und stromsparenden maschinellen Lernsystemen. Dieses Repository stellt Forschungsarbeiten, Code und Dokumentation bereit, um Menschen dabei zu helfen, effiziente und energieeffiziente maschinelle Lernsysteme besser zu verstehen und zu erkunden. Wenn Sie sich für diesen Bereich interessieren, können Sie weitere Informationen erhalten, indem Sie dieses Repository besuchen.
  • Modellzentriert
  • Ein modellzentrierter Ansatz konzentriert sich auf effiziente Techniken auf Algorithmusebene und Systemebene, wobei das Modell selbst im Mittelpunkt steht. Da LLMs über Milliarden oder sogar Billionen von Parametern verfügen und im Vergleich zu kleineren Modellen einzigartige Eigenschaften wie Emergenz aufweisen, müssen neue Techniken entwickelt werden, um die Effizienz von LLMs zu optimieren. In diesem Artikel werden fünf Kategorien modellzentrierter Methoden im Detail erläutert, darunter „Modellkomprimierung“, „effizientes Vortraining“, „effiziente Feinabstimmung“, „effiziente Inferenz“ und „effizientes Modellarchitekturdesign“.

1. Kompressionsmodell Im Bereich des maschinellen Lernens ist die Modellgröße oft ein wichtiger Gesichtspunkt. Größere Modelle benötigen oft mehr Speicherplatz und Rechenressourcen und können bei der Ausführung auf mobilen Geräten auf Einschränkungen stoßen. Daher ist die Komprimierung des Modells eine häufig verwendete Technik zur Reduzierung der Modellgröße. Modellkomprimierungstechniken werden hauptsächlich in vier Kategorien unterteilt: Quantisierung, Parameterbereinigung, Low-Rank-Schätzung und Wissensdestillation (siehe Abbildung unten), darunter Quantisierung Komprimiert die Gewichte oder Aktivierungswerte des Modells von hoher Präzision auf niedrige Präzision. Durch die Parameterbereinigung werden die redundanteren Teile der Modellgewichte gesucht und gelöscht. Durch die Schätzung mit niedrigem Rang wird die Gewichtsmatrix des Modells in mehrere Niedrigpräzisionen umgewandelt. Bei der Destillation von Produktwissen wird ein großes Modell direkt zum Trainieren eines kleinen Modells verwendet, sodass das kleine Modell bei der Ausführung bestimmter Aufgaben das große Modell ersetzen kann.

2. Effizientes Vortraining

Die Kosten für das Vortraining von LLMs sind sehr hoch. Eine effiziente Vorschulung zielt darauf ab, die Effizienz zu verbessern und die Kosten des Vorschulungsprozesses für LLMs zu senken. Effizientes Vortraining kann in gemischte Präzisionsbeschleunigung, Modellskalierung, Initialisierungstechnologie, Optimierungsstrategien und Beschleunigung auf Systemebene unterteilt werden.

Die gemischte Präzisionsbeschleunigung verbessert die Effizienz des Vortrainings, indem Steigungen, Gewichte und Aktivierungen mithilfe von Gewichten mit geringer Präzision berechnet, diese dann wieder in hochpräzise umgewandelt und zur Aktualisierung der ursprünglichen Gewichte angewendet werden. Die Modellskalierung beschleunigt die Konvergenz vor dem Training und reduziert die Trainingskosten, indem die Parameter kleiner Modelle für die Skalierung auf große Modelle verwendet werden. Die Initialisierungstechnologie beschleunigt die Konvergenz des Modells, indem sie den Initialisierungswert des Modells gestaltet. Die Optimierungsstrategie konzentriert sich auf die Entwicklung leichter Optimierer, um den Speicherverbrauch während des Modelltrainings zu reduzieren. Die Beschleunigung auf Systemebene nutzt verteilte und andere Technologien, um das Modell-Vortraining auf Systemebene zu beschleunigen.

Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle

3. Effiziente Feinabstimmung

Effiziente Feinabstimmung soll die Effizienz des LLM-Feinabstimmungsprozesses verbessern. Gängige effiziente Feinabstimmungstechnologien werden in zwei Kategorien unterteilt: Die eine ist die Parameter-basierte effiziente Feinabstimmung und die andere die speichereffiziente Feinabstimmung.

Parameter Efficient Fine-Tuning (PEFT) zielt darauf ab, LLM an nachgelagerte Aufgaben anzupassen, indem das gesamte LLM-Backbone eingefroren und nur ein kleiner Satz zusätzlicher Parameter aktualisiert wird. In dem Artikel haben wir PEFT weiter in eine Adapter-basierte Feinabstimmung, eine Low-Rank-Anpassung, eine Präfix-Feinabstimmung und eine Prompt-Word-Feinabstimmung unterteilt.

Effiziente speicherbasierte Feinabstimmung konzentriert sich auf die Reduzierung des Speicherverbrauchs während des gesamten LLM-Feinabstimmungsprozesses, z. B. auf die Reduzierung des durch Optimiererstatus und Aktivierungswerte verbrauchten Speichers.

Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle

4. Effizientes Denken

Effizientes Denken zielt darauf ab, die Effizienz des Inferenzprozesses von LLMs zu verbessern. Forscher unterteilen gängige hocheffiziente Argumentationstechnologien in zwei Hauptkategorien: die eine ist die Beschleunigung des Denkens auf Algorithmusebene und die andere die Beschleunigung des Denkens auf Systemebene.

Die Inferenzbeschleunigung auf Algorithmusebene kann in zwei Kategorien unterteilt werden: spekulative Dekodierung und KV-Cache-Optimierung. Die spekulative Dekodierung beschleunigt den Sampling-Prozess, indem Token parallel mithilfe eines kleineren Entwurfsmodells berechnet werden, um spekulative Präfixe für das größere Zielmodell zu erstellen. KV – Cache-Optimierung bezieht sich auf die Optimierung der wiederholten Berechnung von Schlüssel-Wert-Paaren (KV) während des Inferenzprozesses von LLMs.

Inferenzbeschleunigung auf Systemebene dient dazu, die Anzahl der Speicherzugriffe auf bestimmter Hardware zu optimieren, den Grad der Algorithmusparallelität zu erhöhen usw., um die LLM-Inferenz zu beschleunigen. 5. Effizientes Modellarchitekturdesign Wir unterteilen den Entwurf effizienter Modellarchitekturen je nach Modelltyp in vier Hauptkategorien: effiziente Aufmerksamkeitsmodule, hybride Expertenmodelle, große Langtextmodelle und Architekturen, die Transformatoren ersetzen können.

Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große SprachmodelleDas effiziente Aufmerksamkeitsmodul zielt darauf ab, die komplexen Berechnungen und die Speichernutzung im Aufmerksamkeitsmodul zu optimieren. Das Hybrid-Expertenmodell (MoE) ersetzt die Argumentationsentscheidungen einiger Module von LLMs durch mehrere kleine Expertenmodelle, um eine allgemeine Sparsamkeit zu erreichen Textgroße Modelle sind LLMs, die speziell für die effiziente Verarbeitung extrem langer Texte entwickelt wurden. Die Architektur, die den Transformator ersetzen kann, besteht darin, die Komplexität des Modells zu reduzieren und durch Neugestaltung der Modellarchitektur vergleichbare Argumentationsfunktionen zu erreichen.

Datenzentriert

Der datenzentrierte Ansatz konzentriert sich auf die Rolle der Datenqualität und -struktur bei der Verbesserung der Effizienz von LLMs. In diesem Artikel diskutieren Forscher zwei Arten datenzentrierter Methoden im Detail, darunter Datenauswahl und Stichwort-Engineering

.

1. Datenauswahl Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle

Die Datenauswahl von LLM zielt darauf ab, Daten vor dem Training zu bereinigen und zu optimieren, z. B. indem redundante und ungültige Daten entfernt werden, um den Trainingsprozess zu beschleunigen.

2. Prompt Word Engineering

Prompt Word Engineering leitet LLMs an, durch die Gestaltung effektiver Eingaben (Prompt Words) eine beträchtliche Modellleistung zu erzielen . Forscher unterteilen gängige Prompt-Word-Engineering-Technologien in drei Hauptkategorien: Prompt-Word-Engineering mit wenigen Stichproben, Prompt-Word-Komprimierung und Prompt-Word-Generierung.

Das Prompt-Word-Engineering mit wenigen Beispielen bietet LLM eine begrenzte Anzahl von Beispielen, die ihm beim Verständnis der auszuführenden Aufgaben helfen. Die Komprimierung von Prompt-Worten beschleunigt die Verarbeitung von Eingaben durch LLMs, indem lange Prompt-Eingaben oder das Lernen komprimiert und Prompt-Darstellungen verwendet werden. Die Generierung von Eingabeaufforderungswörtern zielt darauf ab, automatisch wirksame Eingabeaufforderungen zu erstellen, die das Modell anleiten, spezifische und relevante Antworten zu generieren, anstatt manuell annotierte Daten zu verwenden.

Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle

Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle

Framework-zentriert

Die Forscher untersuchten die kürzlich beliebten effizienten LLMs-Frameworks und listeten die effizienten Aufgaben auf, die sie optimieren können, einschließlich Vortraining, Feinabstimmung und Inferenz (wie folgt). in der Abbildung dargestellt).

Ein tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle

Zusammenfassung

In dieser Umfrage bieten Ihnen die Forscher einen systematischen Überblick über effiziente LLMs, einen wichtigen Forschungsbereich, der sich der Demokratisierung von LLMs widmet. Sie erklären zunächst, warum effiziente LLMs erforderlich sind. In einem geordneten Rahmen untersucht dieser Artikel effiziente Technologien auf der algorithmischen Ebene und der Systemebene von LLMs aus modellzentrierter, datenzentrierter bzw. rahmenzentrierter Perspektive.

Forscher gehen davon aus, dass Effizienz in LLMs und LLM-orientierten Systemen eine immer wichtigere Rolle spielen wird. Sie hoffen, dass diese Umfrage Forschern und Praktikern einen schnellen Einstieg in dieses Gebiet ermöglicht und als Katalysator für die Anregung neuer Forschung zu effizienten LLMs dient.

Das obige ist der detaillierte Inhalt vonEin tiefer Einblick in Modelle, Daten und Frameworks: eine ausführliche 54-seitige Übersicht über effiziente große Sprachmodelle. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Wie zeige ich die lokal installierte 'Jingnan Mai Round Body' auf der Webseite richtig? Wie zeige ich die lokal installierte 'Jingnan Mai Round Body' auf der Webseite richtig? Apr 05, 2025 pm 10:33 PM

Mit lokal installierten Schriftdateien auf Webseiten kürzlich habe ich eine kostenlose Schriftart aus dem Internet heruntergeladen und sie erfolgreich in mein System installiert. Jetzt...

Bedarf die Produktion von H5 -Seiten eine kontinuierliche Wartung? Bedarf die Produktion von H5 -Seiten eine kontinuierliche Wartung? Apr 05, 2025 pm 11:27 PM

Die H5 -Seite muss aufgrund von Faktoren wie Code -Schwachstellen, Browserkompatibilität, Leistungsoptimierung, Sicherheitsaktualisierungen und Verbesserungen der Benutzererfahrung kontinuierlich aufrechterhalten werden. Zu den effektiven Wartungsmethoden gehören das Erstellen eines vollständigen Testsystems, die Verwendung von Versionstools für Versionskontrolle, die regelmäßige Überwachung der Seitenleistung, das Sammeln von Benutzern und die Formulierung von Wartungsplänen.

Wo kann man das Material für die H5 -Seitenproduktion erhalten Wo kann man das Material für die H5 -Seitenproduktion erhalten Apr 05, 2025 pm 11:33 PM

Die Hauptquellen von H5 -Seitenmaterialien sind: 1. professionelle Material -Website (bezahlt, hoher Qualität, klares Urheberrecht); 2. hausgemachtes Material (hohe Einzigartigkeit, aber zeitaufwändig); 3. Open Source Material Library (kostenlos, muss sorgfältig abgeschrieben werden); 4. Bild-/Video -Website (Urheberrecht verifiziert ist erforderlich). Darüber hinaus sind ein einheitlicher Materialstil, Größenanpassung, Kompressionsverarbeitung und Urheberrechtsschutz wichtige Punkte, die beachtet werden müssen.

Wie wähle ich ein untergeordnetes Element mit dem erstklassigen Namen über CSS aus? Wie wähle ich ein untergeordnetes Element mit dem erstklassigen Namen über CSS aus? Apr 05, 2025 pm 11:24 PM

Wenn die Anzahl der Elemente nicht festgelegt ist, wählen Sie das erste untergeordnete Element des angegebenen Klassennamens über CSS aus. Bei der Verarbeitung der HTML -Struktur begegnen Sie häufig auf verschiedene Elemente ...

Warum wirkt sich negative Margen in einigen Fällen nicht wirksam? Wie löst ich dieses Problem? Warum wirkt sich negative Margen in einigen Fällen nicht wirksam? Wie löst ich dieses Problem? Apr 05, 2025 pm 10:18 PM

Warum werden negative Margen in einigen Fällen nicht wirksam? Während der Programmierung negative Margen in CSS (negativ ...

Wie verwendet ich das Formattribut von CSS, um den Anzeigeeffekt von schrittweisen Verkürzung von Text zu erzielen? Wie verwendet ich das Formattribut von CSS, um den Anzeigeeffekt von schrittweisen Verkürzung von Text zu erzielen? Apr 05, 2025 pm 10:54 PM

Implementieren Sie den Anzeigeeffekt von schrittweisen Verkürzungen von Text im Webdesign, wie Sie einen speziellen Text -Display -Effekt erzielen, um die Textlänge allmählich zu verkürzen? Dieser Effekt ...

Welche Anwendungsszenarien eignen sich für die H5 -Seitenproduktion Welche Anwendungsszenarien eignen sich für die H5 -Seitenproduktion Apr 05, 2025 pm 11:36 PM

H5 (HTML5) eignet sich für leichte Anwendungen wie Marketingkampagnen, Produktdisplayseiten und Micro-Websites für Unternehmenswerbung. Seine Vorteile liegen in plattformartigen und reichhaltigen Interaktivität, aber seine Einschränkungen liegen in komplexen Interaktionen und Animationen, lokalen Ressourcenzugriff und Offline-Funktionen.

Wie löst ich das Problem des Ladens beim Starten von PS? Wie löst ich das Problem des Ladens beim Starten von PS? Apr 06, 2025 pm 06:36 PM

Ein PS, der beim Booten auf "Laden" steckt, kann durch verschiedene Gründe verursacht werden: Deaktivieren Sie korrupte oder widersprüchliche Plugins. Eine beschädigte Konfigurationsdatei löschen oder umbenennen. Schließen Sie unnötige Programme oder aktualisieren Sie den Speicher, um einen unzureichenden Speicher zu vermeiden. Upgrade auf ein Solid-State-Laufwerk, um die Festplatte zu beschleunigen. PS neu installieren, um beschädigte Systemdateien oder ein Installationspaketprobleme zu reparieren. Fehlerinformationen während des Startprozesses der Fehlerprotokollanalyse anzeigen.

See all articles