Wie kann man LLMs auf 1,58 Bit feinstimmen? - Analytics Vidhya

Untersuchung der Effizienz von 1,58-Bit-quantisierten LLMs

Große Sprachmodelle (LLMs) nehmen an Größe und Komplexität rasch zu, was zu eskalierenden Rechenkosten und Energieverbrauch führt. Quantisierung, eine Technik zur Verringerung der Präzision von Modellparametern, bietet eine vielversprechende Lösung. Dieser Artikel befasst sich mit Bitnet, einem neuartigen Ansatz, der sich mit beispiellosen 1,58 Bits mit bemerkenswerten Effizienzgewinnen befasst.

Die Herausforderung der Quantisierung

Herkömmliche LLMs verwenden 16-Bit (FP16) oder 32-Bit (FP32) -Floating-Punkt-Präzision. Die Quantisierung reduziert diese Genauigkeit auf niedrigere Bit-Formate (z. B. 8-Bit, 4-Bit), was zu Speichereinsparungen und einer schnelleren Berechnung führt. Dies geht jedoch häufig zu Lasten der Genauigkeit. Die wichtigste Herausforderung besteht darin, den Leistungskompromiss zu minimieren, der der extremen Präzisionsreduzierung inhärent ist.

Bitnet: Ein neuer Ansatz

Bitnet führt eine 1,58-Bit-LLM-Architektur ein, bei der jeder Parameter unter Verwendung der ternären Werte {-1, 0, 1} dargestellt wird. Dieser innovative Ansatz nutzt die Bitlineare-Schicht und ersetzt herkömmliche lineare Schichten in den mehrköpfigen Aufmerksamkeit des Modells und der Feed-Forward-Netzwerke. Um die Nichtunterscheidbarkeit von ternären Gewichten zu überwinden, verwendet BitNet den Straight-Through-Schätzer (STE).

Gerade Schätzer (STE)

STE ist eine entscheidende Komponente von BitNet. Es ermöglicht Gradienten, sich während des Backpropagation durch den nicht differenzierbaren Quantisierungsprozess zu verbreiten und trotz der Verwendung diskreter Gewichte ein effektives Modelltraining zu ermöglichen.

Feinabstimmung aus vorgebliebenen Modellen

Während BitNet beim Training von Grund auf beeindruckende Ergebnisse zeigt, sind die Ressourcenanforderungen für die Vorausbildung erheblich. In diesem Artikel wird die Machbarkeit der Feinabstimmung vorhandene vorgebrachte Modelle (z. B. Lama3 8b) auf 1,58 Bit untersucht. Dieser Ansatz steht vor Herausforderungen, da die Quantisierung zu einem Informationsverlust führen kann. Die Autoren sprechen dies an, indem sie dynamische Lambda-Planung und Erforschung alternativer Quantisierungsmethoden (pro Reihenfolge, pro Spalt, pro Gruppe) verwenden.

Optimierungsstrategien

Die Forschung beleuchtet die Bedeutung einer sorgfältigen Optimierung während der Feinabstimmung. Die dynamische Lambda -Planung, die allmählich die Quantisierung während des Trainings einführt, erweist sich als entscheidend für die Minderung des Informationsverlusts und die Verbesserung der Konvergenz. Experimente mit unterschiedlichen Lambda -Planungsfunktionen (linear, exponentiell, Sigmoid) werden durchgeführt, um den optimalen Ansatz zu finden.

Experimentelle Ergebnisse und Analyse

In der Studie werden umfassende experimentelle Ergebnisse vorgestellt und die Leistung von fein abgestimmten 1,58-Bit-Modellen mit verschiedenen Basislinien verglichen. Die Ergebnisse zeigen, dass zwar einige Leistungslücken im Vergleich zu Modellen mit voller Präzision bleiben, die Effizienzgewinne jedoch erheblich sind. Der Einfluss der Modellgröße und die Auswahl der Datensätze werden ebenfalls analysiert.

Umarmung der Gesichtsintegration

Die fein abgestimmten Modelle werden durch das Umarmungsgesicht zugänglich gemacht, um eine einfache Integration in verschiedene Anwendungen zu ermöglichen. Der Artikel enthält Codebeispiele, die zeigen, wie diese Modelle geladen und verwendet werden.

Abschluss

Bitnet stellt einen signifikanten Fortschritt bei der LLM -Effizienz dar. Während die Feinabstimmung auf 1,58 Bit vor Herausforderungen stellt, zeigt die Forschung das Potenzial, eine vergleichbare Leistung für Modelle mit höherer Präzision mit drastisch reduzierten Rechenkosten und Energieverbrauch zu erzielen. Dies eröffnet aufregende Möglichkeiten für die Bereitstellung von LLMs groß angelegten LLMs auf ressourcenbeschränkten Geräten und zur Verringerung der Umweltauswirkungen von KI.

(Hinweis: Die Bilder werden in dieser Ausgabe, die nicht in einem Format bereitgestellt werden, das direkt eingebaut werden könnte, in dieser Ausgabe angegeben, aber nicht enthalten.)

Das obige ist der detaillierte Inhalt vonWie kann man LLMs auf 1,58 Bit feinstimmen? - Analytics Vidhya. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!