Diese spärliche Trainingsmethode für große Modelle mit hoher Genauigkeit und geringem Ressourcenverbrauch wurde gefunden.

Kürzlich wurde der Artikel „Parameter-Efficient Sparsity for Large Language Models Fine-Tuning“ von Alibaba Cloud Machine Learning PAI zum Sparse-Training großer Modelle von der IJCAI 2022, der führenden Konferenz für künstliche Intelligenz, angenommen.
Das Papier schlägt einen Parameter-effizienten Sparse-Trainingsalgorithmus PST vor. Durch die Analyse des Wichtigkeitsindex der Gewichte wird der Schluss gezogen, dass er zwei Merkmale aufweist: niedrigen Rang und Struktur. Basierend auf dieser Schlussfolgerung führt der PST-Algorithmus zwei Sätze kleiner Matrizen ein, um die Wichtigkeit von Gewichten zu berechnen. Im Vergleich dazu ist eine Matrix erforderlich, die so groß ist wie das Gewicht, um den Wichtigkeitsindex zu speichern und die Menge an Parametern zu aktualisieren Aktualisierung für spärliches Training ist stark reduziert. Im Vergleich zu häufig verwendeten Sparse-Trainingsalgorithmen kann der PST-Algorithmus eine ähnliche Genauigkeit des Sparse-Modells erreichen und dabei nur 1,5 % der Parameter aktualisieren.

Hintergrund

In den letzten Jahren haben große Unternehmen und Forschungseinrichtungen eine Vielzahl großer Modelle vorgeschlagen. Die Parameter dieser großen Modelle reichen von mehreren zehn Milliarden bis hin zu Billionen, und es sind bereits mehrere zehn Billionen erschienen Modell. Für das Training und die Bereitstellung dieser Modelle sind große Mengen an Hardware-Ressourcen erforderlich, was ihre Implementierung erschwert. Daher ist es zu einem dringenden Problem geworden, die für die Schulung und Bereitstellung großer Modelle erforderlichen Ressourcen zu reduzieren.
Die Modellkomprimierungstechnologie kann die für die Modellbereitstellung erforderlichen Ressourcen effektiv reduzieren. Durch Entfernen einiger Gewichte können die Berechnungen im Modell von dichten Berechnungen in spärliche Berechnungen umgewandelt werden, wodurch der Speicherverbrauch reduziert und die Berechnungen beschleunigt werden. Gleichzeitig kann Sparseness im Vergleich zu anderen Modellkomprimierungsmethoden (strukturiertes Bereinigen / Quantisieren) eine höhere Komprimierungsrate bei gleichzeitiger Gewährleistung der Modellgenauigkeit erzielen und eignet sich besser für große Modelle mit einer großen Anzahl von Parametern.

Herausforderung

Bestehende Sparse-Trainingsmethoden können in zwei Kategorien unterteilt werden: Die eine ist der gewichtsbasierte, datenfreie Sparse-Algorithmus und die andere der datenbasierte, datengesteuerte Sparse-Algorithmus. Der gewichtsbasierte Sparse-Algorithmus ist in der folgenden Abbildung dargestellt, z. B. Magnitude Pruning [1], der die Wichtigkeit des Gewichts durch Berechnung der L1-Norm des Gewichts bewertet und darauf basierend das entsprechende Sparse-Ergebnis generiert. Der gewichtsbasierte Sparse-Algorithmus ist effizient in der Berechnung und erfordert keine Beteiligung von Trainingsdaten. Der berechnete Wichtigkeitsindex ist jedoch nicht genau genug, was sich auf die Genauigkeit des endgültigen Sparse-Modells auswirkt.

Der datenbasierte Sparse-Algorithmus ist in der folgenden Abbildung dargestellt, z. B. Bewegungsbereinigung [2], der das Produkt aus Gewicht und entsprechendem Gradienten als Indikator zur Messung der Wichtigkeit des Gewichts berechnet. Diese Art von Methode berücksichtigt die Rolle von Gewichten in bestimmten Datensätzen und kann daher die Bedeutung von Gewichten genauer beurteilen. Aufgrund der Notwendigkeit, die Wichtigkeit jedes Gewichts zu berechnen und zu speichern, erfordert diese Art von Methode jedoch häufig zusätzlichen Speicherplatz zum Speichern des Wichtigkeitsindex (S in der Abbildung). Gleichzeitig ist der Berechnungsprozess im Vergleich zu gewichtsbasierten Sparse-Methoden oft komplexer. Diese Mängel werden mit zunehmender Größe des Modells deutlicher.

Zusammenfassend lässt sich sagen, dass die vorherigen Sparse-Algorithmen entweder effizient, aber nicht genau genug (gewichtsbasierter Algorithmus) oder genau, aber nicht effizient genug (datenbasierter Algorithmus) sind. Daher hoffen wir, einen effizienten Sparse-Algorithmus vorschlagen zu können, der das Sparse-Training an großen Modellen genau und effizient durchführen kann.

Break

Das Problem bei datenbasierten Sparse-Algorithmen besteht darin, dass sie im Allgemeinen zusätzliche Parameter derselben Größe wie die Gewichte einführen, um die Bedeutung der Gewichte zu erfahren, was uns dazu bringt, darüber nachzudenken, wie wir die zusätzlich eingeführten Parameter reduzieren können um die Bedeutung des Gewichtungsgeschlechts zu berechnen. Um die Nutzung vorhandener Informationen zur Berechnung der Wichtigkeit von Gewichten zu maximieren, entwerfen wir zunächst den Wichtigkeitsindex von Gewichten wie folgt:

Das heißt, wir kombinieren datenfrei und daten- gesteuerte Indikatoren, um gemeinsam die Bedeutung der endgültigen Modellgewichte zu bestimmen. Es ist bekannt, dass der vorherige datenfreie Wichtigkeitsindex keine zusätzlichen Parameter zum Speichern erfordert und effizient berechnet wird. Wir müssen also lösen, wie die zusätzlichen Trainingsparameter komprimiert werden können, die durch den nachfolgenden datengesteuerten Wichtigkeitsindex eingeführt werden.

Basierend auf dem vorherigen Sparse-Algorithmus kann der datengesteuerte Wichtigkeitsindex als

gestaltet werden

, also beginnen wir mit der Analyse der Redundanz des durch diese Formel berechneten Wichtigkeitsindikators. Basierend auf früheren Arbeiten ist zunächst bekannt, dass sowohl Gewichte als auch entsprechende Gradienten offensichtlich Eigenschaften mit niedrigem Rang haben [3, 4], sodass wir ableiten können, dass der Wichtigkeitsindex auch Eigenschaften mit niedrigem Rang aufweist, sodass wir zwei einführen können Eigenschaften mit niedrigem Rang Eine kleine Matrix zur Darstellung der ursprünglichen Wichtigkeitsindikatormatrix, die so groß ist wie die Gewichtungen.

Zweitens haben wir die Ergebnisse nach der Modellsparseness analysiert und festgestellt, dass sie offensichtliche strukturelle Merkmale aufweisen. Wie in der Abbildung oben gezeigt, ist die rechte Seite jedes Bildes das Visualisierungsergebnis des endgültigen Sparse-Gewichts und die linke Seite ist ein Histogramm, das die entsprechende Sparsity-Rate jeder Zeile/Spalte zählt. Es ist ersichtlich, dass die meisten Gewichte in 30 % der Zeilen im linken Bild entfernt wurden, und umgekehrt wurden die meisten Gewichte in 30 % der Spalten im rechten Bild entfernt. Basierend auf diesem Phänomen führen wir zwei kleine strukturierte Matrizen ein, um die Bedeutung jeder Zeile/Spalte von Gewichtungen zu bewerten.

Basierend auf der obigen Analyse haben wir festgestellt, dass der datengesteuerte Wichtigkeitsindex einen niedrigen Rang und eine niedrige Struktur aufweist, sodass wir ihn in die folgende Darstellung umwandeln können:

wobei A und B einen niedrigen Rang darstellen, R und C repräsentieren Struktureigenschaften. Durch eine solche Analyse wurde die Wichtigkeitsindexmatrix, die ursprünglich so groß wie das Gewicht war, in vier kleine Matrizen zerlegt, wodurch die Trainingsparameter beim spärlichen Training erheblich reduziert wurden. Um die Trainingsparameter weiter zu reduzieren, haben wir gleichzeitig die Gewichtsaktualisierung basierend auf der vorherigen Methode in zwei kleine Matrizen U und V zerlegt, sodass die endgültige Wichtigkeitsindexformel die folgende Form hat:

Entsprechend Algorithmus Das Rahmendiagramm sieht wie folgt aus:

Die endgültigen experimentellen Ergebnisse des PST-Algorithmus sind wie folgt. Wir vergleichen es mit der Größenbereinigung und der Bewegungsbereinigung bei NLU- (BERT, RoBERTa) und NLG-Aufgaben (GPT-2). Bei 90 % der Sparse-Rate kann PST bei den meisten Datensätzen eine Modellgenauigkeit erreichen, die mit dem vorherigen Algorithmus vergleichbar ist, erfordert jedoch nur 1,5 % der Trainingsparameter.

PST-Technologie wurde in die Modellkomprimierungsbibliothek von Alibaba Cloud Machine Learning PAI und die große Modellsparse-Trainingsfunktion der Alicemind-Plattform integriert. Es hat zu einer Leistungsbeschleunigung bei der Verwendung großer Modelle innerhalb der Alibaba Group geführt. Bei den zig Milliarden großen Modell-PLUGs kann PST im Vergleich zum ursprünglichen Sparse-Training um das 2,5-fache beschleunigt werden, ohne die Modellgenauigkeit zu beeinträchtigen. Derzeit ist Alibaba Cloud Machine Learning PAI in verschiedenen Branchen weit verbreitet. Es bietet Full-Link-KI-Entwicklungsdienste, realisiert unabhängige und kontrollierbare KI-Lösungen für Unternehmen und verbessert umfassend die Effizienz der maschinellen Lerntechnik.

Papiername: Parameter-Efficient Sparsity for Large Language Models Fine-Tuning

Papierautoren: Yuchao Li, Fuli Luo, Chuanqi Tan, Mengdi Wang, Songfang Huang, Shen Li, Junjie Bai

Papier PDF-Link:​https://arxiv.org/pdf/2205.11005.pdf​

Das obige ist der detaillierte Inhalt vonDiese spärliche Trainingsmethode für große Modelle mit hoher Genauigkeit und geringem Ressourcenverbrauch wurde gefunden.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!