HuggingFace: Zwei Alpakas werden zusammengefügt, nachdem Kopf und Schwanz entfernt wurden

Die Open-Source-Rangliste für große Models von HuggingFace wurde erneut gestrichen.

Die erste Reihe ist ausschließlich mit der Feinabstimmungsversion SOLAR 10.7B besetzt und verdrängt damit die verschiedenen Feinabstimmungsversionen des Mixtral 8x7B von vor ein paar Wochen.

Was ist der Ursprung des großen SOLAR-Modells?

Verwandtes Papier wurde gerade auf ArXiv hochgeladen, vom koreanischen Unternehmen Upstage AI, das eine neue Methode zur Erweiterung großer Modelle Tiefen-Upscaling (DUS) verwendet.

Um es einfach auszudrücken: werden zwei 7B-Alpakas und ihre Schwänze abgetrennt, einem werden die ersten 8 Schichten abgeschnitten, und dem anderen werden die letzten 8 Schichten abgeschnitten.

Die verbleibenden zwei 24 Schichten werden zusammengenäht Die 24. Schicht des ersten Modells wird mit der 9. Schicht des zweiten Modells gespleißt und wird schließlich zu einem neuen 48-schichtigen 10,7B großen Modell.

Das Papier behauptet, dass die neue Methode traditionelle Erweiterungsmethoden wie MoE übertrifft und genau dieselbe Infrastruktur wie das grundlegende große Modell nutzen kann.

Es sind keine zusätzlichen Module wie Gated Networks erforderlich, das Trainingsframework ist für MoE optimiert und es besteht keine Notwendigkeit, CUDA-Kernel für eine schnelle Inferenz anzupassen. Es kann nahtlos in bestehende Methoden integriert werden und gleichzeitig die Effizienz beibehalten.

Das Team wählte Mistral 7B, das stärkste einzelne große Modell von 7B, als Basismaterial und verwendete neue Methoden, um es zusammenzufügen, um die Originalversion und die MoE-Version zu übertreffen.

Gleichzeitig übertrifft die abgestimmte Instruct-Version auch die entsprechende MoE-Instruct-Version.

Führen Sie die Nähte bis zum Ende durch

Warum ist diese Spleißmethode eine Intuition?

Beginnen Sie mit der einfachsten Erweiterungsmethode, bei der das 32-lagige Grundmodell zweimal wiederholt wird, um daraus ein 64-lagiges Modell zu machen.

Der Vorteil davon ist, dass es keine Heterogenität gibt, alle Schichten stammen vom großen Basismodell, aber die Schichten 32 und 33 (wie Schicht 1) haben größere „Schichten an den Nähten Abstand“ (Schichtenabstand). ).

Frühere Untersuchungen haben gezeigt, dass verschiedene Schichten von Transformer unterschiedliche Dinge tun. Beispielsweise sind tiefere Schichten besser in der Lage, abstraktere Konzepte zu verarbeiten.

Das Team geht davon aus, dass ein übermäßiger Schichtabstand die Fähigkeit des Modells beeinträchtigen kann, vorab trainierte Gewichte effektiv zu nutzen.

Eine mögliche Lösung besteht darin, die Mittelschicht zu opfern und dadurch den Unterschied an den Nähten zu verringern. Hier wurde die DUS-Methode geboren.

Basierend auf dem Kompromiss zwischen Leistung und Modellgröße entschied sich das Team dafür, 8 Schichten aus jedem Modell zu streichen und die Nähte von 32 Schichten auf Schicht 1 auf 24 Schichten auf Schicht 9 zu ändern.

Die Leistung des einfach gespleißten Modells wird zunächst immer noch geringer sein als die des ursprünglichen Basismodells, kann sich jedoch nach fortgesetztem Vortraining schnell erholen.

In der Feinabstimmungsphase der Anweisungen haben wir zusätzlich zur Verwendung von Open-Source-Datensätzen auch mathematisch verbesserte Datensätze erstellt und DPO in der Ausrichtungsphase verwendet.

Der letzte Schritt besteht darin, den Durchschnitt der mit unterschiedlichen Datensätzen trainierten Modellversionen zu gewichten, was auch den Abschluss des Stitchings darstellt.

Einige Internetnutzer stellten die Möglichkeit eines Testdatenlecks in Frage. Auch das

-Team berücksichtigte dies und berichtete im Anhang des Papiers ausdrücklich über die Datenverschmutzungstestergebnisse, die einen niedrigen Wert zeigten.

Schließlich sind sowohl das SOLAR 10.7B-Basismodell als auch das fein abgestimmte Modell Open Source unter der Apache 2.0-Lizenz.

Internetnutzer, die es ausprobiert haben, haben berichtet, dass es beim Extrahieren von Daten aus Daten im JSON-Format gut funktioniert.

Papieradresse: https://arxiv.org/abs/2312.15166

Das obige ist der detaillierte Inhalt vonHuggingFace: Zwei Alpakas werden zusammengefügt, nachdem Kopf und Schwanz entfernt wurden. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!