PRO |. Warum verdienen große Modelle, die auf MoE basieren, mehr Aufmerksamkeit?

Im Jahr 2023 entwickeln sich fast alle Bereiche der KI in beispielloser Geschwindigkeit weiter. Gleichzeitig verschiebt die KI ständig die technologischen Grenzen wichtiger Bereiche wie der verkörperten Intelligenz und des autonomen Fahrens. Wird Transformer angesichts des multimodalen Trends als Mainstream-Architektur für große KI-Modelle ins Wanken geraten? Warum ist die Erforschung großer Modelle auf Basis der MoE-Architektur (Mixture of Experts) zu einem neuen Trend in der Branche geworden? Kann das Large Vision Model (LVM) ein neuer Durchbruch im allgemeinen Sehvermögen werden? ...Aus dem PRO-Mitglieder-Newsletter 2023 dieser Website, der in den letzten sechs Monaten veröffentlicht wurde, haben wir 10 spezielle Interpretationen ausgewählt, die eine detaillierte Analyse der technologischen Trends und industriellen Veränderungen in den oben genannten Bereichen bieten, um Ihnen dabei zu helfen, Ihre Ziele in der Zukunft zu erreichen Jahr vorbereitet sein. Diese Interpretation stammt aus dem Branchennewsletter Week50 2023.

Spezielle Interpretation Warum verdienen große Modelle, die auf MoE basieren, mehr Aufmerksamkeit?

Datum: 12. Dezember

Ereignis: Mistral AI hat das Modell Mixtral 8x7B auf Basis der MoE-Architektur (Mixture-of-Experts, Mix of Experts) als Open Source bereitgestellt und seine Leistung erreichte das Niveau von Llama 2 70B und GPT-3.5" Die Veranstaltung fand statt. Erweiterte Interpretation.

Erklären Sie zunächst, was MoE ist und welche Vor- und Nachteile es hat

1 Konzept:

MoE (Mixture of Experts) ist ein Hybridmodell, das aus mehreren Untermodellen (d. h. Experten) besteht. Jedes Untermodell ist ein lokales Modell, das auf die Verarbeitung einer Teilmenge des Eingaberaums spezialisiert ist. Die Kernidee von MoE besteht darin, mithilfe eines Gating-Netzwerks zu entscheiden, welches Modell anhand der einzelnen Daten trainiert werden soll, wodurch die Interferenz zwischen verschiedenen Modellen verringert wird Arten von Proben.

2. Hauptkomponenten:

Mixed Expert Model Technology (MoE) ist eine Deep-Learning-Technologie, die aus Expertenmodellen und Gated-Modellen besteht und die Verteilung von Aufgaben/Trainingsdaten auf verschiedene Experten realisiert Modelle über das Gated-Netzwerk, sodass sich jedes Modell auf die Aufgaben konzentrieren kann, die es am besten beherrscht, wodurch die Sparsität des Modells erreicht wird.

① Beim Training des Gated-Netzwerks wird jede Stichprobe einem oder mehreren Experten zugewiesen.
② Bei der Schulung des Expertennetzwerks wird jeder Experte geschult, um die Fehler der ihm zugewiesenen Proben zu minimieren.

Der „Vorgänger“ von MoE ist Ensemble Learning. Beim Ensemble-Lernen werden mehrere Modelle (Basislerner) trainiert, um dasselbe Problem zu lösen, und ihre Vorhersagen einfach kombiniert (z. B. durch Abstimmung oder Mittelung). Das Hauptziel des Ensemble-Lernens besteht darin, die Vorhersageleistung durch Reduzierung der Überanpassung und Verbesserung der Generalisierungsfähigkeiten zu verbessern. Zu den gängigen Ensemble-Lernmethoden gehören Bagging, Boosting und Stacking.

4. Historische Quelle des MoE:

① Die Wurzeln des MoE lassen sich auf das Papier „Adaptive Mixture of Local Experts“ aus dem Jahr 1991 zurückführen. Die Idee ähnelt Ensemble-Ansätzen, da sie darauf abzielt, einen Überwachungsprozess für ein System bereitzustellen, das aus verschiedenen Teilnetzwerken besteht, wobei jedes einzelne Netzwerk oder jeder einzelne Experte auf einen anderen Bereich des Eingaberaums spezialisiert ist. Das Gewicht jedes Experten wird über ein geschlossenes Netzwerk bestimmt. Während des Schulungsprozesses werden sowohl Experten als auch Gatekeeper geschult.

② Zwischen 2010 und 2015 trugen zwei verschiedene Forschungsbereiche zur Weiterentwicklung von MoE bei:

Einer sind Experten als Komponenten: In einem traditionellen MoE-Aufbau besteht das gesamte System aus einem geschlossenen Netzwerk und mehreren Experten. MoEs als ganze Modelle wurden in Support-Vektor-Maschinen, Gaußschen Prozessen und anderen Methoden untersucht. Die Arbeit „Learning Factored Representations in a Deep Mixture of Experts“ untersucht die Möglichkeit von MoEs als Komponenten tieferer Netzwerke. Dadurch kann das Modell gleichzeitig groß und effizient sein.

Das andere ist die bedingte Berechnung: Herkömmliche Netzwerke verarbeiten alle Eingabedaten über jede Ebene. Während dieser Zeit untersuchte Yoshua Bengio Möglichkeiten, Komponenten basierend auf Eingabe-Tokens dynamisch zu aktivieren oder zu deaktivieren.

③ Infolgedessen begannen die Menschen, Expertenmischungsmodelle im Kontext der Verarbeitung natürlicher Sprache zu erforschen. In dem Artikel „Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer“ wurde es durch die Einführung von Sparsity auf ein 137B LSTM erweitert, wodurch schnelles Denken in großem Maßstab erreicht wurde.

Warum verdienen MoE-basierte große Modelle Aufmerksamkeit?

1. Im Allgemeinen wird die Erweiterung des Modellmaßstabs zu einem erheblichen Anstieg der Trainingskosten führen, und die Begrenzung der Rechenressourcen ist zu einem Engpass für das intensive Modelltraining in großem Maßstab geworden. Um dieses Problem zu lösen, wird eine Deep-Learning-Modellarchitektur vorgeschlagen, die auf dünn besetzten MoE-Schichten basiert.

2. Das Sparse Mixed Expert Model (MoE) ist eine spezielle neuronale Netzwerkarchitektur, die lernbare Parameter zu großen Sprachmodellen (LLM) hinzufügen kann, ohne die Inferenzkosten zu erhöhen, während Instruction Tuning eine Technik zum Trainieren von LLM ist, um Anweisungen zu befolgen .

3. Die Kombination der MoE+-Anweisungs-Feinabstimmungstechnologie kann die Leistung von Sprachmodellen erheblich verbessern. Im Juli 2023 veröffentlichten Forscher von Google, der UC Berkeley, dem MIT und anderen Institutionen das Papier „Mixture-of-Experts Meets Instruction Tuning: A Winning Combination for Large Language Models“, das bewies, dass das hybride Expertenmodell (MoE) und die Instruction Tuning Die Kombination kann die Leistung großer Sprachmodelle (LLM) erheblich verbessern.

① Konkret verwendeten die Forscher Sparse-Activation-MoE in einem Satz fein abgestimmter Sparse-Hybrid-Expertenmodelle FLAN-MOE und ersetzten die Feedforward-Komponente der Transformer-Schicht durch die MoE-Schicht, um eine bessere Modellkapazität und Rechenleistung zu bieten ; Zweitens: Feinabstimmung von FLAN-MOE basierend auf dem FLAN-Sammeldatensatz.

② Basierend auf der oben genannten Methode untersuchten die Forscher die direkte Feinabstimmung einer einzelnen Downstream-Aufgabe ohne Befehlsoptimierung, die kontextbezogene Wenig-Schuss- oder Zero-Shot-Verallgemeinerung der Downstream-Aufgabe nach der Befehlsoptimierung und die anschließende Befehlsoptimierung Wir verfeinern eine einzelne Downstream-Aufgabe weiter und vergleichen die Leistungsunterschiede von LLM unter den drei experimentellen Einstellungen.

③ Experimentelle Ergebnisse zeigen, dass MoE-Modelle ohne den Einsatz von Befehlsoptimierung oft schlechter abschneiden als dichte Modelle mit vergleichbarer Rechenleistung. Aber in Kombination mit direktiver Abstimmung ändern sich die Dinge. Das anweisungsabgestimmte MoE-Modell (Flan-MoE) übertrifft das größere dichte Modell bei mehreren Aufgaben, obwohl das MoE-Modell nur ein Drittel so rechenintensiv ist wie das dichte Modell. Im Vergleich zu dichten Modellen. MoE-Modelle erzielen durch die Optimierung der Anweisungen deutliche Leistungssteigerungen. Wenn also Recheneffizienz und Leistung berücksichtigt werden, wird MoE zu einem leistungsstarken Werkzeug für das Training großer Sprachmodelle.

4. Dieses Mal verwendet das veröffentlichte Mixtral 8x7B-Modell auch ein spärliches gemischtes Expertennetzwerk.

① Mixtral 8x7B ist ein reines Decoder-Modell. Das Feedforward-Modul wählt aus 8 verschiedenen Parametersätzen aus. In jeder Schicht des Netzwerks wählt das Router-Netzwerk für jedes Token zwei der acht Gruppen (Experten) aus, um das Token zu verarbeiten und ihre Ausgaben zu aggregieren.

② Das Mixtral 8x7B-Modell erreicht oder übertrifft Llama 2 70B und GPT3.5 bei den meisten Benchmarks, mit 6-mal schnelleren Inferenzgeschwindigkeiten.

Wichtige Vorteile von MoE: Was ist Sparsity?

1. In herkömmlichen dichten Modellen muss jede Eingabe im vollständigen Modell berechnet werden. Beim Sparse-Mixed-Expert-Modell werden bei der Verarbeitung von Eingabedaten nur wenige Expertenmodelle aktiviert und verwendet, während sich die meisten Expertenmodelle in einem inaktiven Zustand befinden. Und Sparsity ist ein wichtiger Aspekt des Mixed-Experten Modellvorteile sind auch der Schlüssel zur Verbesserung der Effizienz von Modelltrainings- und Inferenzprozessen

.

Das obige ist der detaillierte Inhalt vonPRO |. Warum verdienen große Modelle, die auf MoE basieren, mehr Aufmerksamkeit?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!