Inhaltsverzeichnis
Obwohl jede MoE-Schicht viele Parameter hat, werden die Experten nur spärlich aktiviert. Dies bedeutet, dass für ein bestimmtes Eingabe-Token nur eine begrenzte Teilmenge von Experten die Aufgabe erledigen kann, wodurch dem Modell eine größere Kapazität zur Verfügung gestellt wird.
Experimente und Analyse
Heim Technologie-Peripheriegeräte KI GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führt

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führt

Jul 17, 2023 pm 04:57 PM
模型 调优

Seit der Einführung von GPT-4 sind die Menschen von seinen leistungsstarken Emergenzfähigkeiten begeistert, darunter hervorragende Sprachverständnisfähigkeiten, Generierungsfähigkeiten, logische Denkfähigkeiten usw. Diese Fähigkeiten machen GPT-4 zu einem der modernsten Modelle im maschinellen Lernen. Allerdings hat OpenAI bisher keine technischen Details zu GPT-4 bekannt gegeben.

Letzten Monat erwähnte George Hotz GPT-4 in einem Interview mit einem KI-Technologie-Podcast namens Latent Space und sagte, dass GPT-4 eigentlich ein Hybridmodell sei. Konkret sagte George Hotez, dass GPT-4 ein integriertes System verwendet, das aus 8 Expertenmodellen besteht, von denen jedes 220 Milliarden Parameter hat (etwas mehr als die 175 Milliarden Parameter von GPT-3), und dass diese Modelle auf unterschiedliche Daten und Aufgaben trainiert werden Verteilungen.

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führt

Interview von Latent Space.

Dies mag nur eine Spekulation von George Hotz sein, aber dieses Modell hat durchaus eine gewisse Legitimität. Kürzlich bestätigte ein gemeinsam von Forschern von Google, UC Berkeley, MIT und anderen Institutionen veröffentlichter Artikel, dass die Kombination aus Hybrid-Expertenmodell (MoE) und Instruktionsoptimierung die Leistung großer Sprachmodelle (LLM) erheblich verbessern kann. ? . Fügen Sie in diesem Fall lernbare Parameter zu großen Sprachmodellen (LLM) hinzu. Instruction Tuning ist eine Technik, um LLM darin zu trainieren, Anweisungen zu befolgen. Die Studie ergab, dass MoE-Modelle stärker von der Befehlsoptimierung profitierten als dichte Modelle und schlug daher vor, MoE und Befehlsoptimierung zu kombinieren.

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führtDie Studie wurde empirisch in drei experimentellen Umgebungen durchgeführt, darunter

direkte Feinabstimmung einer einzelnen Downstream-Aufgabe ohne Anweisungsoptimierung;

Downstream-Aufgabe nach Anweisungsoptimierung. Durchführung von wenigen Schüssen im Kontext oder Zero-Shot-Generalisierung; weitere Feinabstimmung einzelner Downstream-Aufgaben nach

Befehlsoptimierung.

  • Im ersten Fall sind MoE-Modelle im Allgemeinen dichten Modellen mit der gleichen Rechenleistung unterlegen. Mit der Einführung der Befehlsoptimierung (zweiter und dritter Fall) ist FLAN-MoE_32B (Fine-tuned LAnguage Net, abgekürzt als Flan) ein befehlsabgestimmtes Modell und Flan-MoE das Befehlsoptimierungsmodell (Excellent MoE). übertrifft FLAN-PALM_62B bei vier Benchmark-Aufgaben, nutzt aber nur ein Drittel der FLOPs.
  • Wie in der Abbildung unten gezeigt, ist MoE→FT vor der Verwendung der Befehlsoptimierung nicht so gut wie T5→FT. Nach der Befehlsoptimierung übertrifft Flan-MoE→FT Flan-T5→FT. Der Nutzen von MoE durch die Befehlsoptimierung (+15,6) ist größer als der des dichten Modells (+10,2):
  • Bild

Es scheint, dass GPT-4 tatsächlich eine gewisse Grundlage für die Einführung eines Hybridmodells hat Profitieren Sie von der Optimierung der Anweisungen. Erhalten Sie größere Vorteile von den Besten:

Bilder

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führtMethodenübersicht

Die Forscher verwendeten MoE mit geringer Aktivierung im FLAN-MOE (ein Satz fein abgestimmter gemischter Expertenmodelle mit geringer Dichte). mit Anleitung) Modell (Mixture-of-Experts). Darüber hinaus ersetzten sie die Feedforward-Komponenten anderer Transformer-Schichten durch MoE-Schichten.

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führtJede MoE-Schicht kann als „Experte“ verstanden werden. Anschließend werden diese Experten mithilfe der Softmax-Aktivierungsfunktion modelliert, um eine Wahrscheinlichkeitsverteilung zu erhalten.

Obwohl jede MoE-Schicht viele Parameter hat, werden die Experten nur spärlich aktiviert. Dies bedeutet, dass für ein bestimmtes Eingabe-Token nur eine begrenzte Teilmenge von Experten die Aufgabe erledigen kann, wodurch dem Modell eine größere Kapazität zur Verfügung gestellt wird.

Für eine MoE-Schicht mit E-Experten bietet dies effektiv O (E^2) verschiedene Kombinationen von Feedforward-Netzwerken, was eine größere Rechenflexibilität ermöglicht.

Da es sich bei FLAN-MoE um ein auf Anweisungen abgestimmtes Modell handelt, ist die Optimierung von Anweisungen sehr wichtig. In dieser Studie wurde FLAN-MOE auf der Grundlage des kollektiven FLAN-Datensatzes verfeinert. Darüber hinaus wurde in dieser Studie die Eingabesequenzlänge jedes FLAN-MOE auf 2048 und die Ausgabelänge auf 512 angepasst.

Experimente und Analyse

Im Durchschnitt übertrifft Flan-MoE sein dichtes Gegenstück (Flan-T5) auf allen Modellmaßstäben, ohne dass zusätzliche Berechnungen erforderlich sind.

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führtBilder

Anzahl der Experten. Abbildung 4 zeigt, dass das Modell mit zunehmender Anzahl von Experten zunächst von einem umfangreicheren Satz spezialisierter Subnetzwerke profitiert, von denen jedes in der Lage ist, eine andere Aufgabe oder einen anderen Aspekt im Problembereich zu bearbeiten. Dieser Ansatz macht MoE äußerst anpassungsfähig und effizient bei der Bewältigung komplexer Aufgaben, wodurch die Leistung insgesamt verbessert wird. Da jedoch die Zahl der Experten weiter zunimmt, beginnen die Modellleistungszuwächse abzunehmen und erreichen schließlich einen Sättigungspunkt.

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führtBilder

Abbildung 3 und Tabelle 1 untersuchen im Detail, wie sich unterschiedliche Routing-Entscheidungen auf die Leistung der Befehlsoptimierung auswirken: Durch den Vergleich zwischen FLAN-Switch- und FLAN-GS-Strategien kann gefolgert werden, dass die Aktivierung von mehr Experten die Leistung verbessert über vier Benchmarks hinweg. Unter diesen Benchmarks weist das MMLU-Direct-Modell die deutlichste Verbesserung auf und stieg von 38,0 % auf 39,9 % für BASE/LARGE-Modelle.

Bemerkenswert ist, dass die Befehlsoptimierung die Leistung des MoE-Modells bei der Beibehaltung von MMLU, BBH sowie internen QA- und Inferenz-Benchmarks im Vergleich zu dichten Modellen gleicher Kapazität erheblich steigerte. Diese Vorteile werden bei größeren MoE-Modellen noch verstärkt. Beispielsweise verbessert die Befehlsoptimierung die Leistung für ST_32B um 45,2 %, während diese Verbesserung für FLAN-PALM_62B mit etwa 6,6 % relativ gering ist.

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führt

Bei Modellerweiterungen übertrifft Flan-MoE (Flan-ST-32B) Flan-PaLM-62B.

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führtBilder

Darüber hinaus führte die Studie einige analytische Experimente durch, indem die Gating-Funktion, das Expertenmodul und die MoE-Parameter des gegebenen Modells eingefroren wurden. Wie in Tabelle 2 unten gezeigt, zeigen experimentelle Ergebnisse, dass das Einfrieren des Expertenmoduls oder der MoE-Komponente einen negativen Einfluss auf die Modellleistung hat.

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führt

Im Gegensatz dazu wird die Freeze-Gating-Funktion die Modellleistung leicht verbessern, obwohl dies nicht offensichtlich ist. Die Forscher spekulieren, dass diese Beobachtung mit der Unteranpassung von FLAN-MOE zusammenhängt. Im Rahmen der Studie wurden auch Ablationsexperimente durchgeführt, um die in Abbildung 5 unten beschriebene Ablationsstudie zur Feinabstimmung der Dateneffizienz zu untersuchen.

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führt

Um schließlich die Lücke zwischen der direkten Feinabstimmung von MoE und FLAN-MOE zu vergleichen, wurden in dieser Studie Experimente zur Einzeltask-Feinabstimmung von MoE, Einzeltask-Feinabstimmung von FLAN-MoE und durchgeführt dichte Modelle. Die Ergebnisse sind wie in Abbildung 6 dargestellt:

GPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führt

Interessierte Leser können den Originaltext des Artikels lesen, um mehr über den Forschungsinhalt zu erfahren.

Das obige ist der detaillierte Inhalt vonGPT-4 nutzt hybride Großmodelle? Untersuchungen belegen, dass die Optimierung der MoE+-Anweisungen tatsächlich zu einer besseren Leistung großer Modelle führt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo May 07, 2024 pm 04:13 PM

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert Jun 01, 2024 pm 10:03 PM

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Apr 01, 2024 pm 07:46 PM

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao Apr 09, 2024 am 11:52 AM

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen! Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen! May 06, 2024 pm 04:13 PM

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera Apr 26, 2024 am 11:37 AM

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! Mar 21, 2024 pm 05:21 PM

In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.

See all articles