Nach 11 Tagen Open Source veröffentlicht Musk erneut Grok-1.5! 128K-Code besiegt GPT-4

Grok-1 ist erst seit einem halben Monat offiziell als Open Source angekündigt und das neu aktualisierte Grok-1.5 wird veröffentlicht.

Gerade hat Musk xAI offiziell bekannt gegeben, dass der 128K-Kontext Grok-1.5 seine Argumentationsfähigkeiten erheblich verbessert hat.

Und es wird bald online sein.

Vor 11 Tagen wurden die Gewichte und die Architektur des Grok-1-Modells als Open Source veröffentlicht und zeigten die Fortschritte, die Xai vor November letzten Jahres gemacht hatte.

Grok-1 hat 314 Milliarden Parameter, was viermal größer ist als Llama 2, und verwendet eine MoE-Architektur. 2 der 8 Experten sind aktive Experten.

Xai-Einführung, das heißt, seitdem hat das Team die Argumentations- und Problemlösungsfähigkeiten des neuesten Modells Grok-1.5 verbessert.

OpenAIs ehemaliger Leiter für Entwicklerbeziehungen sagte, dass ihr Tempo und ihr Gefühl der Dringlichkeit am Zeitpunkt der wichtigsten Veröffentlichungen von xAI erkennbar seien. Spannend!

128K-Kontext, die mathematischen Denkfähigkeiten von Grok-1.5 stiegen sprunghaft an

Laut der offiziellen Einführung verfügt Grok-1.5 über verbesserte Denkfähigkeiten mit einer Kontextlänge von 128K.

Eine der bedeutendsten Verbesserungen von Grok-1.5 ist seine Leistung bei Codierungs- und Mathematikaufgaben.

Im Test erreichte Grok-1.5 eine Punktzahl von 50,6 % beim Mathe-Benchmark und 90 % beim GSM8K-Benchmark. Diese beiden Mathe-Benchmarks decken verschiedene Wettbewerbsprobleme von der Grundschule bis zum Gymnasium ab.

Darüber hinaus erreichte Grok-1.5 eine hohe Punktzahl von 74,1 % beim HumanEval-Benchmark, der Codegenerierungs- und Problemlösungsfähigkeiten bewertet.

Aus der folgenden Abbildung ist im Vergleich zu Grok-1 ersichtlich, dass die mathematischen Fähigkeiten von Grok-1.5 erheblich verbessert wurden, von 62,9 % auf 90 bei GSM8K und von 23,9 % auf 50,6 % bei MATH. 128.000 langes Kontextverständnis, 16-fach erweitert

Dadurch wird die Speicherkapazität von Grok auf das 16-fache der vorherigen Kontextlänge erhöht, sodass Informationen aus längeren Dokumenten genutzt werden können.

Darüber hinaus kann das neue Modell längere und komplexere Eingabeaufforderungen verarbeiten und behält gleichzeitig seine Fähigkeit bei, Anweisungen zu befolgen, wenn sein Kontextfenster erweitert wird.

In der Needle In A Haystack (NIAH)-Evaluierung zeigte Grok-1.5 starke Retrieval-Fähigkeiten, indem es eingebetteten Text im Kontext mit einer Länge von bis zu 128 KB abrief und perfekte Retrieval-Ergebnisse erzielte.

Grok-1.5-Infrastruktur

Grok-1.5 basiert auf einem benutzerdefinierten verteilten Trainingsframework, das auf JAX, Rust und Kubernetes basiert.

Dieser Trainings-Stack ermöglicht es xAI-Teams, Ideen im großen Maßstab zu entwickeln und neue Architekturen mit minimalen Investitionen zu trainieren.

Eine große Herausforderung beim Training von LLM auf großen Computerclustern besteht darin, die Zuverlässigkeit und Verfügbarkeit der Trainingsaufgaben zu maximieren. Der angepasste Trainingsorchestrator von xAI stellt sicher, dass problematische Knoten automatisch erkannt und aus Trainingsaufgaben entfernt werden.

Gleichzeitig optimierten sie auch das Checkpointing, das Laden von Daten und den Neustart von Trainingsaufgaben, um Ausfallzeiten im Fehlerfall zu minimieren.

xAI gab an, dass Grok-1.5 bald für frühe Tester verfügbar sein wird, um zur Verbesserung des Modells beizutragen.

Der Blog gab auch eine Vorschau auf mehrere neue Funktionen, die Grok-1.5 in den nächsten Tagen einführen wird.

Endlich hat xAI wie immer die Rekrutierungsinformationen veröffentlicht.

Das obige ist der detaillierte Inhalt vonNach 11 Tagen Open Source veröffentlicht Musk erneut Grok-1.5! 128K-Code besiegt GPT-4. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!