


40 % schneller als Transformer! Meta veröffentlicht neues Megabyte-Modell, um das Problem des Rechenleistungsverlusts zu lösen
Transformer ist zweifellos das beliebteste Modell im Bereich maschinelles Lernen der letzten Jahre.
Seit sie 2017 in der Veröffentlichung „Aufmerksamkeit ist alles, was Sie brauchen“ vorgeschlagen wurde, hat diese neue Netzwerkstruktur große Übersetzungsaufgaben überwältigt und viele neue Datensätze erstellt.
Aber Transformer hat einen Fehler beim Umgang mit langen Bytesequenzen ein gravierender Verlust an Rechenleistung, und die neuesten Ergebnisse der Meta-Forscher können diesen Fehler gut beheben.
Sie haben eine neue Modellarchitektur eingeführt, die mehr als 1 Million Token in mehreren Formaten generieren kann und den bestehenden Transformer hinter Modellen wie GPT-4 Architectural-Funktionen übertrifft.
Dieses Modell heißt „Megabyte“ und ist eine Multiskalen-Decoder-Architektur, die mehr als eine End-to-End-differenzierbare Modellierung von Megabyte-Sequenzen verarbeiten kann.
Papierlink: https://arxiv.org/abs/2305.07185
Warum Megabyte besser ist als Transformer, müssen Sie sich zunächst die Mängel von Transformer ansehen.
Transformer-Mängel
Bisher gibt es mehrere Arten von leistungsstarken generativen KI-Modellen, wie GPT-4 von OpenAI und Bard, They sind alle Modelle, die auf der Transformer-Architektur basieren.
Aber Metas Forschungsteam glaubt, dass die beliebte Transformer-Architektur möglicherweise an ihre Grenzen stößt, wobei die Hauptgründe zwei wichtige Mängel im Transformer-Design sind: #🎜🎜 #
- Mit zunehmender Länge der Eingabe- und Ausgabebytes steigen auch die Kosten für die Selbstaufmerksamkeit rapide an, da eingegebene Musik-, Bild- oder Videodateien normalerweise mehrere Megabyte enthalten. Große- Scale-Decoder (LLMs) verwenden typischerweise nur ein paar tausend kontextbezogene Token – Feedforward-Netzwerke helfen Sprachmodellen, Wörter durch eine Reihe mathematischer Operationen und Transformationen zu verstehen und zu verarbeiten. Skalierbarkeit ist jedoch auf Positionsbasis schwer zu erreichen. Diese Netzwerke arbeiten auf Zeichenbasis Gruppen oder Positionen unabhängig voneinander, was zu einem erheblichen Rechenaufwand führt 🎜#Im Vergleich zu Transformer weist das Megabyte-Modell eine einzigartige und andere Architektur auf, bei der die Eingabe- und Ausgabesequenzen in Patches statt in einzelne Token unterteilt werden.
Wie unten gezeigt, generiert das lokale KI-Modell in jedem Patch Ergebnisse, während das globale Modell die endgültige Ausgabe aller Patches verwaltet und koordiniert.
Zuerst wird die Bytesequenz grob in Patches fester Größe aufgeteilt Ähnlich wie Token besteht dieses Modell aus drei Teilen:
(1) Patch-Embedder: Einfach durch verlustfreie Verkettung der Einbettungen jedes Bytes Lokal codierter Patch# 🎜🎜#
(2) Ein globales Modell: ein großer autoregressiver Transformator, dargestellt durch Eingabe- und Ausgabepatches (3) Ein lokales Modell: ein kleines autoregressives Modell, das Bytes vorhersagt im Patch
Forscher haben festgestellt, dass Bytevorhersagen für die meisten Aufgaben relativ einfach sind (z. B. das Vervollständigen eines Wortes anhand der ersten Zeichen), was bedeutet dass große Netzwerke pro Byte unnötig sind und kleinere Modelle für interne Vorhersagen verwendet werden können.
Dieser Ansatz löst die Skalierbarkeitsherausforderungen, die in heutigen KI-Modellen vorherrschen. Das Patch-System des Megabyte-Modells ermöglicht die Ausführung eines einzelnen Feed-Forward-Netzwerks auf einem Patch, der mehrere Token enthält, und löst so effektiv das Problem des Selbst - Problem der Aufmerksamkeitsskalierung.
Unter anderem hat die Megabyte-Architektur drei wesentliche Verbesserungen am Transformer für die Modellierung langer Sequenzen vorgenommen:
#🎜🎜 # – Subquadratische Selbstaufmerksamkeit, während Megabyte eine lange Sequenz in zwei kürzere Sequenzen aufteilt, was auch bei langen Sequenzen immer noch einfach zu handhaben ist.
- Patch-Feedforward-Ebenen (Per-Patch-Feedforward-Ebenen)
in GPT-3-Größe In der Modell werden mehr als 98 % der FLOPS zur Berechnung der Positions-Feedforward-Schicht verwendet. Megabyte verwendet für jeden Patch eine große Feedforward-Schicht, um bei gleichen Kosten ein größeres und leistungsfähigeres Modell zu erreichen. Bei einer Patchgröße von P verwendet der Basiskonverter dieselbe Feedforward-Schicht mit m Parametern P-mal, und Megabyte kann eine Schicht mit mP-Parametern einmal zum gleichen Preis verwenden.
- Parallelität bei der Dekodierung
Transformatoren müssen während der Generierung serialisiert werden. Alle Berechnungen werden aufgrund der Eingabe von durchgeführt Jeder Zeitschritt ist die Ausgabe des vorherigen Zeitschritts. Durch die parallele Generierung der Patch-Darstellung ermöglicht Megabyte eine größere Parallelität im Generierungsprozess.
Zum Beispiel generiert ein Megabyte-Modell mit 1,5-B-Parametern Sequenzen, die 40 % schneller sind als ein standardmäßiger 350MTransformer, und verbessert sich dennoch beim Training mit dem gleichen Rechenaufwand. Verwirrung.
Megabyte übertrifft andere Modelle bei weitem und liefert Ergebnisse, die mit auf Unterwörtern trainierten Sota-Modellen konkurrenzfähig sind
#🎜🎜 #
Im Vergleich dazu hat GPT-4 von OpenAI ein Limit von 32.000 Token, während Claude von Anthropic ein Limit von 100.000 Token hat.Darüber hinaus verwendet Megabyte im Hinblick auf die Recheneffizienz innerhalb eines festen Modellgrößen- und Sequenzlängenbereichs weniger Token als Transformers und Linear Transformers derselben Größe, was dies ermöglicht Gleicher Rechenaufwand bei Verwendung eines größeren Modells. #🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜#kurz , Diese Verbesserungen ermöglichen es uns, größere, leistungsstärkere Modelle mit demselben Rechenbudget zu trainieren, auf sehr lange Sequenzen zu skalieren und die Build-Geschwindigkeit während der Bereitstellung zu erhöhen.
Wie wird die Zukunft aussehen? Die Parameter werden immer höher.
Während GPT-3.5 auf 175B-Parameter trainiert wurde, spekulieren einige, dass das leistungsfähigere GPT-4 auf 1 Billion Parameter trainiert wurde.
Auch OpenAI-CEO Sam Altman schlug kürzlich einen Strategiewechsel vor. Er sagte, das Unternehmen erwäge, das Training großer Modelle aufzugeben und sich auf andere Leistungsoptimierungen zu konzentrieren.
Er setzt die Zukunft von KI-Modellen mit iPhone-Chips gleich, während die meisten Verbraucher keine Ahnung von den reinen technischen Spezifikationen haben. Die Forscher von Meta glauben, dass ihre innovative Architektur zum richtigen Zeitpunkt kommt, geben jedoch zu, dass es auch andere Möglichkeiten zur Optimierung gibt.Zum Beispiel ein effizienteres Encodermodell mit Patching-Technologie, ein Decodierungsmodell, das die Sequenz in kleinere Blöcke aufteilt und die Sequenz in ein komprimiertes Token vorverarbeitet usw. und kann die Fähigkeiten vorhandener Transformer-Architekturen erweitern, um Modelle der nächsten Generation zu erstellen.
Der ehemalige Tesla AI-Direktor Andrej Karpathy äußerte auch seine Ansichten zu diesem Papier. Er schrieb auf Twitter:
Das ist sehr vielversprechend und jeder sollte hoffen, dass wir die Tokenisierung in großen Modellen abschaffen und die Notwendigkeit dieser langen Bytesequenzen beseitigen können.
Das obige ist der detaillierte Inhalt von40 % schneller als Transformer! Meta veröffentlicht neues Megabyte-Modell, um das Problem des Rechenleistungsverlusts zu lösen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen



Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

FP8 und die geringere Gleitkomma-Quantifizierungsgenauigkeit sind nicht länger das „Patent“ von H100! Lao Huang wollte, dass jeder INT8/INT4 nutzt, und das Microsoft DeepSpeed-Team begann, FP6 auf A100 ohne offizielle Unterstützung von NVIDIA auszuführen. Testergebnisse zeigen, dass die FP6-Quantisierung der neuen Methode TC-FPx auf A100 nahe an INT4 liegt oder gelegentlich schneller als diese ist und eine höhere Genauigkeit aufweist als letztere. Darüber hinaus gibt es eine durchgängige Unterstützung großer Modelle, die als Open-Source-Lösung bereitgestellt und in Deep-Learning-Inferenz-Frameworks wie DeepSpeed integriert wurde. Dieses Ergebnis wirkt sich auch unmittelbar auf die Beschleunigung großer Modelle aus – in diesem Rahmen ist der Durchsatz bei Verwendung einer einzelnen Karte zum Ausführen von Llama 2,65-mal höher als der von Doppelkarten. eins
