Aufmerksamkeitsfreies großes Modell Eagle7B: Basierend auf RWKV werden die Inferenzkosten um das 10- bis 100-fache reduziert

Aufmerksamkeitsfreies großes Modell Eagle7B: Basierend auf RWKV werden die Inferenzkosten um das 10- bis 100-fache reduziert

Im KI-Bereich haben kleine Modelle in letzter Zeit viel Aufmerksamkeit auf sich gezogen, verglichen mit Modellen mit Hunderten von Milliarden Parameter. Beispielsweise übertraf das vom französischen KI-Startup veröffentlichte Mistral-7B-Modell Llama 2 in jedem Benchmark um 13 Milliarden und Llama 1 um 34 Milliarden in Code, Mathematik und Inferenz.

Im Vergleich zu großen Modellen haben kleine Modelle viele Vorteile, wie zum Beispiel einen geringen Bedarf an Rechenleistung und die Möglichkeit, auf der Geräteseite zu laufen.

Kürzlich ist ein neues Sprachmodell aufgetaucht, nämlich 7.52B Parameter Eagle 7B, von der Open-Source-Non-Profit-Organisation RWKV, das die folgenden Merkmale aufweist:

• Basierend auf RWKV -v5-Architekturkonstruktion, die Inferenzkosten dieser Architektur sind niedrig (RWKV ist ein linearer Transformator, die Inferenzkosten werden um mehr als das 10- bis 100-fache reduziert);
• Trainiert auf mehr als 100 Sprachen und 1,1 Billionen Token ;
• Übertrifft alle Modelle der 7B-Klasse in mehrsprachigen Benchmarks.
• In der englischen Bewertung liegt die Leistung von Eagle 7B nahe an Falcon (1,5T), LLaMA2 (2T),
• Verglichen mit MPT - in englischer Bewertung 7B (1T) Ziemlich;
• Transformer ohne Aufmerksamkeit.

Eagle 7B basiert auf der RWKV-v5-Architektur. RWKV (Receptance Weighted Key Value) ist eine neuartige Architektur, die die Vorteile von RNN und Transformer kombiniert und deren Nachteile vermeidet. Es ist sehr gut gestaltet und kann die Speicher- und Erweiterungsengpässe von Transformer lindern und eine effektivere lineare Erweiterung erreichen. Gleichzeitig behält RWKV auch einige der Eigenschaften bei, die Transformer auf diesem Gebiet dominant gemacht haben.

Derzeit wurde RWKV zur sechsten Generation RWKV-6 iteriert, mit ähnlicher Leistung und Größe wie Transformer. Zukünftige Forscher können diese Architektur nutzen, um effizientere Modelle zu erstellen.

Weitere Informationen zu RWKV finden Sie unter „RNN in der Transformer-Ära umgestalten, RWKV erweitert Nicht-Transformer-Architektur auf zig Milliarden Parameter“.

Erwähnenswert ist, dass RWKV-v5 Eagle 7B ohne Einschränkungen für den persönlichen oder kommerziellen Gebrauch genutzt werden kann.

Testergebnisse für 23 Sprachen

Die Leistung verschiedener Modelle in mehreren Sprachen ist wie folgt. Die Testbenchmarks umfassen xLAMBDA, xStoryCloze, xWinograd, xCopa. 23 Sprachen insgesamt bis v5. Aufgrund des Fehlens mehrsprachiger Benchmarks kann die Studie ihre Fähigkeiten jedoch nur in 23 häufiger verwendeten Sprachen testen, und die Fähigkeiten in den verbleibenden 75 oder mehr Sprachen sind noch unbekannt.

Leistung auf Englisch

Die Leistung verschiedener Modelle auf Englisch wird anhand von 12 Benchmarks beurteilt, einschließlich gesundem Menschenverstand und Weltwissen.

An den Ergebnissen können wir erneut den großen Sprung von RWKV von der v4- zur v5-Architektur erkennen. v4 verlor zuvor gegen den 1T-Token MPT-7b, aber v5 hat in Benchmark-Tests begonnen, aufzuholen und kann in einigen Fällen (sogar in einigen Benchmark-Tests LAMBADA, StoryCloze16, WinoGrande, HeadQA_en, Sciq) Falcon oder sogar llama2 übertreffen .

Darüber hinaus beginnt sich die Leistung von Version 5 anhand der ungefähren Token-Trainingsstatistiken an die erwarteten Leistungsniveaus von Transformer anzupassen.

Zuvor verwendete Mistral-7B eine Trainingsmethode von 2-7 Billionen Token, um seinen Vorsprung im 7B-Modell zu behaupten. Die Studie hofft, diese Lücke zu schließen, sodass RWKV-v5 Eagle 7B die Leistung von llama2 übertrifft und das Niveau von Mistral erreicht.

Die folgende Abbildung zeigt, dass die Kontrollpunkte von RWKV-v5 Eagle 7B in der Nähe von 300 Milliarden Token-Punkten eine ähnliche Leistung wie Pythia-6.9b aufweisen:

Dies steht im Einklang mit früheren Arbeiten an der experimentellen RWKV-v4-Architektur ( Stapelbasierte) Übereinstimmung besteht darin, dass lineare Transformatoren wie RWKV ein ähnliches Leistungsniveau wie Transformatoren aufweisen und mit der gleichen Anzahl von Token trainiert werden.

Vorhersehbar markiert die Entstehung dieses Modells die Einführung des bisher stärksten linearen Transformators (in Bezug auf Bewertungsmaßstäbe).

Das obige ist der detaillierte Inhalt vonAufmerksamkeitsfreies großes Modell Eagle7B: Basierend auf RWKV werden die Inferenzkosten um das 10- bis 100-fache reduziert. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!