Jamba 1.5: Mit der Hybrid-Mamba-Transformator-Architektur

Jamba 1.5: Ein leistungsstarkes hybrides Sprachmodell für die Langkaltextverarbeitung

Jamba 1.5, ein modernes großes Sprachmodell aus AI21-Labors, bietet beeindruckende Fähigkeiten für den Umgang mit umfangreichen Textkontexten. Erhältlich in zwei Versionen - Jamba 1,5 Large (94 Milliarden Parameter) und Jamba 1,5 Mini (12 Milliarden Parameter) - nutzt eine einzigartige hybride Architektur, die das Mamba Structured State Space Model (SSM) mit der traditionellen Transformer -Architektur kombiniert. Dieser innovative Ansatz ermöglicht die Verarbeitung eines beispiellosen Kontextfensters von 256.000, ein wesentlicher Sprung für Open-Source-Modelle.

Schlüsselmerkmale und Funktionen:

• Massives Kontextfenster: Prozesse bis zu 256.000 Token, ideal für lange Dokumente und komplexe Aufgaben.
• Hybridarchitektur: Kombiniert die Stärken von Transformator- und Mamba -Modellen für optimale Effizienz und Leistung.
• Effiziente Quantisierung: Verwendet ExperteninT8 -Quantisierung für den reduzierten Speicher Fußabdruck und eine schnellere Verarbeitung.
• Mehrsprachige Unterstützung: Funktionen effektiv in neun Sprachen: Englisch, Spanisch, Französisch, Portugiesisch, Italienisch, Niederländisch, Deutsch, Arabisch und Hebräisch.
• Vielseitige Anwendungen: Geeignet für eine Vielzahl von NLP -Aufgaben, einschließlich Fragenbeantwortung, Zusammenfassung, Textgenerierung und Klassifizierung.
• Zugriffsbereitstellung: Erhältlich über die Studio -API von AI21, das umarmende Gesicht und die Cloud -Partner.

Architektonische Details:

Aspekt	Details
Basisarchitektur	Hybridtransformator-Mamba-Architektur mit einem MEE-Mischungsmischung (MEE)
Modellvarianten	Jamba-1,5-Large (94B aktive Parameter, insgesamt 398B) und Jamba-1,5-Mini (12B aktive Parameter, insgesamt 52B)
Schichtkomposition	9 Blöcke mit jeweils 8 Schichten; 1: 7 Verhältnis des Transformators zu Mamba -Schichten
Mischung von Experten (MOE)	16 Experten, die die Top 2 pro Token auswählen
Versteckte Dimensionen	8192
Aufmerksamkeitsköpfe	64 Abfrageköpfe, 8 Schlüsselwertköpfe
Kontextlänge	Bis zu 256.000 Token
Quantisierungstechnik	Experten für MOE- und MLP -Schichten
Aktivierungsfunktion	Integrierte Transformator- und Mamba -Aktivierungen
Effizienz	Optimiert für hohen Durchsatz und niedrige Latenz am 8x80 GB GPUs

Zugriff auf und verwenden Jamba 1.5:

Jamba 1.5 ist durch die Studio -API von AI21 und das umarmende Gesicht leicht zugänglich. Das Modell kann für bestimmte Domänen fein abgestimmt werden, um die Leistung weiter zu verbessern. Ein Python -Beispiel mit der AI21 -API finden Sie unten:

Python -Beispiel:

 vom AI21 Import AI21Client
von ai21.models.chat import ChatMessage

messus = [chatMessage (content = "Was ist ein Tokenizer in 2-3 Zeilen?", Rollen = "Benutzer")]
client = ai21client (api_key = '') # ersetzen '' durch Ihre API -Taste
response = client.chat.completions.create (
    Nachrichten = Nachrichten,
    model = "Jamba-1,5-mini",
    stream = true
)
für Chunk als Antwort:
    print (chunk.choices [0] .delta.content, end = "") 

Abschluss:

Jamba 1.5 stellt einen signifikanten Fortschritt in Großsprachenmodellen dar und bietet eine überzeugende Mischung aus Macht und Effizienz. Seine Fähigkeit, außergewöhnlich lange Kontexte in Verbindung mit seinen vielseitigen Anwendungen und zugänglichen Bereitstellungsoptionen zu handhaben, macht es zu einem wertvollen Tool für eine Vielzahl von NLP -Aufgaben.

Häufig gestellte Fragen (FAQs): (ähnlich wie das Original, aber für die Übersicht übernommen)

• F1: Was ist Jamba 1.5? A: Ein hybrides Transformator-Mamba-Großsprachmodell mit 94B (groß) oder 12B (Mini) -Parametern, optimiert für den Anweisungen und eine langkontextbezogene Verarbeitung.
• F2: Wie geht Jamba 1.5 mit langen Kontexten effizient um? A: Durch seine hybride Architektur und Experten -Quantisierung, können Sie ein 256 -kK -Token -Kontextfenster mit reduziertem Speicherverbrauch ermöglichen.
• F3: Was ist Experten in der Quantisierung von Experten? A: Eine Komprimierungstechnik mit INT8 -Präzision in MOE- und MLP -Schichten für eine verbesserte Effizienz.
• F4: Ist Jamba 1.5 öffentlich verfügbar? A: Ja, unter der Jamba Open Model Lizenz, die über das Gesicht zugänglich ist.

Das obige ist der detaillierte Inhalt vonJamba 1.5: Mit der Hybrid-Mamba-Transformator-Architektur. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!