Jamba 1.5：ハイブリッドマンバトランスフォーマーアーキテクチャをフィーチャー

Jamba 1.5：長いコンテキスト処理のための強力なハイブリッド言語モデル

AI21 Labsの最先端の大規模な言語モデルであるJamba 1.5は、広範なテキストコンテキストを処理するための印象的な機能を誇っています。 Jamba 1.5の大規模なパラメーター（940億パラメーター）とJamba 1.5 Mini（120億パラメーター）の2つのバージョンがあります。これは、Mamba構造化状態空間モデル（SSM）と従来の変圧器アーキテクチャを組み合わせたユニークなハイブリッドアーキテクチャを活用しています。この革新的なアプローチにより、前例のない256K有効コンテキストウィンドウを処理することができます。これは、オープンソースモデルの大幅な飛躍です。

主な機能と機能：

• 大規模なコンテキストウィンドウ：最大256kのトークンを処理し、長いドキュメントや複雑なタスクに最適です。
• ハイブリッドアーキテクチャ：トランスモデルとMAMBAモデルの強度を組み合わせて、最適な効率とパフォーマンスを実現します。
• 効率的な量子化：メモリフットプリントを削減し、処理を速くするために、ExpertSINT8量子化を採用します。
• 多言語サポート： 9つの言語で効果的に機能します：英語、スペイン語、フランス語、ポルトガル語、イタリア語、オランダ語、ドイツ語、アラビア語、ヘブライ語。
• 汎用性の高いアプリケーション：質問の回答、要約、テキスト生成、分類など、幅広いNLPタスクに適しています。
• アクセス可能な展開： AI21のStudio API、Hugging Face、Cloud Partnersを介して利用できます。

アーキテクチャの詳細：

側面	詳細
ベースアーキテクチャ	混合物（MOE）モジュールを備えたハイブリッドトランスマンバアーキテクチャ
モデルバリアント	Jamba-1.5-large（94bアクティブパラメーター、合計398b）およびJamba-1.5-mini（12bアクティブパラメーター、52b合計）
層構成	9ブロック、それぞれ8層があります。 1：7トランスとマンバ層の比率
専門家の混合（MOE）	16人の専門家、トークンあたり上位2を選択します
隠された寸法	8192
注意ヘッド	64クエリヘッド、8キー価値ヘッド
コンテキストの長さ	最大256Kトークン
量子化技術	MOEおよびMLPレイヤー用のExpertSINT8
アクティベーション機能	統合変圧器とMAMBAの活性化
効率	8x80GB GPUで高スループットと低レイテンシ向けに最適化されています

Jamba 1.5へのアクセスと利用：

Jamba 1.5は、AI21のStudio APIと抱き合った顔を介してすぐにアクセスできます。このモデルは、特定のドメインがパフォーマンスをさらに向上させるために微調整できます。 AI21 APIを使用したPythonの例を以下に示します。

Pythonの例：

 AI21からAI21Clientをインポートします
ai21.models.chatからchatmessageをインポートします

メッセージ= [chatmessage（content = "2〜3行のトークンザーとは？"、role = "user"）]]
client = ai21client（api_key = ''）＃apiキーに置き換えます
Response = client.chat.completions.create（
    メッセージ=メッセージ、
    Model = "Jamba-1.5-mini"、
    ストリーム= true
））
それに応じてチャンクの場合：
    print（chunk.choices [0] .delta.content、end = ""） 

結論：

Jamba 1.5は、大規模な言語モデルの大幅な進歩を表しており、力と効率の魅力的な融合を提供します。汎用性の高いアプリケーションとアクセス可能な展開オプションと相まって、非常に長いコンテキストを処理する能力は、幅広いNLPタスクにとって貴重なツールになります。

よくある質問（FAQ）：（オリジナルに似ていますが、簡潔さのために言い換えられます）

• Q1：Jamba 1.5とは何ですか？ A：94B（大）または12B（ミニ）パラメーターを備えたハイブリッドトランスマンバの大型言語モデル、指示のフォローおよび長いコンテキスト処理のために最適化されています。
• Q2：Jamba 1.5は長いコンテキストを効率的にどのように処理しますか？ A：ハイブリッドアーキテクチャとExpertSINT8の量子化を通じて、メモリ使用量が減少した256Kトークンコンテキストウィンドウを可能にします。
• Q3：ExpertSINT8量子化とは何ですか？ A：MOEでINT8精度を使用した圧縮技術とMLP層を使用して、効率を改善します。
• Q4：Jamba 1.5は公開されていますか？ A：はい、Jamba Open Modelライセンスの下で、顔を抱きしめてアクセスできます。

以上がJamba 1.5：ハイブリッドマンバトランスフォーマーアーキテクチャをフィーチャーの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。