11 日間のオープンソースを経て、マスク氏が再び Grok-1.5 をリリース! 128K コードが GPT-4 を破る

Grok-1 は半月も前にオープンソースとして正式に発表され、新しくアップグレードされた Grok-1.5 がリリースされました。

たった今、Musk xAI は、128K コンテキスト Grok-1.5 の推論機能が大幅に向上したことを正式に発表しました。

そして、もうすぐオンラインになります。

11 日前、Grok-1 モデルの重みとアーキテクチャがオープンソース化され、Xai が昨年 11 月までに達成した進歩が実証されました。

Grok-1 は、Llama 2 の 4 倍である 3,140 億個のパラメータを持ち、MoE アーキテクチャを使用しており、8 人の専門家のうち 2 人が現役の専門家です。

Xai 氏は、それ以来、チームが最新モデル Grok-1.5 の推論能力と問題解決能力を向上させてきたと紹介しました。

OpenAI の元開発者担当責任者は、xAI のメジャー リリースのタイミングから、OpenAI のペースと緊迫感がわかると述べました。エキサイティング！

##128K コンテキスト、Grok-1.5 の数学的推論能力は急上昇しました

公式の紹介によると, Grok-1.5 推論機能が向上し、コンテキストの長さは 128K になりました。

Grok-1.5 の最も重要な改善点の 1 つは、コーディングおよび数学関連タスクのパフォーマンスです。

テストでは、Grok-1.5 は数学ベンチマークで 50.6%、GSM8K ベンチマークで 90% のスコアを達成しました。これら 2 つの数学ベンチマークは小学校から高校までをカバーしています。質問。

さらに、Grok-1.5 は、コード生成と問題解決能力を評価する HumanEval ベンチマーク テストで 74.1% という高スコアを達成しました。

以下の図から、Grok-1 と比較して、Grok-1.5 の数学的能力が GSM8K で 62.9% から 90% に大幅に向上していることがわかります。 MATH では 23.9% から 50.6% に増加しました。

128K の長いコンテキストの理解、16 倍の増幅#Grok-1.5 のもう 1 つの新機能は、コンテキスト ウィンドウ内で最大 128K トークンのテキストを処理できることです。

これにより、Grok のメモリ容量が以前のコンテキスト長の 16 倍に増加し、より長いドキュメントからの情報を利用できるようになります。

さらに、新しいモデルは、コンテキスト ウィンドウが拡大しても指示に従う能力を維持しながら、より長く複雑なプロンプトを処理できます。

Needle In A Haystack (NIAH) の評価では、Grok-1.5 は強力な検索機能を実証し、最大 128K バイトの長さのコンテキスト内の埋め込みテキストを取得し、完璧な検索結果を達成しました。

Grok-1.5 インフラストラクチャ

##Grok-1.5 は JAX、Rust、Kubernetes 上に構築されています' カスタマイズされた分散トレーニング フレームワーク。

このトレーニング スタックにより、xAI チームは最小限の投資でアイデアを大規模に構築し、新しいアーキテクチャをトレーニングできるようになります。

大規模なコンピューティング クラスターで LLM をトレーニングする際の主な課題は、トレーニング タスクの信頼性と稼働時間を最大化することです。

xAI のカスタマイズされたトレーニング オーケストレーターにより、問題のあるノードが自動的に検出され、トレーニング タスクから除外されます。

同時に、チェックポイント設定、データの読み込み、トレーニング タスクの再起動も最適化して、障害発生時のダウンタイムを最小限に抑えました。

xAI は、モデルの改善を支援するために、Grok-1.5 が間もなく初期テスターに​​利用可能になると述べました。

このブログでは、Grok-1.5 が数日以内にリリースするいくつかの新機能もプレビューしました。

最後に、いつものようにxAIから採用情報を掲載しました。

以上が11 日間のオープンソースを経て、マスク氏が再び Grok-1.5 をリリース! 128K コードが GPT-4 を破るの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。