Byte Wanka クラスターの技術詳細が公開: GPT-3 トレーニングは 2 日で完了し、計算能力使用率は NVIDIA Megatron-LM を超えました

Sora の技術分析が進むにつれて、AI インフラストラクチャ の重要性がますます顕著になります。

Byte と北京大学の新しい論文がこの時点で注目を集めました:

この記事では、Byte によって構築された Wanka クラスター が ## 完全なGPT-3 スケール モデル (175B) を #1.75 日 以内にトレーニングします。

具体的には、Byte は、Wanka クラスターで大規模なモデルをトレーニングする際に直面する問題を解決することを目的とした

MegaScale と呼ばれる運用システムを提案しました。課題。

12288 GPU で 1750 億パラメータの大規模言語モデルをトレーニングした場合、MegaScale は 55.2%

(MFU) という計算能力使用率を達成しました。これは、NVIDIA Megatron-LM の 1.34 倍です。

この論文は、2023 年 9 月の時点で、Byte が 10,000 枚を超えるカードを備えた Ampere アーキテクチャ GPU

(A100/A800) クラスターを確立し、現在大規模なホッパーを構築していることも明らかにしました。アーキテクチャ (H100/H800)クラスター。

Wanka クラスターに適した制作システム

大規模モデルの時代において、GPU の重要性はもはや説明する必要はありません。

しかし、カードの数がいっぱいになったときに大規模なモデルのトレーニングを直接開始することはできません。GPU クラスターの規模が「10,000」レベルに達したときに、

効率と安定性を実現する方法 自体がエンジニアリング上の困難な問題です。

#最初の課題: 効率。

大規模な言語モデルのトレーニングは単純な並列タスクではありません。モデルを複数の GPU に分散する必要があり、これらの GPU はトレーニング プロセスを共同で進めるために頻繁に通信する必要があります。通信に加えて、オペレーターの最適化、データの前処理、GPU メモリ消費などの要素はすべて、トレーニング効率を測定する指標である計算能力使用率

(MFU)

に影響を与えます。

MFU は、理論上の最大スループットに対する実際のスループットの比率です。

2 番目の課題: 安定性。

大規模な言語モデルのトレーニングには非常に長い時間がかかることが多く、これはトレーニング プロセス中の失敗や遅延が珍しくないことも意味します。

障害のコストは高くつくため、障害回復時間をいかに短縮するかが特に重要になります。

これらの課題に対処するために、ByteDance の研究者は MegaScale を構築し、Byte のデータ センターに導入して、さまざまな大規模モデルのトレーニングをサポートしました。

MegaScale は、NVIDIA Megatron-LM に基づいて改良されました。

具体的な改善には、アルゴリズムとシステム コンポーネントの共同設計、通信と計算の重複の最適化、オペレーターの最適化、データ パイプラインの最適化、ネットワーク パフォーマンスが含まれます。チューニング等：

• アルゴリズムの最適化: 研究者は、トレーニングを改善するために、並列化された Transformer ブロック、スライディング ウィンドウ アテンション メカニズム(SWA)、および LAMB をモデル アーキテクチャ オプティマイザーに導入しました。モデルの収束を犠牲にすることなく効率を向上させます。
• #通信の重複: 3D 並列処理における各コンピューティング ユニットの動作の詳細な分析に基づく(データ並列処理、パイプライン並列処理、テンソル並列処理) 、研究者らは、非クリティカルな実行パスでの操作によって生じる遅延を効果的に削減し、モデル トレーニングの各ラウンドの反復時間を短縮するための技術戦略を設計しました。
• 効率的な演算子: GEMM 演算子が最適化され、LayerNorm や GeLU などの演算が統合されて、複数のコアの起動に伴うオーバーヘッドが削減され、メモリ アクセス パターンが最適化されました。
• データ パイプラインの最適化: 非同期データの前処理と冗長なデータ ローダーの排除を通じて、データの前処理とロードを最適化し、GPU のアイドル時間を削減します。
• 集団通信グループの初期化: 分散トレーニングにおける NVIDIA マルチカード通信フレームワーク NCCL の初期化プロセスを最適化しました。 最適化を行わない場合、2048 GPU クラスターの初期化時間は 1047 秒ですが、最適化後は 5 秒未満に短縮でき、Wanka GPU クラスターの初期化時間は 30 秒未満に短縮できます。
• ネットワーク パフォーマンス チューニング: 3D 並列処理でマシン間のトラフィックを分析し、ネットワーク トポロジ設計、ECMP ハッシュ競合の削減、輻輳制御など、ネットワーク パフォーマンスを向上させるための技術ソリューションを設計します。および再送信タイムアウトの設定。
• フォールト トレランス: Wanka クラスターでは、ソフトウェアとハ​​ードウェアの障害は避けられません。研究者らは、自動障害特定と迅速な回復を実現するためのトレーニング フレームワークを設計しました。具体的には、システムコンポーネントとイベントを監視する診断ツールの開発、チェックポイントの高頻度保存トレーニングプロセスの最適化などが含まれます。

論文では、MegaScale がソフトウェアとハ​​ードウェアの障害の 90% 以上を自動的に検出して修復できると述べています。

実験結果は、12288 GPU で 175B の大規模言語モデルをトレーニングした場合、MegaScale が 55.2% の MFU を達成したことを示しています。これは、Megatrion-LM アルゴリズムの 1.34 倍です。電力使用率。

530B の大規模言語モデルをトレーニングした場合の MFU 比較結果は次のとおりです:

One More Thing

この技術文書の直後最近、バイトベースの Sora 製品に関する新しいニュースも発表されました。

Jiangying の Sora に似た AI ビデオ ツールが、招待制のベータ テストを開始しました。

#基礎はできたようですが、Byte の大型モデル製品に期待していますか?

論文アドレス: https://arxiv.org/abs/2402.15627

以上がByte Wanka クラスターの技術詳細が公開: GPT-3 トレーニングは 2 日で完了し、計算能力使用率は NVIDIA Megatron-LM を超えましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。