Moore Thread「Kua'e Intelligent Computing Cluster KUAE」バージョン 1.2 リリース: 64K の長いテキストをサポート、LLaMA2 フル シリーズの大型モデルなどを追加。

このサイトは、8 月 19 日にムーア氏のスレッド「KUAE Intelligent Computing Cluster」のバージョン 1.2 が正式にリリースされたと報告しました。このバージョンでは、ソフトウェアおよびハードウェア レベルの包括性が最適化され、64K の長いテキストがサポートされ、LLaMA2 大型モデル、Baichuan、Yayi、Qwen2、Mixtral (MoE 8x7B) およびその他のモデルの全範囲が追加されています。

更新内容:

1. MFUの改善

   • キロカードクラスターを使用して1,000億のモデルをトレーニングし、MFUが10%増加しました。
   • 高密度モデルクラスタートレーニング MFU は最大 55% に達します。

2. Flash Attendant2 最適化

   • MUSA SDK プラットフォームの最適化された Flash Attendant2 テクノロジーを統合して、大規模モデルのトレーニング効率とリソース使用率を向上させます。

3. 64K の長いテキストのサポート

   • 長いテキストの大規模モデルのトレーニングのサポートを強化し、長いテキストの理解と生成タスクを処理する機能を最適化します。

4. ハイブリッドエキスパートモデルMoE

   • All2All最適化をサポートし、muDNNオペレーターのさまざまな形状の下で行列演算を最適化し、MoE大規模モデルトレーニングをサポートします。

5. ブレークポイントでトレーニングを継続

   • チェックポイントの読み取りおよび書き込みパフォーマンスを向上させ、トレーニング効率を向上させます。

6. DeepSpeedを最適化

   • DeepSpeedとUlyssesをMooreスレッドのGPUクラスターに適応させて、長いテキストトレーニングのサポートを強化します。
   • 国内外の多くの大型モデルに適しています。

7. 安定性の向上

   • 成熟したソフトウェアとハ​​ードウェアにより、15日間連続でトラブルのないトレーニングを達成しました。
   • KUAE Aegisの信頼性機能を導入し、監視、自動診断、障害回復機能を強化します。

8. 視覚化/可観測性

   • PerfSight パフォーマンス監視システムを導入して、トレーニング プロセス中のリソース消費とパフォーマンス データをリアルタイムで表示します。

9. 新しい大型モデルが内蔵モデルライブラリに追加されました

   • LLaMA2 フルシリーズ、Baichuan、Yayi、Qwen2、Mixtral (MoE 8x7B) およびその他のモデルが追加されました。

以上がMoore Thread「Kua'e Intelligent Computing Cluster KUAE」バージョン 1.2 リリース: 64K の長いテキストをサポート、LLaMA2 フル シリーズの大型モデルなどを追加。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。