本站 8 月 19 日訊息，摩爾線程「誇娥智算集群 KUAE」 1.2 版本正式發布。此版本對軟硬體層面的綜合性進行最佳化，支援 64K 長文本、新增 LLaMA2 全系列大模型、百川、雅意、Qwen2、Mixtral（MoE 8x7B）等模型。
更新內容：
-
MFU 提升
- 使用千卡集群訓練千億模型，MFU 提升 10%。
- 稠密模型群集訓練 MFU 最高達 55%。
-
Flash Attention2 最佳化
- 整合 MUSA SDK 平台最佳化後的 Flash Attention2 技術，提升大模型訓練效率與資源利用率。
-
64K 長文本支持
- 增強對長文本大模型訓練的支持，優化處理長文本理解和生成任務的能力。
-
支援混合專家模型 MoE
- All2All 優化，針對 muDNN 算子優化不同形狀下的矩陣運算，支援 MoE 大模型訓練。
-
斷點續訓
- 提升 Checkpoint 讀寫性能，提升訓練效率。
-
優化 DeepSpeed
- 適配摩爾線程 GPU 集群的 DeepSpeed 與 Ulysses，強化長文本訓練支援。
- 適配國內外多款大模型。
-
穩定性提升
- 軟硬體成熟，實現連續無故障訓練 15 天。
- 引入 KUAE Aegis 可靠性功能，加強監控、自動診斷與故障復原能力。
-
視覺化 / 可觀測
- 引入 PerfSight 效能監控系統，即時顯示訓練過程中的資源消耗與效能資料。
-
內建模型庫新增大模型
- 新增 LLaMA2 全系列、百川、雅意、Qwen2、Mixtral（MoE 8x7B）等模型。
以上是摩爾線程'誇娥智算集群 KUAE” 1.2 版本發布：支援 64K 長文本、新增 LLaMA2 全系列大模型等的詳細內容。更多資訊請關注PHP中文網其他相關文章！
