本站 8 月 19 日消息，摩尔线程“夸娥智算集群 KUAE” 1.2 版本正式发布。该版本对软硬件层面的综合性进行优化，支持 64K 长文本、新增 LLaMA2 全系列大模型、百川、雅意、Qwen2、Mixtral（MoE 8x7B）等模型。
更新内容：
-
MFU 提升
- 使用千卡集群训练千亿模型，MFU 提升 10%。
- 稠密模型集群训练 MFU 最高达到 55%。
-
Flash Attention2 优化
- 集成 MUSA SDK 平台优化后的 Flash Attention2 技术，提升大模型训练效率与资源利用率。
-
64K 长文本支持
- 增强对长文本大模型训练的支持，优化处理长文本理解和生成任务的能力。
-
支持混合专家模型 MoE
- All2All 优化，针对 muDNN 算子优化不同形状下的矩阵运算，支持 MoE 大模型训练。
-
断点续训
- 提升 Checkpoint 读写性能，提高训练效率。
-
优化 DeepSpeed
- 适配摩尔线程 GPU 集群的 DeepSpeed 与 Ulysses，强化长文本训练支持。
- 适配国内外多款大模型。
-
稳定性提升
- 软硬件成熟，实现连续无故障训练 15 天。
- 引入 KUAE Aegis 可靠性功能，加强监控、自动诊断与故障恢复能力。
-
可视化 / 可观测
- 引入 PerfSight 性能监控系统，实时显示训练过程中的资源消耗与性能数据。
-
内置模型库新增大模型
- 新增 LLaMA2 全系列、百川、雅意、Qwen2、Mixtral（MoE 8x7B）等模型。
以上是摩尔线程'夸娥智算集群 KUAE” 1.2 版本发布：支持 64K 长文本、新增 LLaMA2 全系列大模型等的详细内容。更多信息请关注PHP中文网其他相关文章！
