摩尔线程'夸娥智算集群 KUAE” 1.2 版本发布:支持 64K 长文本、新增 LLaMA2 全系列大模型等

王林
发布: 2024-08-20 07:32:37
原创
288 人浏览过

本站 8 月 19 日消息,摩尔线程“夸娥智算集群 KUAE” 1.2 版本正式发布。该版本对软硬件层面的综合性进行优化,支持 64K 长文本、新增 LLaMA2 全系列大模型、百川、雅意、Qwen2、Mixtral(MoE 8x7B)等模型。

摩尔线程“夸娥智算集群 KUAE” 1.2 版本发布:支持 64K 长文本、新增 LLaMA2 全系列大模型等

更新内容:
  1. MFU 提升

    • 使用千卡集群训练千亿模型,MFU 提升 10%。
    • 稠密模型集群训练 MFU 最高达到 55%。
  2. Flash Attention2 优化

    • 集成 MUSA SDK 平台优化后的 Flash Attention2 技术,提升大模型训练效率与资源利用率。
  3. 64K 长文本支持

    • 增强对长文本大模型训练的支持,优化处理长文本理解和生成任务的能力。
  4. 支持混合专家模型 MoE

    • All2All 优化,针对 muDNN 算子优化不同形状下的矩阵运算,支持 MoE 大模型训练。
  5. 断点续训

    • 提升 Checkpoint 读写性能,提高训练效率。
  6. 优化 DeepSpeed

    • 适配摩尔线程 GPU 集群的 DeepSpeed 与 Ulysses,强化长文本训练支持。
    • 适配国内外多款大模型。
  7. 稳定性提升

    • 软硬件成熟,实现连续无故障训练 15 天。
    • 引入 KUAE Aegis 可靠性功能,加强监控、自动诊断与故障恢复能力。
  8. 可视化 / 可观测

    • 引入 PerfSight 性能监控系统,实时显示训练过程中的资源消耗与性能数据。
  9. 内置模型库新增大模型

    • 新增 LLaMA2 全系列、百川、雅意、Qwen2、Mixtral(MoE 8x7B)等模型。

以上是摩尔线程'夸娥智算集群 KUAE” 1.2 版本发布:支持 64K 长文本、新增 LLaMA2 全系列大模型等的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:ithome.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责声明 Sitemap
PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!