首页 科技周边 人工智能 仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型

仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型

Apr 25, 2024 pm 04:10 PM
apache 产业 压缩技术

Snowflake 加入 LLM 混战。


Snowflake 发布高「企业智能」模型 Arctic,专注于企业内部应用。

刚刚,数据管理和仓库提供商 Snowflake 宣布加入 LLM 混战,发布了一款专注于企业级应用的顶级大型语言模型(LLM)——Snowflake Arctic。

作为一家云计算公司推出的 LLM,Arctic 主要具备以下两个方面的优势:

  • 高效智能:Arctic 在企业任务方面表现出色,例如 SQL 生成、编程和指令遵循,甚至可与使用更高计算成本训练的开源模型媲美。Arctic 为经济高效的训练设定了新的基线,使 Snowflake 客户能够以低成本为其企业需求创建高质量的定制模型。
  • 开源开放:Arctic 采用 Apache 2.0 许可,提供对权重和代码的开放访问,Snowflake 还将开源所有的数据方案和研究发现。

现在,你可以在 Hugging Face 上访问 Arctic 模型。Snowflake 表示:用户很快可以通过一些模型库获取,包括 Snowflake Cortex、AWS、微软 Azure、NVIDIA API、Lamini、Perplexity、Replicate 和 Together 等。
仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型
Hugging Face:https://huggingface.co/Snowflake/snowflake-arctic-instruct

Arctic 的上下文窗口设置为 4K,研究团队正在研发基于注意力池(attention-sink)的滑动窗口实现,在未来几周内将支持无限序列生成,并在不久的将来扩展到 32K 注意力窗口。

高性能、低成本

Snowflake 的研究团队从企业客户的 AI 需求和使用案例中看到了一个一致的模式:企业希望使用 LLM 构建对话式 SQL 数据 copilot、代码 copilot 和 RAG 聊天机器人。

这意味着 LLM 需要在 SQL、代码、复杂指令遵循和生成具体响应方面表现出色。Snowflake 将这些能力融合成一个称为「企业智能」的单一指标,具体方式是对编码(HumanEval 和 MBPP )、SQL 生成(Spider)和指令遵循(IFEval)性能水平取平均值。

Arctic 在开源 LLM 中达到了顶级的「企业智能」水平,而且是在大约不到 200 万美元的训练计算成本(少于 3K GPU 周)的情况下做到的。这意味着 Arctic 比其他使用类似计算成本训练的开源模型能力更强。

更重要的是,即使与那些使用远高于其的计算成本训练的模型相比,Arctic 在企业智能方面也表现出色。Arctic 的高训练效率意味着 Snowflake 的客户和整个 AI 社区可以以更经济的方式训练定制模型。

如图 1 所示,Arctic 在企业智能指标上与 LLAMA 3 8B 和 LLAMA 2 70B 不相上下,而使用的训练计算成本不到一半。并且,尽管仅使用 1/17 倍的计算成本,Arctic 在编码(HumanEval 和 MBPP )、SQL(Spider)和指令遵循(IFEval)等指标上可与 Llama3 70B 媲美,即 Arctic 在保持整体性能竞争力的同时做到了这一点。
仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型
仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型
此外,Snowflake 还在学术基准上评估了 Arctic,涉及世界知识、常识推理和数学能力,完整评估结果如下图所示:
仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型
仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型
训练效率

为了达到上述训练效率,Arctic 采用一种独特的 Dense-MoE 混合 transformer 架构。它将一个 10B 的密集 transformer 模型与一个 128×3.66B 的残差 MoE MLP 结合起来,总共有 480B 参数和 17B 活跃参数,使用 top-2 gating 来进行选择。

设计和训练Arctic 时,研究团队使用了以下三个关键的见解和创新:

MoE 专家数量多,并采取压缩技术

2021 年底,DeepSpeed 团队证明了MoE 可以应用于自回归LLM,从而显着提高模型质量而不增加计算成本。在设计 Arctic 时,研究团队注意到,基于这个思路,模型质量的提高主要取决于 MoE 模型中的专家数量和总参数量,以及这些专家的组合方式数量。

基于此,Arctic 被设计为在128 个细粒度(fine-grained)专家之间分布480B 参数,并使用top-2 gating 来选择17B 活跃参数。

架构与系统协同设计

在强大的AI 训练硬件上训练具有大量专家的基本MoE 架构非常低效,因为专家之间的全连接通信开销很高。 Snowflake 发现,如果通信可以与计算重叠,就可以省去这种开销。

因此,Arctic 将密集transformer 与残差MoE 组件相结合(图2),通过通信计算重叠,使训练系统能够实现良好的训练效率,隐藏了通信开销的大部分。
仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型
聚焦企业数据的课程学习

在代码生成和SQL 等企业级指标上表现出色需要与通用指标截然不同的数据课程学习(Curriculum Learning)。通过数百次小规模的消融实验,该团队了解到通用技能,如常识推理,可以在初始阶段学习;而编码、数学和 SQL 等更复杂的指标可以在训练后期有效学习。

这可以类比于人类的生活教育,从简单到困难逐步获取能力。因此,Arctic 使用一个三阶段的课程学习,每个阶段的数据构成都不同,第一阶段侧重于通用技能(1T token),后两个阶段侧重于企业技能(1.5T 和 1T token)。
仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型
推理效率
仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型
推理效率也是模型高效的一个重要方面,影响到模型是否可以在低成本下进行实际部署。

Arctic 代表了 MoE 模型规模的一次飞跃,它比任何其他开源自回归 MoE 模型都使用了更多的专家和总参数。因此,Snowflake 需要几个创新思路来确保Arctic 能够高效推理:

a) 在批大小较小的交互推理中,例如批大小为1,MoE 模型的推理延迟受制于读取所有活跃参数的时间,推理是受内存带宽限制的。在这种批大小下,Arctic(17B 活跃参数)的内存读取量仅为 Code-Llama 70B 的 1/4、Mixtral 8x22B(44B 活跃参数)的 2/5,从而具备更快的推理速率。

b) 当批大小显着增加,例如每次前向传递数千个token 时,Arctic 从内存带宽受限转变为计算受限,推理受到每个token 的活跃参数的限制。在这方面,Arctic 的计算量是 CodeLlama 70B 和 Llama 3 70B 的 1/4。

为了实现计算受限的推理和与 Arctic 中少量活跃参数相匹配的高吞吐量,需要一个较大的批大小。实现这一点需要有足够的 KV 缓存来支持,同时还需要足够的内存来存储模型的近 500B 参数。

虽然具有挑战性,但Snowflake 通过使用两个节点进行推理,并结合FP8 权重、split-fuse 和连续批处理、节点内张量并行以及节点间pipeline 并行等系统优化来实现。

研究团队已与 NVIDIA 展开密切合作,针对由 TensorRT-LLM 驱动的 NVIDIA NIM 微服务进行推理优化。同时,研究团队还与 vLLM 社区合作,内部开发团队也将在未来几周内为企业用例实现 Arctic 的高效推理。

参考链接:https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/

以上是仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
4 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

首配机械爪!元萝卜亮相2024世界机器人大会,发布首个走进家庭的国际象棋机器人 首配机械爪!元萝卜亮相2024世界机器人大会,发布首个走进家庭的国际象棋机器人 Aug 21, 2024 pm 07:33 PM

8月21日,2024世界机器人大会在北京隆重召开。商汤科技旗下家用机器人品牌“元萝卜SenseRobot”家族全系产品集体亮相,并最新发布元萝卜AI下棋机器人——国际象棋专业版(以下简称“元萝卜国象机器人”),成为全球首个走进家庭的国际象棋机器人。作为元萝卜的第三款下棋机器人产品,全新的国象机器人在AI和工程机械方面进行了大量专项技术升级和创新,首次在家用机器人上实现了通过机械爪拾取立体棋子,并进行人机对弈、人人对弈、记谱复盘等功能,

Claude也变懒了!网友:学会给自己放假了 Claude也变懒了!网友:学会给自己放假了 Sep 02, 2024 pm 01:56 PM

开学将至,该收心的不止有即将开启新学期的同学,可能还有AI大模型。前段时间,Reddit上挤满了吐槽Claude越来越懒的网友。「它的水平下降了很多,经常停顿,甚至输出也变得很短。在发布的第一周,它可以一次性翻译整整4页文稿,现在连半页都输出不了了!」https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/在一个名为「对Claude彻底失望了的帖子里」,满满地

世界机器人大会上,这家承载「未来养老希望」的国产机器人被包围了 世界机器人大会上,这家承载「未来养老希望」的国产机器人被包围了 Aug 22, 2024 pm 10:35 PM

正在北京举行的世界机器人大会上,人形机器人的展示成为了现场绝对的焦点,在星尘智能的展台上,由于AI机器人助理S1在一个展区上演扬琴、武术、书法三台大戏,能文能武,吸引了大量专业观众和媒体的驻足。在带弹性的琴弦上的优雅演奏,让S1展现出速度、力度、精度兼具的精细操作和绝对掌控。央视新闻对「书法」背后的模仿学习和智能控制进行了专题报道,公司创始人来杰解释到,丝滑动作的背后,是硬件侧追求最好力控和最仿人身体指标(速度、负载等),而是在AI侧则采集人的真实动作数据,让机器人遇强则强,快速学习进化。而敏捷

ACL 2024奖项公布:华科大破译甲骨文最佳论文之一、GloVe时间检验奖 ACL 2024奖项公布:华科大破译甲骨文最佳论文之一、GloVe时间检验奖 Aug 15, 2024 pm 04:37 PM

本届ACL大会,投稿者「收获满满」。为期六天的ACL2024正在泰国曼谷举办。ACL是计算语言学和自然语言处理领域的顶级国际会议,由国际计算语言学协会组织,每年举办一次。一直以来,ACL在NLP领域的学术影响力都位列第一,它也是CCF-A类推荐会议。今年的ACL大会已是第62届,接收了400余篇NLP领域的前沿工作。昨天下午,大会公布了最佳论文等奖项。此次,最佳论文奖7篇(两篇未公开)、最佳主题论文奖1篇、杰出论文奖35篇。大会还评出了资源论文奖(ResourceAward)3篇、社会影响力奖(

李飞飞团队提出ReKep,让机器人具备空间智能,还能整合GPT-4o 李飞飞团队提出ReKep,让机器人具备空间智能,还能整合GPT-4o Sep 03, 2024 pm 05:18 PM

视觉与机器人学习的深度融合。当两只机器手丝滑地互相合作叠衣服、倒茶、将鞋子打包时,加上最近老上头条的1X人形机器人NEO,你可能会产生一种感觉:我们似乎开始进入机器人时代了。事实上,这些丝滑动作正是先进机器人技术+精妙框架设计+多模态大模型的产物。我们知道,有用的机器人往往需要与环境进行复杂精妙的交互,而环境则可被表示成空间域和时间域上的约束。举个例子,如果要让机器人倒茶,那么机器人首先需要抓住茶壶手柄并使之保持直立,不泼洒出茶水,然后平稳移动,一直到让壶口与杯口对齐,之后以一定角度倾斜茶壶。这

AI在用 | 微软总裁疯狂安利的AI小游戏,虐我千千万万遍 AI在用 | 微软总裁疯狂安利的AI小游戏,虐我千千万万遍 Aug 14, 2024 am 12:00 AM

机器之能报道编辑:杨文以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式,但绝大部分人依然不知道该如何使用。因此,我们推出了「AI在用」专栏,通过直观、有趣且简洁的人工智能使用案例,来具体介绍AI使用方法,并激发大家思考。我们也欢迎读者投稿亲自实践的创新型用例。天啊噜,AI真的成精了。最近,AI生图真假难辨这事儿,闹得那叫一个沸沸扬扬。(查看详情,请移步:AI在用|三步速成AI美女,又被AI一秒打回原形)除了火爆全网的AI谷歌小姐姐,社交平台上又冒出了形形色色的FLUX生成

分布式人工智能盛会DAI 2024征稿:Agent Day,强化学习之父Richard Sutton将出席!颜水成、Sergey Levine以及DeepMind科学家将做主旨报告 分布式人工智能盛会DAI 2024征稿:Agent Day,强化学习之父Richard Sutton将出席!颜水成、Sergey Levine以及DeepMind科学家将做主旨报告 Aug 22, 2024 pm 08:02 PM

会议简介随着科技的飞速发展,人工智能已经成为了推动社会进步的重要力量。在这个时代,我们有幸见证并参与到分布式人工智能(DistributedArtificialIntelligence,DAI)的创新与应用中。分布式人工智能是人工智能领域的重要分支,这几年引起了越来越多的关注。基于大型语言模型(LLM)的智能体(Agent)异军突起,通过结合大模型的强大语言理解和生成能力,展现出了在自然语言交互、知识推理、任务规划等方面的巨大潜力。AIAgent正在接棒大语言模型,成为当前AI圈的热点话题。Au

OpenAI「草莓」模型再次跳票,凌晨发布的SWE-bench Verified是个啥? OpenAI「草莓」模型再次跳票,凌晨发布的SWE-bench Verified是个啥? Aug 14, 2024 pm 05:08 PM

有人说,「我们期待的是草莓,但他们发布的是羽衣甘蓝。」我们来看看这个「羽衣甘蓝」是做什么用的。一直以来,大模型的编程能力都备受关注,超强AI程序员Devin的问世更是将「AI能否替代程序员」这一话题推上了风口浪尖。最近,Devin也迎来了新对手——初创公司Cosine推出的自主AI程序员Genie。该公司表示,Genie的表现轻松超越了Devin,在第三方基准测试SWE-bench上的得分为30%,而Devin的得分仅为13.8%。这个SWE-Bench是一个用于评估LLM解决Gi

See all articles