百川智能发布Baichuan-13B AI模型,号称'130亿参数开源可商用”

王林
发布: 2023-07-19 20:37:09
转载
699 人浏览过

IT之家 7 月 11 日消息,王小川旗下百川智能今日发布 Baichuan-13B 大模型,号称“130 亿参数开源可商用”。

百川智能发布Baichuan-13B AI模型,号称“130亿参数开源可商用”

▲ 图源 Baichuang-13B GitHub 页面

据官方介绍,Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型,在中英文 Benchmark 上均取得同尺寸模型中最好的效果。本次发布包含有预训练 (Baichuan-13B-Base) 和对齐 (Baichuan-13B-Chat) 两个版本。

百川智能发布Baichuan-13B AI模型,号称“130亿参数开源可商用”

▲ 图源 Baichuang-13B GitHub 页面

官方宣称,Baichuan-13B 有如下几个特点:

  • 更大尺寸、更多数据:Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿,并且在高质量的语料上训练了 1.4 万亿 tokens,超过 LLaMA-13B40%,是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语,使用 ALiBi 位置编码,上下文窗口长度为 4096。
  • 同时开源预训练和对齐模型:预训练模型是适用开发者的『 基座 』,而广大普通用户对有对话功能的对齐模型具有更强的需求。因此项目中同时具有对齐模型(Baichuan-13B-Chat),具有很强的对话能力,开箱即用,几行代码即可简单地部署。
  • 更高效的推理:为了支持更广大用户的使用,项目中同时开源了 int8 和 int4 的量化版本,相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛,可以部署在如英伟达 RTX3090 这样的消费级显卡上。
  • 开源免费可商用:Baichuan-13B 不仅对学术研究完全开放,开发者也仅需邮件申请并获得官方商用许可后,即可以免费商用。

目前该模型已经在 HuggingFace、GitHub、Model Scope 公布,感兴趣的 IT之家小伙伴们可以前往了解。

以上是百川智能发布Baichuan-13B AI模型,号称'130亿参数开源可商用”的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:sohu.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板