中兴通讯推出'星云研发大模型”:AI 编程助手、1000 亿 token 震撼登场

王林
发布: 2023-10-12 23:05:06
转载
1241 人浏览过

IT之家报道,2023年10月11日至13日,中国移动全球合作伙伴大会期间,中兴通讯展示了他们的“星云研发大模型”,该模型旨在帮助开发人员进行需求分析、产品设计、编程、测试和版本部署等工作

中兴通讯推出“星云研发大模型”:AI 编程助手、1000 亿 token 震撼登场

据介绍,"星云研发大模型" 支持白名单机制,能够有效控制使用范围。同时,它还可以通过代码特征值识别来有效识别敏感代码片段,并通过敏感词识别机制实时监测和拦截敏感内容。此外,该模型还具备后台审计机制,可以完整回溯安全事件

中兴通讯表示,2023 年 4 月,“星云研发大模型”使用启动,截至目前,日活人数达 1.2 万人, 代码采纳率达 40%~45%,编码提效 30%,整体研发提效 10%。

根据官方公告,IT之家得知,中兴通讯将会将领域数据、知识积累、大量通信领域技术文档和1000亿个无线/核心网/云代码语料等注入到大型模型中进行增量预训练,并采用并行训练框架

中兴通讯声称:“我们的自研部署方案采用了动态批处理策略和PagedAttention技术,结合无损模型量化,大大提升了吞吐量。单个GPU(A800)的吞吐量达到了1500个tokens/秒,仅使用4张GPU卡(A800)就能满足超过千人的使用需求。与行业常规的部署方案相比,单个GPU的吞吐量分别提升了10倍以上和20倍以上;同时结合int4量化技术,在不降低模型精度的情况下,模型大小和显存使用量都减少了一半。”

以上是中兴通讯推出'星云研发大模型”:AI 编程助手、1000 亿 token 震撼登场的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:sohu.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板