中興通訊推出「星雲研發大模型」:AI 程式設計助手、1000 億 token 震撼登場

王林
發布: 2023-10-12 23:05:06
轉載
1242 人瀏覽過

IT之家報道,2023年10月11日至13日,中國移動全球合作夥伴大會期間,中興通訊展示了他們的“星雲研發大模型”,該模型旨在幫助開發人員進行需求分析、產品設計、程式設計、測試和版本部署等工作

中兴通讯推出“星云研发大模型”:AI 编程助手、1000 亿 token 震撼登场

據介紹,"星雲研發大模型" 支援白名單機制,能夠有效控制使用範圍。同時,它還可以透過程式碼特徵值識別來有效識別敏感程式碼片段,並透過敏感詞識別機制即時監控和攔截敏感內容。此外,該模型還具備後台審計機制,可完整回溯安全事件

中興通訊表示,2023 年4 月,「星雲研發大模型」使用啟動,截至目前,日活人數達1.2 萬人, 代碼採納率達40%~45%,編碼提效30%,整體研發提效10%。

根據官方公告,IT之家得知,中興通訊將將領域資料、知識累積、大量通訊領域技術文件和1000億個無線/核心網路/雲端程式碼語料等注入到大型模式中進行增量預訓練,並採用平行訓練架構

中興通訊聲稱:「我們的自研部署方案採用了動態批次策略和PagedAttention技術,結合無損模型量化,大大提升了吞吐量。單一GPU(A800)的吞吐量達到了1500個tokens/秒,僅使用4張GPU卡(A800)就能滿足超過千人的使用需求。與業界常規的部署方案相比,單一GPU的吞吐量分別提升了10倍以上和20倍以上;同時結合int4量化技術,在不降低模型精度的情況下,模型大小和顯存使用量都減少了一半。」

以上是中興通訊推出「星雲研發大模型」:AI 程式設計助手、1000 億 token 震撼登場的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:sohu.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板