中興通訊推出「星雲研發大模型」：AI 程式設計助手、1000 億 token 震撼登場

IT之家報道，2023年10月11日至13日，中國移動全球合作夥伴大會期間，中興通訊展示了他們的“星雲研發大模型”，該模型旨在幫助開發人員進行需求分析、產品設計、程式設計、測試和版本部署等工作

據介紹，"星雲研發大模型" 支援白名單機制，能夠有效控制使用範圍。同時，它還可以透過程式碼特徵值識別來有效識別敏感程式碼片段，並透過敏感詞識別機制即時監控和攔截敏感內容。此外，該模型還具備後台審計機制，可完整回溯安全事件

中興通訊表示，2023 年4 月，「星雲研發大模型」使用啟動，截至目前，日活人數達1.2 萬人， 代碼採納率達40%~45%，編碼提效30%，整體研發提效10%。

根據官方公告，IT之家得知，中興通訊將將領域資料、知識累積、大量通訊領域技術文件和1000億個無線/核心網路/雲端程式碼語料等注入到大型模式中進行增量預訓練，並採用平行訓練架構

中興通訊聲稱：「我們的自研部署方案採用了動態批次策略和PagedAttention技術，結合無損模型量化，大大提升了吞吐量。單一GPU（A800）的吞吐量達到了1500個tokens/秒，僅使用4張GPU卡（A800）就能滿足超過千人的使用需求。與業界常規的部署方案相比，單一GPU的吞吐量分別提升了10倍以上和20倍以上；同時結合int4量化技術，在不降低模型精度的情況下，模型大小和顯存使用量都減少了一半。」

以上是中興通訊推出「星雲研發大模型」：AI 程式設計助手、1000 億 token 震撼登場的詳細內容。更多資訊請關注PHP中文網其他相關文章！