騰訊發布星脈網路 2.0:大模型訓練效率比上代提升 20%

PHPz
發布: 2024-07-02 11:46:30
原創
674 人瀏覽過

感謝網友 航空先生 的線索投遞! 7 月2 日消息,騰訊昨天發布其自研星脈網路2.0 版本,升級後的星脈網路支援單集群10 萬卡組網,網路通訊效率比上一代提升60%,大模型訓練效率提升20% ,故障定位從天級降到分鐘級。獲悉,騰訊自研交換機從25.6T 升級到51.2T,容量提升一倍;自研矽光模組從200G 升級到400G,速率提升一倍;搭載自研算力網卡;整機通訊頻寬3.2T,為業界最高。騰訊自研全新通訊協定TiTa2.0 的部署位置從交換器轉移到了網路卡上,擁塞演算法也從被動擁塞演算法升級為主動擁塞控制演算法,將星脈網路的通訊效率提升30%,讓大模型的訓練效率提升10%。騰訊全新高效能集合通訊庫 TCCL2.0 採用 NVLINK+NET 異質並行通信,實現資料的平行傳輸。 Auto-Tune Network Expert 自適應演算法可根據機型、網路規模、模型演算法等差異,自動調整資料包分割大小、匹配演算法等參數。星脈網路通訊效能提升 30%,讓大模型的訓練效率再提升 10%。

腾讯发布星脉网络 2.0:大模型训练效率相比上代提升 20%

▲資料的平行傳輸(騰訊雲)TiTa 與 TCCL 升級帶來的效果疊加,讓星脈網路的通訊效率共提升 60%,大模式訓練效率共提升 20%。

以上是騰訊發布星脈網路 2.0:大模型訓練效率比上代提升 20%的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:ithome.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板