字節萬卡集群技術細節公開：2天搞定GPT-3訓練，算力利用率超英偉達Megatron-LM

隨著對Sora技術分析的展開，AI基礎設施的重要性愈發凸顯。

來自位元組和北大的一篇新論文在此時吸引關注：

文章披露，字節搭建起的萬卡集群，能在1.75天內完成GPT-3規模模型（175B）的訓練。

具體來說，位元組提出了一個名為MegaScale的生產系統，旨在解決在萬卡集群上訓練大模型時面臨的效率和穩定性挑戰。

在12288塊GPU上訓練1750億參數大語言模型時，MegaScale實現了55.2%的算力利用率（MFU），是英偉達Megatron-LM的1.34倍。

論文也透露，截止2023年9月，位元組已建立起超過1萬張卡的Ampere架構GPU（A100/A800）集群，目前正在建設大規模Hopper架構（H100/H800）集群。

適用於萬卡集群的生產系統

大模型時代，GPU的重要性已無需贅述。

但大模型的訓練，並不是把卡的數量拉滿就能直接開乾的——當GPU集群的規模來到「萬」字級別，如何實現高效、穩定的訓練，本身就是一個相當有挑戰的工程問題。

第一重挑戰：效率。

訓練大語言模型並非簡單的平行任務，需要在多個GPU之間分佈模型，而這些GPU需要頻繁通訊才能共同推進訓練流程。通訊之外，操作符優化、資料預處理和GPU記憶體消耗等因素，都對算力利用率（MFU）這個衡量訓練效率的指標有影響。

MFU是實際吞吐量與理論最大吞吐量之比。

第二重挑戰：穩定性。

我們知道，訓練大語言模型往往需要花費非常長的時間，這也意味著，訓練過程中失敗和延遲的現象並不鮮見。

失敗的成本是高昂的，因此如何縮短故障復原時間變得特別重要。

為了回應這些挑戰，位元組跳動的研究人員建構了MegaScale，並已將其部署到位元組的資料中心中，以支援各種大模型的訓練。

MegaScale是在英偉達Megatron-LM的基礎上改進的。

具體改進包括，演算法和系統組件的共同設計、通訊和計算重疊的最佳化、操作符最佳化、資料管線最佳化以及網路效能調優等：

• 演算法最佳化：研究人員在模型架構中引入並行化的Transformer區塊、滑動視窗注意力機制（SWA）和LAMB優化器，來提高訓練效率而不犧牲模型的收斂性。
• 通訊重疊：基於對3D並行（資料並行、管線並行、張量並行）中各個運算單元操作的具體分析，研究人員設計技術策略有效地減少了非關鍵執行路徑上操作所帶來的延遲，縮短了模型訓練中每一輪的迭代時間。
• 高效能操作符：對GEMM運算元進行了最佳化，對LayerNorm和GeLU等操作進行了融合，以減少啟動多個核心的開銷，並優化記憶體存取模式。
• 資料流水線最佳化：透過非同步資料預處理和消除冗餘的資料載入器，來最佳化資料預處理和加載，減少GPU空閒時間。
• 集體通訊群初始化：優化了分散式訓練中英偉達多卡通訊框架NCCL初始化的過程。 在未經最佳化的情況下，2048張GPU的叢集初始化時間是1047秒，最佳化後可降至5秒以下；萬卡GPU叢集的初始化時間則可降至30秒以下。
• 網路效能調優：分析了3D並行中的機器間流量，設計技術方案提高網路效能，包括網路拓撲設計、減少ECMP雜湊衝突、壅塞控制和重傳超時設定。
• 故障容忍：在萬卡叢集中，軟硬體故障難以避免。研究人員設計了一個訓練框架，來實現自動故障識別和快速恢復。具體包括，開發診斷工具來監控系統組件和事件、優化checkpoint高頻保存訓練進程等。

論文提到，MegaScale能夠自動偵測並修復超過90%的軟硬體故障。

實驗結果表明，MegaScale在12288個GPU上訓練175B大語言模型時，實現了55.2%的MFU，是Megatrion-LM算力利用率的1.34倍。

訓練530B大語言模型的MFU比較結果如下：

#One More Thing

就在這篇技術論文引發討論之際，位元組類Sora產品也傳出了新消息：

剪映旗下類似Sora的AI影片工具已經啟動邀請內測。

看樣子地基已經打好，那麼對於位元組的大模型產品，你期待嗎？

論文網址：https://arxiv.org/abs/2402.15627

以上是字節萬卡集群技術細節公開：2天搞定GPT-3訓練，算力利用率超英偉達Megatron-LM的詳細內容。更多資訊請關注PHP中文網其他相關文章！