大模型訓練成本降低近一半!新加坡國立大學最新優化器已投入使用
優化器在大語言模型的訓練中佔據了大量記憶體資源。
現在有一種新的最佳化方式,在效能保持不變的情況下將記憶體消耗降低了一半。
此成果由新加坡國立大學打造,在ACL會議上獲得了傑出論文獎,並已經投入了實際應用。
圖片
隨著大語言模型不斷增加的參數量,訓練時的記憶體消耗問題更為嚴峻。
研究團隊提出了 CAME 優化器,在減少記憶體消耗的同時,擁有與Adam相同的效能。
圖片
CAME優化器在多個常用的大規模語言模型的預訓練上取得了相同甚至超越Adam優化器的訓練表現,並對大batch預訓練場景顯示出更強的穩健性。
進一步地,透過CAME優化器訓練大語言模型,能夠大幅降低大模型訓練的成本。
實作方法
CAME 最佳化器是基於 Adafactor 最佳化器改進而來,後者在大規模語言模型的預訓練任務中往往帶來訓練效能的損失。
Adafactor中的非負矩陣分解操作在深度神經網路的訓練中不可避免地會產生錯誤,對這些錯誤的修正就是效能損失的來源。
而透過比較發現,當起始數值mt和目前數值t相差較小時,mt的置信度更高。
圖片
受這一點啟發,團隊提出了一種新的最佳化演算法。
下圖的藍色部分就是CAME比較像Adafactor增加的部分。
圖片
CAME 最佳化器基於模型更新的置信度進行更新量修正,同時對引入的置信度矩陣進行非負矩陣分解運算。
最終,CAME成功以Adafactor的消耗得到了Adam的效果。
相同效果只消耗一半資源
團隊使用CAME分別訓練了BERT、GPT-2和T5模型。
先前常用的Adam(效果較優)和Adafactor(消耗更低)是衡量CAME表現的參考。
其中,在訓練BERT的過程中,CAME只用一半的步數就達到了和Adafaactor相當的精確度。
△左側為8K規模,右側為32K規模
對於GPT-2,從損失和困惑度兩個角度看,CAME的表現和Adam十分接近。
在T5模型的訓練中,CAME也呈現了類似的結果。
而對於模型的微調,CAME在精確度上的表現也不輸於基準。
資源消耗方面,在使用PyTorch訓練4B資料量的BERT時,CAME消耗的記憶體資源比基準減少了近一半。
團隊簡介
新加坡國立大學HPC-AI 實驗室是尤洋教授領導的高效能運算與人工智慧實驗室。
實驗室致力於高效能運算、機器學習系統和分散式平行運算的研究和創新,並推動在大規模語言模型等領域的應用。
實驗室負責人尤洋是新加坡國立大學電腦系的校長青年教授(Presidential Young Professor)。
尤洋在2021年被選入福布斯30歲以下精英榜(亞洲)並獲得IEEE-CS超算傑出新人獎,目前的研究重點是大規模深度學習訓練演算法的分散式最佳化。
本文第一作者羅暘是該實驗室的在讀碩士生,他目前研究重點為大模型訓練的穩定性以及高效訓練。
論文網址:https://arxiv.org/abs/2307.02047
GitHub專案頁:https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/CAME
#以上是大模型訓練成本降低近一半!新加坡國立大學最新優化器已投入使用的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

0.這篇文章乾了啥?提出了DepthFM:一個多功能且快速的最先進的生成式單目深度估計模型。除了傳統的深度估計任務外,DepthFM還展示了在深度修復等下游任務中的最先進能力。 DepthFM效率高,可以在少數推理步驟內合成深度圖。以下一起來閱讀這項工作~1.論文資訊標題:DepthFM:FastMonocularDepthEstimationwithFlowMatching作者:MingGui,JohannesS.Fischer,UlrichPrestel,PingchuanMa,Dmytr

想像一下,一個人工智慧模型,不僅擁有超越傳統運算的能力,還能以更低的成本實現更有效率的效能。這不是科幻,DeepSeek-V2[1],全球最強開源MoE模型來了。 DeepSeek-V2是一個強大的專家混合(MoE)語言模型,具有訓練經濟、推理高效的特點。它由236B個參數組成,其中21B個參數用於啟動每個標記。與DeepSeek67B相比,DeepSeek-V2效能更強,同時節省了42.5%的訓練成本,減少了93.3%的KV緩存,最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智

AI,的確正在改變數學。最近,一直十分關注這個議題的陶哲軒,轉發了最近一期的《美國數學學會通報》(BulletinoftheAmericanMathematicalSociety)。圍繞著「機器會改變數學嗎?」這個話題,許多數學家發表了自己的觀點,全程火花四射,內容硬核,精彩紛呈。作者陣容強大,包括菲爾茲獎得主AkshayVenkatesh、華裔數學家鄭樂雋、紐大電腦科學家ErnestDavis等多位業界知名學者。 AI的世界已經發生了天翻地覆的變化,要知道,其中許多文章是在一年前提交的,而在這一

波士頓動力Atlas,正式進入電動機器人時代!昨天,液壓Atlas剛「含淚」退出歷史舞台,今天波士頓動力就宣布:電動Atlas上崗。看來,在商用人形機器人領域,波士頓動力是下定決心要跟特斯拉硬剛一把了。新影片放出後,短短十幾小時內,就已經有一百多萬觀看。舊人離去,新角色登場,這是歷史的必然。毫無疑問,今年是人形機器人的爆發年。網友銳評:機器人的進步,讓今年看起來像人類的開幕式動作、自由度遠超人類,但這真不是恐怖片?影片一開始,Atlas平靜地躺在地上,看起來應該是仰面朝天。接下來,讓人驚掉下巴

本月初,來自MIT等機構的研究者提出了一種非常有潛力的MLP替代方法—KAN。 KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。 KAN與MLP一樣具有強大的數學基礎,MLP基於通用逼近定理,而KAN基於Kolmogorov-Arnold表示定理。如下圖所示,KAN在邊上具

特斯拉機器人Optimus最新影片出爐,已經可以在工廠裡打工了。正常速度下,它分揀電池(特斯拉的4680電池)是這樣的:官方還放出了20倍速下的樣子——在小小的「工位」上,揀啊揀啊揀:這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作,是完全自主的,全程沒有人為的干預。而且在Optimus的視角之下,它還可以把放歪了的電池重新撿起來放置,主打一個自動糾錯:對於Optimus的手,英偉達科學家JimFan給出了高度的評價:Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺

寫在前面項目連結:https://nianticlabs.github.io/mickey/給定兩張圖片,可以透過建立圖片之間的對應關係來估計它們之間的相機姿態。通常,這些對應關係是二維到二維的,而我們估計的姿態在尺度上是不確定的。一些應用,例如隨時隨地實現即時增強現實,需要尺度度量的姿態估計,因此它們依賴外部的深度估計器來恢復尺度。本文提出了MicKey,這是一個關鍵點匹配流程,能夠夠預測三維相機空間中的度量對應關係。透過學習跨影像的三維座標匹配,我們能夠在沒有深度測試的情況下推斷度量相對

什麼?瘋狂動物城被國產AI搬進現實了?與影片一同曝光的,是一款名為「可靈」全新國產影片生成大模型。 Sora利用了相似的技術路線,結合多項自研技術創新,生產的影片不僅運動幅度大且合理,還能模擬物理世界特性,具備強大的概念組合能力與想像。數據上看,可靈支持生成長達2分鐘的30fps的超長視頻,分辨率高達1080p,且支援多種寬高比。另外再劃個重點,可靈不是實驗室放出的Demo或影片結果演示,而是短影片領域頭部玩家快手推出的產品級應用。而且主打一個務實,不開空頭支票、發布即上線,可靈大模型已在快影
