AI大牛李沐裝機影片來了！你也能練100億的大模型

在還沒出裝機影片前，李沐老師曾發起了一個小小的問卷調查，趁著顯卡降價，看下童鞋們對裝機跑Transformer有多大興趣。

當時，就連華為天才少年「稚暉君」都來點讚了，足見大家還是很期待的。

這不，沐神帶著他的裝置影片來了。怎樣用最低的成本訓練一個100億模型？

而就在最近，幣圈也在一直降溫，同時GPU也明顯降價了不少，就例如英偉達3090TI現在售價1600美元（原價2000美元）。

在這個專案的開始，先裝了2台原型機，每台機器都是雙卡RTX 3090TI ，採用了水冷散熱系統，減少了噪音。

一台機器裝下來，造價有5000多美元，大約3萬5人民幣。

話不多說，來看看沐神如何裝機的吧～

##裝機清單

裝機的需求，首先就要夠安靜。不然太吵的話沒辦法工作。

第二個需求就是散熱要好。不然溫度過高的話會導致GPU降頻。

第三個，重點來了，因為要跑比較大的Transformer模型，所以GPU的頻寬必須夠好。

如果之前裝過GPU伺服器用來跑CNN的話，跟跑Transformer模型的需求會不太一樣。因為Transformer模型比CNN模型更大，對記憶體的佔有率會更高。所以GPU的記憶體大小非常重要。

之前沐神也講過，要把這樣大的Transformer模型放到多個GPU上訓練，來自Google、微軟等的工程師都是用類似DGA X100這樣的機器來跑的。即使在這樣的機器上，GPU的頻寬仍然是一個瓶頸。

購買這種伺服器GPU和遊戲GPU的差別就在於，前者不在於單卡能跑得多快，而是卡片與卡片之間能夠多快地連接出來。

因此裝機概念的重點是：盡量增大GPU內存，以及GPU之間互聯的一個頻寬，

如果一台機器想放很多卡的話，就要買渦輪的散熱。

如果想要安靜的話，就買水冷的散熱，沐神買的是4塊3090 TI。用水冷的好處是比較安靜，壞處就是特別佔地方。

所以，如果要在機殼上放四張卡片的話，就不要買水冷的版本，而是要買只有一個渦輪風扇的版本。

而且機殼裡風的流向是一個特別重要的問題。如果買有3個風扇的卡，風是從正面進入機箱，然後從四面八方散熱，卡挨得緊的話，機殼裡的溫度就會非常高。

沐神也說，自己在多年前，買了四塊2個大風扇的卡片放在一起，結果就導致一塊卡溫度過高燒掉了。 #

GPU選好以後（華碩的ROG)， 剩下的配置就比較簡單。 CPU用的是AMD的12核心CPU，主機板是號稱PCIE 4.0 16的某牌子，硬碟是2 TB的M.2的硬碟，風扇是120毫米水冷風扇，加一個全尺寸機箱。

裝機步驟

#裝機清單完成後，接下來就是具體的裝​​置過程了。步驟如下：

先放置GPU。注意，放的過程中一定不能用手碰金屬的地方，如果有靜電的話非常容易造成GPU導電。

把GPU放進去之後，把螺絲擰上。然後把風扇裝進去。

插上電源後，把電源線和水管線綁在一起。然後把NVLink的橋接連上去。

最後連上電源，機器就可以運作了。

壓力測試

#在裝置完成後，下一步的任務就是繼續裝上作業系統。

沐神裝的是ubuntu22，裝上之後就靠遠端連上去了。

當然了，沐神也是把各種情​​況說的比較詳細，除了ubuntu22以外，windows和linux在不同的需求下也是可以的。

這裡沐神用的SSH進行的遠端連線。

沐神的系統已經裝上了驅動，同時，他也指出如果還沒有驅動的話，也可以用apt-get裝上nvidia-driver-515。

裝好之後，就可以執行nvidia-smi，看到系統了。

從中可以看到各項資訊。例如GPU的數量、溫度、瓦數、記憶體使用等等。

接下來還可以透過nvidia-smi的topo-m矩陣看到nv-link是否正常。

可以看到兩個GPU由NV4連接。 4表示4個頻道，這代表連線是正常的。

下一題，是測試系統在滿載的情況下的溫度。

沐神表示，測試GPU的是一個叫gpu-burn的小程序，github上可以下載。

這裡沐神模擬跑了十分鐘，也是看到了兩個GPU的溫度。沐神還打趣說，都能感覺到GPU在呼呼吹熱風。

#

同理，CPU也可以用這種方法測試溫度，用的是cpu-burn。

最終兩個GPU的溫度停留在58度和55度，功耗拉到了440多瓦（滿功耗480瓦），還挺好的。

最後的一項參數是機器的耗電情況。沐神的測試大概用了1240瓦，意味著每小時用電1.5度。

從目前的資料來看，穩定性還ok。

至於用這台機器跑Transformer效能怎麼樣，還得等下期影片了。

網友熱評

影片發出後，b站的網友也表示出了極大的興趣。

有滿分課程代表同學出沒，列出了影片中提到的完整配置清單。

還有網友火速前來圍觀，「跟李沐學裝機」。

#沐神自己表示，覺得3090ti的卡片不是太行。馬上有網友搭腔，「不行就抽了送人吧。」

當然了，這種硬派裝置影片下的評論肯定少不了幽默因素。

只能說，太真實了。

#

以上是AI大牛李沐裝機影片來了！你也能練100億的大模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！