經過多年的開發，OpenAI公司推出的DALL-E和GPT-3生成式AI系統風靡全球，目前凸顯了其驚人的應用潛力。然而，這種生成式AI爆發式增長存在一個問題：每當DALL-E創建一張圖像或GPT-3預測出現下一個的單字時，就需要進行多次推斷計算，因此佔用大量的資源，並耗費更多的電力。目前的GPU和CPU架構無法有效地運作以滿足迫在眉睫的運算需求，這為超大規模資料中心營運商帶來巨大的挑戰。
研究機構預測，資料中心成為了全球最大的能源消費者，佔總用電量的比例將從2017年的3%上升到2025年的4.5 %。以中國為例，2030年全國營運的資料中心用電量預計將超過4,000億度，佔全國總用電量的4%。
雲端運算供應商也認識到他們的資料中心使用了大量電力，並採取了提高效率的方法措施，例如在北極建設和營運資料中心，以利用再生能源和自然冷卻條件。不過，這還不足以滿足AI應用爆炸性成長的需求。
美國勞倫斯伯克利國家實驗室在研究中發現，在過去20年，資料中心效率的提高一直在控制能耗的成長，但研究表明，現在的能源效率措施可能不足以滿足未來資料中心的需求，因此需要採用更好的方法。
資料傳輸是致命瓶頸
效率的根源在於GPU和CPU的工作方式，特別是在運行AI推理模型與訓練模型的時候。很多人了解「超越摩爾定律」以及在更大尺寸的晶片上封裝更多電晶體的物理限制。更先進的晶片正在幫助解決這些挑戰，但目前的解決方案在AI推理方面有一個關鍵弱點：在隨機存取記憶體中傳輸資料的速度顯著降低。
傳統上，分離處理器和記憶體晶片成本更低，多年來，處理器時脈速度一直是電腦效能的關鍵限制因素。如今，阻礙發展的是晶片之間的互連。
美國國家標準與技術研究院（NIST）研究人員的Jeff Shainline解釋說：“當記憶體和處理器分離時，連接兩個域的通訊鏈路就成為了系統的主要瓶頸。”美國橡樹嶺國家實驗室研究人員Jack Dongarra教授簡潔地說:「當我們審視當今電腦的表現時，發現資料傳輸是致命的瓶頸。」
AI推理vs.AI訓練
與使用AI模型進行預測相比，AI系統在訓練AI模型時使用不同類型的計算。 AI訓練在一個基於Transformer的模型中載入數以萬計的圖像或文字樣本作為參考，然後開始處理。 GPU中的數千個核心非常有效地處理大量豐富的資料集，例如影像或視頻，如果需要更快地得到結果，可以租用更多的基於雲端運算的GPU。
雖然AI推理需要更少的能量來進行計算，但在數億用戶的自動補全中，需要大量的計算和預測來決定下一個單字是什麼，這比長期的訓練要耗費更多的能量。
例如，Facebook的AI系統每天在其資料中心觀察到數萬億次推斷，在過去三年，這一數字增加了一倍以上。研究發現，在大型語言模型（LLM）上運行語言翻譯推理所消耗的能量是初始訓練的兩到三倍。
需求激增考驗計算效率
ChatGPT在去年底風靡全球，GPT-4也更令人印象深刻。如果能採用更節能的方法，就可以將AI推理擴展到更廣泛的設備上，並創造出新的計算方式。
例如，微軟的Hybrid Loop旨在構建動態利用雲端運算和邊緣設備的AI體驗，這允許開發人員在Azure雲端平台、本地客戶端電腦或行動裝置上運行AI推理時做出後期綁定決策，以最大限度提高效率。 Facebook引入了AutoScale來幫助用戶在運行時有效地決定在哪裡計算推斷。
為提高效率，需要克服阻礙AI發展的障礙，並找到行之有效的方法。
取樣和管線可以透過減少處理的資料量來加快深度學習。 SALIENT(用於採樣、切片和資料移動)是由麻省理工學院和IBM公司的研究人員開發的用於解決關鍵瓶頸一種新方法。這種方法可以顯著地降低在包含1億個節點和10億邊的大型資料集上運行神經網路的需求。但它也影響了準確性和精確性——這對於選擇下一個要顯示的社交貼文來說是可以接受的，但如果試圖近距離即時識別工地上的不安全條件則不符合要求。
蘋果、英偉達、英特爾和AMD等科技公司已經宣布將專用AI引擎整合到處理器中，AWS甚至正在開發新的Inferentia 2處理器。但這些解決方案仍然使用傳統的馮諾依曼處理器架構、整合SRAM和外部DRAM記憶體——這些都需要更多電力來將資料移進和移出記憶體。
記憶體內計算或成為解決之道
此外，研究人員已經發現了另一種打破「記憶體牆」的方法，那就是讓計算更接近內存。
記憶體牆指的是限制資料進出記憶體速度的實體屏障，這是傳統架構的一個基本限制。記憶體內運算（IMC）透過直接在記憶體模組中執行AI矩陣運算來解決這項挑戰，避免了透過記憶體匯流排發送資料的開銷。
IMC適用於AI推理，因為它涉及一個相對靜態但很大的權重資料集，可以重複存取。雖然總是需要輸入和輸出一些數據，但是AI透過將數據保存在相同的實體單元中，可以有效地使用和重複用於多個計算，從而消除了大部分的能量傳輸費用和數據移動的延遲。
這種方法提高了可擴展性，因為它可以很好地用於晶片設計。透過採用新晶片，AI推斷技術可以在開發人員的電腦上進行測試，然後透過資料中心部署到生產環境。資料中心可以使用一組具有許多晶片處理器的大型設備來有效地運行企業級AI模型。
隨著時間的推移，預計IMC將成為AI推理用例的主導架構。當用戶處理大量的資料集和數萬億次的計算時，這是非常有意義的。因為不必浪費更多資源在記憶體牆之間傳輸數據，而且這種方法可以輕鬆擴展以滿足長期需求。
小結：
AI產業現在正處於一個令人興奮的轉折點。生成式AI、影像辨識和資料分析的技術進步揭示了機器學習的獨特連結和用途，但首先需要建立一個能夠滿足這項需求的技術解決方案。因為根據Gartner的預測，除非目前能提供更永續的選擇，否則到2025年，AI消耗的能源將超過人類活動所消耗的能源。在這種情況發生之前，需要想出更好的方法！
以上是ChatGPT熱潮下的冷思考：2025年AI能耗或超人類，AI計算需提質增效的詳細內容。更多資訊請關注PHP中文網其他相關文章！
