AI大模型背後，竟是驚人的碳排放

自從ChatGPT這樣的大型語言模型在全球引起轟動以來，很少有人注意到，訓練和運行大型語言模型正在產生驚人的碳排放量。

雖然OpenAI和Google都沒有說過他們各自產品的計算成本是多少，但根據第三方研究人員分析，ChatGPT部分訓練消耗了1287兆瓦時，並導致了超過550噸的二氧化碳排放量，相當於一個人在紐約和舊金山之間往返550次。

事實上，這只是訓練時的排放量，當AI大模型運行時還會排出更多的二氧化碳。

加拿大資料中心公司QScale聯合創辦人Martin Bouchard認為，微軟和Google為了滿足搜尋引擎使用者日益增長的需求，在搜尋中加入ChatGPT這類生成式AI，會導致每次搜尋至少增加4到5倍的計算量。

如果還要經常重新訓練模型，並且加入更多的參數，計算量的規模就完全不同了。

根據國際能源總署（International Energy Agency）的數據，資料中心的溫室氣體排放量已佔到全球溫室氣體排放量的約1%。

隨著AI大模型和對雲端運算需求的成長，這個數字預計還會上升。

AI大模型，正成為碳排放的一個重要來源。

1.降低AI大模型的碳排放

AI模型的訓練和運作過程需要消耗大量能源，但關鍵問題是，如何知道及計算單一機器學習實驗正在產生多少溫室氣體排放，以及可以減少多少？

目前資料科學家仍無法簡單可靠地取得該領域的測量結果，這也妨礙著進一步發展可行的因應策略。

針對這個問題，Google發表了一項研究，詳細介紹了最先進的語言模型的能源成本，包括早期和更大版本的LaMDA。

研究結果表明，將高效的模型、處理器和資料中心與清潔能源結合，可以將機器學習系統的碳足跡減少1000倍。

團隊提出了四種基本方法，可大幅減少機器學習工作負載的碳（和能源）足跡，這些方法目前在Google中使用，任何使用Google Cloud服務的人都可以使用。

Google能源和碳足跡減少最佳實踐（4Ms）如下：

• 模型：研究人員表示，選擇高效的ML模型架構至關重要，因為它有可能提高ML質量，同時將運算時間縮短一半。
• 機器：與通用處理器相比，使用專門用於ML訓練的處理器和系統可以將效能和能源效率提高2倍至5倍。
• 機械化：大多數情況下，本地資料中心更老、更小。因此，新的節能冷卻和配電系統的費用無法攤提。

基於雲端的資料中心是全新的、客製化設計的倉庫，具有可容納50000台伺服器的能源效率特性。它們提供異常高效率的電源利用率 (PUE)。

因此，在雲端而不是在本地進行運算，可以節省1.4-2倍的能源並減少污染。

• 優化：雲端可讓客戶選擇具有最清潔能源的區域，從而將總碳足跡減少5到10倍。基於4Ms改進的模型、特定於機器學習的硬體和高效的資料中心，大大抵消了這種負載增加。

Google的數據表明，機器學習訓練和推理在過去三年中僅佔谷歌整體能源使用量的10%至15%，其中每年有35%用於推理，25%用於訓練。

為了找到改進的機器學習模型，Google採用了神經架構搜尋 (NAS)。

每個問題域/搜尋空間組合通常只執行一次NAS，然後可以將生成的模型重複用於數百個應用程序，NAS的一次性成本通常被持續使用的減排量所抵消。

研究人員進行了一項研究來訓練Transformer模型。

為此，他們在典型的資料中心中使用了Nvidia P100 GPU，其能源組合與全球平均水平相似，而使用TPUv4等新一代ML硬件，性能比P100提升了14倍。

同時，高效率的雲端資料中心比一般資料中心節省1.4倍的能源，進而使總能耗降低83倍。

此外，低碳能源驅動的資料中心可以將碳排放量再減少9倍，在四年內總共減少747倍。

Google團隊認為，在資訊科技領域，製造各種類型和規模的計算設備的生命週期成本，比機器學習的營運成本要高得多。

排放估算的製造成本包括製造所有相關組件（從晶片到資料中心建築）所排放的嵌入碳。

當然，除了使用4Ms方法，服務提供者和使用者還可以採取簡單的措施來提高他們的碳足跡績效，例如：

客戶應透過讓資料中心提供者報告資料中心效率和每個位置的能源供應清潔度，來分析和減少他們的能源使用和碳足跡。

工程師應該在最環保的資料中心中最快的處理器上訓練模型，這些資料中心越來越多地在雲端上。

機器學習的研究人員應該專注於設計更有效的模型，如：利用稀疏性或包含檢索來減少模型。

此外，他們應該報告他們的能源消耗和碳影響。這不僅會鼓勵超越模型品質的競爭，而且還可以確保對他們的工作進行正確的核算。

2.AI輔助降低碳排放

儘管AI大模型是碳排放大戶，但以AI為代表的前沿科技也正在為降碳減排做出貢獻。

百度與顧問機構IDC（International Data Corporation）共同進行的研究顯示：與AI相關的技術減碳貢獻佔比會逐年提升，到2060年將至少達到70% ，減碳總量預計超過350億噸。

以交通產業為例，2020年中國交通產業的碳排放估計為10.4億噸，佔全國整體排放的9%。

而在驅動交通產業降碳減量過程中，使用以智慧信控為主的緩堵型智慧交通技術，可以有效提升城市主要道路交叉口的通行效率，千萬級人口城市因此每年可至少減碳4.16萬噸──這相當於1.4萬輛私家車行駛一年的碳排量。

從目前的實踐來看，理解和實現減排的關鍵是對減排的效果進行預測和監控，而AI在節能減排中具有預測排放、監測排放、減少排放三個關鍵應用。

根據《碳中和產業發展白皮書》顯示，在預測排放方面，AI 能夠根據當前減排工作和需求，預測未來的碳排放量，同時為碳排放定下排放量指引。

在監控排放方面，AI 能即時追蹤碳足跡數據，從採購、生產、銷售、維運、物流等全環節收集數據，提升監控準確性。

在減少排放方面，AI 收集各環節資料後，能夠以全局視角對各環節工作流程做出最佳化調整。

事實上，在AI輔助碳減量方面，目前國內多個領域已有應用。

在新能源領域，突出問題在於其具有波動性、隨機性、間歇性特徵。

透過AI技術結合模擬計算，對風光電的不穩定情況做場景預測，如：結合風速、風向、光照強度等自然氣象特徵對未來的發電量進行合理的預測，向電網輸出更精準的發電計劃，將新能源的不確定性、不穩定屏蔽在技術層之下。

再例如，水務集團的管轄範圍包括原水、制水、供水、排水、污水、節水等。

以居民供水為例，水壓過大，所需能耗大，管網漏損率高，可能會引起爆管事件；而水壓過小，可能會造成居民用水不便。

為了解決這個問題，水務集團在地下部署硬體感測器監測水壓、建設水務大腦，在保證安全、穩定供水的前提下，透過AI技術可以實現智慧化調壓控制、能耗最佳化。

不僅如此，AI降碳技術也應用在電廠、園區、資料中心等能源消耗較高的業務場景中，對其生產用電需求進行精確預測與控制，進行耗電設備、碳足跡的最佳化。

3.結語

AI技術的進步為人類帶來了許多便利，但也必須在發展中關注環境問題。

未來AI如何實現永續發展，以及AI如何更好地支撐雙碳領域的變革，仍是亟需各產業共同解決的問題。

#

以上是AI大模型背後，竟是驚人的碳排放的詳細內容。更多資訊請關注PHP中文網其他相關文章！