比傳統方法快1萬倍、只需要1.4秒就能完成24小時全球氣象預報－它就是來自華為雲的盤古氣像大模型。
今天，它登上了Nature，據稱還是近年來首篇以中國科技公司作為唯一署名單位發表的Nature正刊論文（也就是華為雲獨作）。
圖片
審查者給予它高度評價，這個模型使人類得以重新審視氣象預報模型的未來。
言下之意，就是有了它，原來的傳統方法都不香了。
圖片
那麼，它究竟是如何被發展出來的呢？解決了哪些關鍵難題？又有何具體成效與應用？
順著這篇論文帶你一文看盡。
上世紀20年代以來，特別是近三十年隨著算力的迅速發展，傳統的數值天氣預報在每日天氣預報、極端災害預警、氣候變遷預測等領域取得了巨大的成功。
但是隨著算力增長的趨緩和物理模型的逐漸複雜化，這一方式的瓶頸日益突出。
於是研究者開始挖掘新的氣象預報範式如使用深度學習方法預測未來天氣。
華為雲端研發團隊於2年前開始這方面的研究。
他們發現，在數值方法應用最廣泛的領域如中長期預報中，現有的AI預報方法精度仍然顯著低於數值預報方法，並受到可解釋性欠缺，極端天氣預報不準等問題的限制。
而造成AI氣象預報模型的精度不足主要有兩個原因：
第一，現有的AI氣象預報模型都是基於2D神經網絡，無法很好地處理不均勻的3D氣象資料；
第二，AI方法缺少數學物理機理約束，因此在迭代的過程中會不斷累積迭代誤差。
在此，華為雲的研究人員提出了3D Earth-Specific Transformer（3DEST）來處理複雜的不均勻3D氣象數據，從而打造了盤古氣像大模型。
其主要思想是使用一個視覺transformer的3D變種來處理複雜的不均勻的氣像要素，並且使用層次化時域聚合策略，訓練了4個不同預報間隔的模型（分別為1小時間隔、3小時間隔、6小時間隔、24小時間隔），使得預測特定時間氣象狀況的迭代次數最小，從而減少迭代誤差，也避免了由遞歸訓練帶來的訓練資源消耗。
為了訓練每個模型，研究人員使用1979-2021年的氣象數據，以小時為單位採樣，訓練了100個epoch。
每個模型需要在192塊V100顯示卡上訓練16天。事實上，即使經歷100個epoch，這些模型仍依舊沒有完全收斂。
也就是說，在運算資源更加充足的情況下，AI預報的精確度仍能進一步提升。
最終推理時，盤古氣像大模型只需在一張V100顯示卡上運行1.4秒，即可完成24小時全球氣象預報，包括位勢、濕度、風速、溫度、海平面氣壓等，其中水平空間解析度達到0.25∘×0.25∘ ，時間解析度為1小時，覆蓋13層垂直高度，可精確預測細粒度氣象特徵。
而作為首個精度超過傳統數值預報方法的AI方法，它的計算速度相比傳統數值預報提升超過10000倍。
今年5月，颱風「瑪娃」走向受到廣泛關注。
中央氣象局表示，華為雲盤古大模型在「瑪娃」的路徑預報中表現優異，提前五天預報出其將在台灣島東部海域轉向路徑。
圖片
在第19屆世界氣像大會上，歐洲氣象局也指出，華為雲盤古氣像大模型在精準度上有不可否認的能力，純數據驅動的AI天氣預報模型，展現了可與歐洲中期天氣預報中心業務數值模式媲美的預報實力。
歐洲中期天氣預報中心主任弗洛倫斯·哈比耶詳細地展示了華為雲盤古氣像大模型與歐洲中期天氣預報中心的即時運行檢驗對比情況：
為了探索AI捕獲極端天氣的能力，我們研究了今年2月芬蘭的一個案例，當時觀測到了-29℃的寒潮，我們發現盤古較早認識到了這一事件的嚴重性。
圖片
弗洛倫斯·哈比耶也強調，AI預測方法資源消耗少，為發展中國家提供了重要機遇，因為它不再需要大規模的超算資源，也為提升全球預報能力提供了難得的機會。
至於華為雲選擇AI氣象預報領域作為一個“突破口”，一方面，氣象預報尤其是對極端天氣如暴雨、颱風、乾旱、寒潮的精準預測關乎國際民生，另一方面，氣象預測問題非常複雜，AI可以從海量資料中挖掘出新的大氣演變規律，在精度和速度上具有巨大的提升潛力。
據了解，世界氣象組織（WMO）即將發布的WMO2024—2027年戰略計畫吸收了人工智慧元素，使其成為推動氣象科技發展的重要力量。
WMO也將積極推動AI在臨近預報及數值天氣預報等領域的示範應用，創建人工智慧產品應用國際比對平台，制定AI氣象應用標準和指南，推動人工智慧資料集共享等相關工作，探索並發揮AI在氣象領域的應用潛力，有效支撐全民早期預警倡議。
最後，華為雲盤古氣像大模式團隊如何看待AI氣象預報的未來？
答案是三大關鍵：
首先，#大數據。龐大的氣象數據是AI模型的基石，目前盤古氣像大模型僅使用部分ERA5再分析數據，未來的AI模型將基於海量的、更精細的全球觀測數據。
其次，大算力。氣象資料超高的解析度對AI模型的訓練造成了巨大的挑戰，盤古氣像大模型現在的輸入解析度為1440×720×14×5，相比計算視覺任務常用的解析度224×224×3大約500倍，隨著解析度的進一步增加和模型的增加，所需的算力資源也會迅速增加。
最後，大模型。複雜的氣象規律，超高的解析度與龐大的資料量都決定了AI氣象預報需要使用計算量極高的AI模型。
同時，想要不斷迭代領先的AI氣象預報模型，穩定的雲上環境、工作套件和對應的運維也是不可或缺的。
論文網址：https://www.nature.com/articles/s41586-023-06185-3
以上是華為大模型登Nature正刊！審稿者：讓人們重新檢視預報模型的未來的詳細內容。更多資訊請關注PHP中文網其他相關文章！
