個人類別有歷史以來，就一直執著於預測天氣，以各種方式破解“天空之語”，我們慢慢發現，草木、雲層似乎與天氣有關，這不僅僅是因為人類從事生產的需要，也是人類想要對著強風歌唱、在月光下吟詩的需要。
《冰與火之歌》中的風雨歌師，就是透過歌聲和吟唱來預測天氣和風暴，人們還會幻想擁有「改變天氣」的超能力。
最近，天氣專家和氣象預報已經讓我們開始終於還是不能脫離具身體驗和物理世界，但現在，AI讓情況起了變化。
微調內容：
微軟發布首個大規模大氣基礎模式Aurora，能夠從數據中學習並做出預測，展現出了驚人的準確率和效率。
變化不只是一家公司帶來的，而是全球性的。
世界頂尖的數值天氣預報組織－歐洲中期天氣預報中心維護一個極為豐富的資料集，為AI天氣預報提供了強而有力的資料支撐。這個資料集包含了歐洲及週邊國家和地區的大氣、海洋、陸地等多個維度的資料資訊。這些數據經過精密的觀測、分析和模型計算，形成了
在未來，或許無需物理學，一台電腦就可以捕捉全球的「風雲變幻」。
影響不只如此，如果我們已經可以用AI預測全球天氣，「建模」地球還會遠嗎？
微軟發表首個大規模大氣基礎模式
#全球極端天氣事件頻傳，在突如其來的風暴面前，人類顯得特別渺小。
人們總是擔心極端天氣，暴露了當前天氣預報模型的局限性，並凸顯了在氣候變遷面前進行更準確預報的必要性。
一個迫切的問題出現了：我們如何才能更好地預測此類極端天氣事件並做好準備？
Charlton Perez等人最近的一項研究強調，即使是最先進的人工智慧天氣預測模型，在捕捉風暴的快速增強和峰值風速方面也面臨挑戰。
為了幫助應對這些挑戰，微軟的一個研究團隊開發了Aurora，Aurora意為「極光」，這是一個尖端的人工智慧基礎模型，可以從大量的大氣數據中提取有價值的見解。
圖片
論文網址：https://www.microsoft.com/en-us/research/publication/aurora -a-foundation-model-of-the-atmosphere/
Aurora提供了一種新的天氣預報方法，可以改變我們預測和減輕極端事件影響的能力。
靈活的3D大氣基礎模型
#圖片
在預訓練時，Aurora會進行最佳化，以便在具有不同解析度、變數和壓力水平的多個異質資料集上最大限度地減少損失。分兩個階段對模型進行微調：(1) 短時間內對預訓練的權重進行微調；(2) 使用低秩自適應性（LoRA）進行長前置時間（rollout）微調。微調後的模型將用於處理不同解析度的各種業務預報情況
雖然參數量只有1.3B，但Aurora在超過一百萬小時的各種天氣和氣候模擬中進行了訓練，這使它能夠全面了解大氣動力學。
因此，即使在資料稀缺地區或極端天氣情況下，該模型也能出色地完成各種預測任務。
透過在0.1°（赤道約11 公里）的高空間解析度下運行，Aurora能夠捕捉大氣過程的複雜細節，提供比以往任何時候都更加準確的業務預報，而計算成本僅為傳統數值天氣預報系統的一小部分。
根據研究人員估計，與數值預報系統界的SOTA－綜合預報系統（Integrated Forecasting System，IFS）相比，Aurora的運算速度提高了約5000倍。
除了令人驚嘆的準確性和效率之外，Aurora還以其多功能性而脫穎而出。
該模型可以預測廣泛的大氣變量，從溫度、風速到空氣污染水平和溫室氣體濃度。
Aurora的架構設計可處理異質黃金標準輸入，並產生不同解析度和保真度等級的預測。
該模型由一個靈活的3D Swin Transformer和基於Perceiver的編碼器和解碼器組成，能夠處理和預測一系列跨空間和壓力等級的大氣變數。
透過對大量不同資料的預訓練和對特定任務的微調，Aurora學會了捕捉大氣中錯綜複雜的模式和結構，使其在針對特定任務進行微調時，即使訓練資料有限也能表現優異。
快速預測大氣化學和空氣污染
#Aurora在許多目標上都優於運行中的CAMS：(a) 與CAMS分析相比，Aurora預測的二氧化氮柱總量樣本；(b) Aurora相對於CAMS 的緯度加權均方根誤差（RMSE），負值（藍色）表示Aurora 更好
#由於大氣化學、天氣模式和人類活動之間複雜的相互作用，以及哥白尼大氣監測服務（CAMS）資料的高度異質性，這是一項眾所周知的艱鉅任務。
Aurora利用其靈活的編碼器-解碼器架構和關注機制，有效地處理和學習這些具有挑戰性的數據，捕捉空氣污染物的獨特特徵及其與氣象變數的關係。
這使得Aurora能夠以0.4°的空間分辨率產生精確的五天全球空氣污染預報，在74%的所有目標上都優於最先進的大氣化學模擬，證明了它在解決各種環境預報問題方面的卓越適應性和潛力，即使在數據稀少或高度複雜的情況下也是如此。
資料多樣性和模型縮放改善了大氣預報
#研究也發現，與在單一資料集上進行的訓練相比，在不同資料集上進行的預訓練能顯著提升Aurora的表現。
透過整合氣候模擬、再分析產品和業務預測的數據，Aurora可以學習到更強大、更通用的大氣動力學表徵。
正是由於其規模和多樣化的預訓練資料集，Aurora能夠在各種任務和解析度下超越最先進的數值天氣預報模型和專門的深度學習方法。
圖片
#圖片
##圖片
在不同資料上進行預訓練並擴大模型規模可提高效能，模型大小每增加一倍，訓練損失就會減少5%
Aurora規模化直接帶來的是，無論是在架構設計和訓練資料語料庫，還是預訓練和微調協定方面，其效能都優於最好的專業深度學習模型。
為了進一步驗證在多個資料集上預訓練大型模型進行微調的收益，微軟團隊將Aurora與GraphCast進行了比較，後者僅在ERA5上進行了預訓練，目前被認為是分辨率為0.25度、預測時間長達五天的最熟練的人工智慧模型。
此外，研究人員也將IFS HRES（數值天氣預報的黃金標準）也納入了比較範圍。
結果表明，在與分析、氣象站觀測和極端值進行比較時，Aurora 的表現都要優於GraphCast和IFS HRES。
圖片
#圖片
##圖片
在絕大多數目標上，Aurora的表現都優於GraphCast
#地球系統建模的典範轉移
#Aurora的影響遠遠超出了大氣預報。
透過展示基礎模型在地球科學中的力量，這項研究為開發涵蓋整個地球系統的綜合模型鋪平了道路。
基礎模型能夠在資料稀缺的情況下出色地完成下游任務，這將使資料稀缺地區（如發展中國家和極地地區）獲取準確天氣和氣候資訊的途徑更加民主化。
這將對農業、交通、能源採集和備災等部門產生深遠影響，使社區能夠更好地適應氣候變遷帶來的挑戰。
無物理？ AI天氣預報進展巨大
變化來得太快，就像龍捲風，天氣預報界正在經歷重大變革。
最終的目標是革命性的：運用基於AI的新方法，在桌上型電腦上就可以執行天氣預報！
在過去的18個月裡，天氣預報成為了一個最有前途的AI應用，最近的進展在氣象學界引起了巨大反響。
這要歸功於一個秘密武器：一個極其豐富的資料集。
歐洲中期天氣預報中心（ECMWF），世界頂尖的數值天氣預報組織，維護一套關於大氣、陸地和海洋天氣的資料集，每天在全球各地每隔幾個小時記錄一次，數據可以追溯到1940年。
圖片
特別是過去50年的數據，在全球衛星覆蓋之後，尤其豐富。這個資料集被稱為ERA5，並且是公開可用的。
ERA5並非專為人工智慧應用而創建，但ERA5卻為人工智慧天氣應用的發展發揮了巨大作用。
電腦科學家直到2022年才真正開始認真使用這些資料來訓練人工智慧模型，以預測天氣。
從那時起，這項技術取得了突飛猛進的發展。在某些情況下，這些模型的輸出結果已經優於科學家們花費數十年時間設計和建立的全球天氣模型，而且運行那些模型還需要一些世界上最強大的超級電腦。
歐洲氣像中心ECMWF人工智慧預報工作負責人Matthew Chantry在接受採訪時表示，「很明顯，機器學習是未來天氣預報的重要組成部分。」
ECMWF正在招募人才來開發基於機器學習的地球系統模擬
AI天氣預報的起源
大約6年前，一些使用基於神經網路的深度學習技術進行天氣預報的早期學術研究就開始了。
起初，電腦科學家們對這項方法是否奏效並不十分樂觀，因為它與幾十年來發展起來的天氣預報科學大相逕庭。
時間來到2022年，人們才稍微放下了對AI模型的懷疑。
先是物理學家和資料科學家Ryan Keisler，利用「圖神經網路」展示了一些初步的成果。
图片
论文地址：https://arxiv.org/abs/2202.07575
随后，中国科学家提出的「Pangu-Weather」模型，直接登上了Nature。
结果显示，它在某些情况下甚至超过了当今最强的基于物理的模型——ECMWF。
图片
论文地址：https://www.nature.com/articles/s41586-023-06185-3
这在使用深度学习技术和天气建模的科学家社区中引起了震动。
很快，欧洲科学家开始基于其他深度学习模型的研究成果制作一个操作模型，这并没有花费太长时间。
到去年年底，新的人工智能综合预报系统（AIFS）已经产生了「非常有希望」的结果。今年春天，欧洲预报员开始发布实时预报。
目前，基于物理的天气模型依然不可或缺。它们是非常强大的工具，显著提高了我们对重大事件进行五天、七天甚至偶尔十天天气预报的能力，受到全球预报员的信赖。
但未来会是什么样子呢？可能在十年之后，AI将会掌管天气领域的一切。
参考资料：
https://www.php.cn/link/3b2f3a493d32e9aca1df90ef35b587e7
https://www.php.cn/link/3d65824c0a13e8417758ea807a431500
