把整個地球裝進神經網絡,北航團隊推出全球遙感影像生成模型
北航的研究團隊,用擴散模型「復刻」了一個地球?
在全球的任何位置,模型都能產生多種解析度的遙感影像,創造出豐富多樣的「平行場景」。
而且地形、氣候、植被等複雜的地理特徵,也全都考慮到了。
受Google Earth啟發,北航的研究團隊從俯拍視角出發,將整顆地球的衛星遙感影像「裝進」了深度神經網路。
基於這樣的網絡,團隊建構了覆蓋全球的俯視視角視覺生成模型MetaEarth。
MetaEarth擁有6億參數,可實現多種解析度、無界且覆蓋全球任意地理位置的遙感影像生成。
涵蓋全球的遙感影像生成模型
比起先前的研究,建構世界性的視覺生成基礎模型更具挑戰性,過程之中克服了多個難點。
模型容量是挑戰,因為地球具有城市、森林、沙漠、海洋、冰川和雪地等廣泛的地理特徵,需要模型能夠理解和表徵。
即使是同一類型的人造地物,在不同的緯度、氣候和文化環境下,也會表現出巨大差異,這對生成模型的容量提出了很高的要求。
MetaEarth成功解決了這個困難,實現了不同地點、地形的高解析度、大範圍場景生成。
另外,實現解析度可控的遙感影像生成,同樣是一項挑戰。
因為在俯拍影像成像過程中,地物特徵的展現受解析度影響很大,在不同影像解析度下具有明顯的差異,難以具備在指定解析度(公尺/像素)下精準生成的能力。
而在MetaEarth產生不同解析度的影像時,都能準確合理地呈現地物特徵,而且不同解析度之間的關聯性也得到了精確對應。
最後是無界影像生成的挑戰-與日常自然影像不同,遙感影像具有超大幅寬的特性,邊長可能達到數萬像素,先前的方法都難以產生連續、任意大小的無界影像。
但MetaEarth產生的連續無界場景,避開了這一缺陷,可以看到隨著「鏡頭」的平移影像的移動十分絲滑。
此外,MetaEarth具有強大的泛化性能,能夠以未知場景作為條件輸入級聯產生多解析度影像。
例如,將GPT4-V產生的「潘朵拉星球」作為初始條件輸入模型,MetaEarth仍能產生具有合理地物分佈和逼真細節的影像。
下游任務上的驗證結果表明,MetaEarth作為一種全新的資料引擎,有望為地球觀測領域各類下游任務提供虛擬環境和訓練資料支援。
實驗過程中,作者選擇了遙感影像分類這項基礎任務進行驗證,結果顯示,MetaEarth所產生的高品質影像的輔助下,下游任務分類精度有顯著提升。
作者認為,MetaEarth有望為衛星等空天無人系統平台提供一個逼真的虛擬環境,並在城市規劃、環境監測、災害管理、農業優化等領域廣泛應用;
除了作為資料引擎之外,MetaEarth在建構生成式世界模型方面也具有巨大潛力,為未來的研究提供新的可能性。 。
那麼,MetaEarth究竟是如何實現的呢?
6億參數擴散模型「復刻」地球
MetaEarth基於機率擴散模型構建,具有超過六億的參數規模。
為支援模型訓練,團隊收集了一個大型遙感影像資料集,包含覆蓋全球大多數地區的多個空間解析度的影像及其地理資訊(緯度、經度和解析度) 。
在本研究中,作者提出了一個解析度引導的自級聯生成框架。
△MetaEarth的整體框架
在該框架下,僅用單一模型即可實現給定地理位置的多解析度圖像生成,並在每一級解析度下創造出豐富多樣的「平行場景」。
具體來說,這是一種編解碼器結構的去噪網絡,將低解析度條件影像和空間解析度編碼後與去噪過程的時間步嵌入相結合,預測每個時間步的噪聲,實現影像生成。
為了產生無界的任意大小影像,作者也設計了一種記憶體高效的滑動視窗生成方法和雜訊取樣策略。
此策略將產生的影像切分成重疊的影像區塊作為條件,透過特定的雜訊取樣策略,使相鄰影像區塊的共用區域產生相似的內容,從而避免拼接縫隙。
此外,這種雜訊取樣策略,也使得模型能在實現任意尺寸的無界影像產生時,消耗較少的顯存資源。
團隊簡介
本研究的作者來自北京航空航天大學的「學習、視覺與遙感實驗室」(LEarning, VIsion and Remote sensing laboratory,LEVIR Lab),實驗室由國家傑青史振威教授領導。
史振威教授曾經的博士生、密西根大學博士後,現任該實驗室成員的鄒徵夏教授,是本文的通訊作者。
論文網址:https://www.php.cn/link/31bb2feb402ac789507479daf9713b00
計畫首頁:#https://www.php.cn/link/a0098fd07db7692267fca4f4169c9ba2
以上是把整個地球裝進神經網絡,北航團隊推出全球遙感影像生成模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

想像一下,一個人工智慧模型,不僅擁有超越傳統運算的能力,還能以更低的成本實現更有效率的效能。這不是科幻,DeepSeek-V2[1],全球最強開源MoE模型來了。 DeepSeek-V2是一個強大的專家混合(MoE)語言模型,具有訓練經濟、推理高效的特點。它由236B個參數組成,其中21B個參數用於啟動每個標記。與DeepSeek67B相比,DeepSeek-V2效能更強,同時節省了42.5%的訓練成本,減少了93.3%的KV緩存,最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智

AI,的確正在改變數學。最近,一直十分關注這個議題的陶哲軒,轉發了最近一期的《美國數學學會通報》(BulletinoftheAmericanMathematicalSociety)。圍繞著「機器會改變數學嗎?」這個話題,許多數學家發表了自己的觀點,全程火花四射,內容硬核,精彩紛呈。作者陣容強大,包括菲爾茲獎得主AkshayVenkatesh、華裔數學家鄭樂雋、紐大電腦科學家ErnestDavis等多位業界知名學者。 AI的世界已經發生了天翻地覆的變化,要知道,其中許多文章是在一年前提交的,而在這一

谷歌力推的JAX在最近的基準測試中表現已經超過Pytorch和TensorFlow,7項指標排名第一。而且測試並不是JAX性能表現最好的TPU上完成的。雖然現在在開發者中,Pytorch依然比Tensorflow更受歡迎。但未來,也許有更多的大型模型會基於JAX平台進行訓練和運行。模型最近,Keras團隊為三個後端(TensorFlow、JAX、PyTorch)與原生PyTorch實作以及搭配TensorFlow的Keras2進行了基準測試。首先,他們為生成式和非生成式人工智慧任務選擇了一組主流

波士頓動力Atlas,正式進入電動機器人時代!昨天,液壓Atlas剛「含淚」退出歷史舞台,今天波士頓動力就宣布:電動Atlas上崗。看來,在商用人形機器人領域,波士頓動力是下定決心要跟特斯拉硬剛一把了。新影片放出後,短短十幾小時內,就已經有一百多萬觀看。舊人離去,新角色登場,這是歷史的必然。毫無疑問,今年是人形機器人的爆發年。網友銳評:機器人的進步,讓今年看起來像人類的開幕式動作、自由度遠超人類,但這真不是恐怖片?影片一開始,Atlas平靜地躺在地上,看起來應該是仰面朝天。接下來,讓人驚掉下巴

本月初,來自MIT等機構的研究者提出了一種非常有潛力的MLP替代方法—KAN。 KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。 KAN與MLP一樣具有強大的數學基礎,MLP基於通用逼近定理,而KAN基於Kolmogorov-Arnold表示定理。如下圖所示,KAN在邊上具

特斯拉機器人Optimus最新影片出爐,已經可以在工廠裡打工了。正常速度下,它分揀電池(特斯拉的4680電池)是這樣的:官方還放出了20倍速下的樣子——在小小的「工位」上,揀啊揀啊揀:這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作,是完全自主的,全程沒有人為的干預。而且在Optimus的視角之下,它還可以把放歪了的電池重新撿起來放置,主打一個自動糾錯:對於Optimus的手,英偉達科學家JimFan給出了高度的評價:Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺

這篇論文探討了在自動駕駛中,從不同視角(如透視圖和鳥瞰圖)準確檢測物體的問題,特別是如何有效地從透視圖(PV)到鳥瞰圖(BEV)空間轉換特徵,這一轉換是透過視覺轉換(VT)模組實施的。現有的方法大致分為兩種策略:2D到3D和3D到2D轉換。 2D到3D的方法透過預測深度機率來提升密集的2D特徵,但深度預測的固有不確定性,尤其是在遠處區域,可能會引入不準確性。而3D到2D的方法通常使用3D查詢來採樣2D特徵,並透過Transformer學習3D和2D特徵之間對應關係的注意力權重,這增加了計算和部署的

目標偵測在自動駕駛系統當中是一個比較成熟的問題,其中行人偵測是最早得以部署演算法之一。在多數論文當中已經進行了非常全面的研究。然而,利用魚眼相機進行環視的距離感知相對來說研究較少。由於徑向畸變大,標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述,我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示,並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優於其他模型,並同時在用於自動駕駛的Valeo魚眼相機資料集上實現了49.5%的mAP
