普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

王林
發布: 2023-06-19 11:59:34
轉載
938 人瀏覽過

尼奧發現自己所處的世界並非真實存在,而是被精心設計的模擬現實。

而你,有沒有那麼一瞬間,認為我們所處的世界,就是模擬的矩陣世界。

而現在,矩陣正式開啟。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

靜心感受,這個人類生存已久的地球,大自然的一切,都是虛幻世界。

北極冰川太陽升起。海底世界中的千奇百怪的魚群、五彩斑斕的珊瑚礁。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

高山飛雪,老鷹在浩瀚無垠的天空中翱翔。熾熱沙漠,兇險的蛇自由穿梭。

河邊小樹,燃起熊熊烈火,煙霧繚繞。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

清澈見底的大海和小溪,海龜在沙灘慵懶地曬著太陽,許多蜻蜓在空中嬉戲。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

岩洞中光與影的變化。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

嘩嘩啦墜落的雨滴、隨風飄落的楓葉,時間瞬間戛然而止。

你所見皆是人工智慧設計的。它們的模擬是如此逼真,甚至被所有人誤認為現實本身。

打開這扇矩陣大門的團隊來自普林斯頓,研究一出瞬間在網路上瞬間引起軒然大波。

網友紛紛表示,原來我們活在矩陣中!

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

#論文中,研究者引進了一個自然世界的逼真3D場景程式產生器「Infinigen」。

Infinigen完全是程式化的,從形狀到紋理,都是透過隨機的數學規則從頭開始產生。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

甚至,還能變換無窮,覆蓋了大自然的植物、動物、地形,還有火、雲、雨和雪等自然現象。

最新論文已被CVPR 2023接收。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

論文網址:https://arxiv.org/pdf/2306.09310.pdf

#

Infinigen建立在免費且開源的圖形工具Blender上,同樣Infinigen也是開源的。

值得一提的是,3.5小時就能產生一對1080p的圖片!

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

#無限CV資料產生器

普林斯頓大學提出的Infinigen可以輕鬆定制,產生各種特定任務的真實情況。

如下,模擬大自然中的多樣性。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

而它最主要的作用就在於,能夠作為無限訓練資料的生成器,用於廣泛的電腦視覺任務。

其中,包括 目標偵測、語意分割、姿態估計、3D重建、視圖合成和視訊產生。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

此外,也可以用來建構訓練實體機器人,以及虛擬具身智能體的模擬環境。

當然了,3D列印、遊戲開發、虛擬實境、電影製作和一般的內容創作都可用。

接下來,看看Infinigen系統是如何被設計出來的。

Blender的預覽。

研究人員主要使用Blender開發程式化規則,Blender是一個開源的三維建模軟體,提供各種基元和實用工具。

Blender將場景表現為擺放物件的層次結構。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

而使用者透過轉換物件、新增基底元和編輯網格來修改這項表示。

Blender提供了大多數常見3D檔案格式的匯入/匯出。

最後,Blender中的所有操作都可以透過其Python API自動完成,或透過檢查其開源程式碼。

節點轉譯器。

作為Infinigen的一部分,研究人員開發了一套新的工具來加速研究人員的程式化建模。

一個值得注意的例子是研究人員的節點轉換器,它可以自動將節點圖轉換為Python程式碼,如圖所示。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

由此產生的程式碼更為通用,並允許研究人員隨機化圖形結構,而不僅僅是輸入參數。

這個工具讓結點圖更具表現力,並允許與其他直接用Python或C 開發的程式化規則輕鬆整合。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

它也允許非程式設計師透過製作節點圖為Infinigen貢獻Python程式碼。

生成器子系統。 Infinigen是由生成器組成的,生成器是機率程序,每個程序都專門用於產生一個子類別的資產(如山或魚)。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

每個發生器都有一套高階參數(如山的整體高度),反映了使用者可控制的外部自由度。

在預設情況下,研究人員根據為反映自然界而調整的分佈對這些參數進行隨機抽樣,沒有使用者的輸入。

然而,使用者也可以使用研究人員的Python API覆寫任何參數,以實現對資料產生的細粒度控制。

下圖是隨機的、且僅包含地形的場景。研究人員為各種自然場景類型選擇了13張圖片。

分別為:山脈、上漲的河水、雪山、海岸日出、水下、北極冰山、沙漠、洞穴、峽谷和浮島。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

下圖則是隨機產生的模擬火焰的圖片,包括煙霧、瀑布,以及火山爆發的場景。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

樹葉、花、蘑菇、松果。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

樹木、仙人掌、灌木。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

海洋生物。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

各種類型的地表。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

下圖則是生物的生成。

研究人員自動產生了不同基因組(a)、身體部位(b)、身體部位拼接(c)、毛髮(d)和體態(e)。

圖片右側則是研究人員展示的隨機生成的食肉動物、草食動物、鳥類、甲蟲和魚類。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

在下圖中,研究者會依照程式組成一個隨機的場景佈局(a)。

研究者產生所有必要的圖片內容(b,用來顯示每個網格面的顏色),並應用程式化材料和位移(c)。

最後再渲染一個真實的圖像(d)。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

下圖展示的是動態解析度縮放。

研究人員展示了三個相機距離不同,但內容相同的特寫網格視覺化視圖。

儘管網格解析度不同,但在最終的圖像中看不到任何變化。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

實驗結果

#為了對Infinigen進行評估,研究人員製作了30K的圖像對,這些影像有用於矯正立體匹配的地面實景。

研究人員在這些影像上開始訓練RAFTStereo,並在Middlebury驗證集和測試集上對結果進行了比較。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

#這項研究程式碼在今天剛公佈,已經收攬99顆星。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

「西方世界」既視感

英偉達科學家Jim Fan表示,當我們在現實中沒有好的訓練資料時,模擬是便下一個「金礦」。

這裡,Infinigen便是一個開源的、程式化生成的、用於3D視覺的逼真資料集。其品質是驚人的!沒有兩個世界是相同的。

▸ 每一個小細節都是隨機且可自訂的,甚至是花瓣上的褶皺!

▸ 自然界的各種物體和場景:植物、動物、地形;火、雲、雨和雪。

▸ 基準真實值自動註解:光流、三維場景流、深度、表面法向量、全景分割、封閉邊界。

▸ 用Blender寫。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

有網友表示,這真是讓我大開眼界。在Blender中程式化生成3D世界。不使用AI,就可以創造任何你能想像的世界。

結合像這樣的工具來創造世界,像Daz3D這樣的工具來創造角色,Blockade Labs來創造天空盒,Convai來創造NPC。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

也有人表示Infinigen將在人工智慧電腦視覺研究中發揮作用。

他認為未來人工智慧將handle所有一切。

例如,我們想在一個有霧的森林裡面做一個有瀑布的村莊。

我們告訴一個人工智慧寫一個關於森林的詳細描述,再發送到3D世界生成器。

世界生成後,就可以在村莊裡加入人物角色。這些人將由人工智慧控制,他們將有互動、對話和記憶。

一種西方世界的趕腳。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

另外,有網友稱程式生成已經存在了20年(我已經做了15年)。 「No Man's SKy」是5年前技術的一個很好的例子。

Infinigen的亮點在於它產生標記資料。這些數據可用於訓練AI。這就很瘋狂。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

還有網友暢想,在不遠的將來,遊戲會變得瘋狂…「獨立」遊戲開發者將能夠推出一些瘋狂的高端內容。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

Infinigen生成太過逼真,有人認為這是虛幻引擎產生的。

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

#作者介紹

#Alexander Raistrick

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

##Alexander Raistrick是普林斯頓大學電腦系的二年級博士生,導師是Jia Deng。

Lahav Lipson

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

Lahav Lipson是普林斯頓大學三年級博士生。

他研究重點是為三維視覺建立深度網絡,利用關於極線幾何的強大假設來實現更好的泛化和測試準確性。

Zeyu Ma

普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸

#Zeyu Ma是普林斯頓大學視覺與學習實驗室的三年級博士研究生。他曾於2020年獲得清華大學電子工程學士學位。目前的研究重點是多視圖3D重建和程序資料產生。

以上是普林斯頓Infinigen矩陣開啟! AI造物主100%創造大自然,寫實到爆炸的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板