今天，英偉達再造了16世紀的米開朗基羅「Neuralangelo」。
快看，Neuralangelo「復刻」出3D版的著名雕像大衛，大理石的細節、紋理栩栩如生。
要知道，收藏在佛羅倫斯美術學院的大衛雕像，僅身高3.96米，加上基座都有5.5米。
它甚至可以重建一棟建築物的內部和外部結構，屋頂瓦片、玻璃窗格、還有各種細節都一再出現。
這一切，都是「神經朗基羅」（Neuralangelo）的魔法。
來自英偉達和約翰霍普金斯大學的研究人員提出的新型AI模型，利用神經網路重建3D物件。
最新研究已被CVPR 2023錄取。
論文地址：https://research.nvidia.com/labs/dir/neuralangelo/paper.pdf
#特別是，Neuralangelo可以從手機視頻，無人機拍攝的視頻重建「高保真的大規模場景」。
那豈不是未來，就能輕易地把一座城市、甚至外太空的視頻，變成一個沉浸式的世界，再裝進遊戲去體驗。
網友驚呼，英偉達黑了「矩陣」世界！
甚至，還有人稱，蘋果XR技術，再加上Neuralangelo，就能創造「new worlds」了。
#效果示範
##英偉達的總部
#破舊的卡車
###Ignatius的雕像############重建3D場景####### ##先前的AI模型在重建3D場景時，往往難以準確捕捉重複的紋理模式、均勻的色彩以及強烈的色彩變化。 ############為此，團隊提出了一個將多重解析度3D雜湊網格的表徵能力和神經表面渲染結合的全新方法－Neuralangelo。 #####################
去年，英伟达研究人员曾创造了一种新工具3D MoMa，将照片变成3D物体易如反掌。
NeuralAngelo建立在这一概念的基础上，允许导入更大、更详细的空间和对象。而它特别之处在于，可以准确捕捉重复的纹理模式、同质的颜色和强烈的颜色变化。
通过采用「即时神经图形基元」，也就是NVIDIA Instant NeRF技术的核心，Neuralangelo由此可以捕捉更细微的细节。
团队的方法依赖于2个关键要素：
（1）用于计算高阶导数作为平滑操作的数值梯度；
（2）在控制不同细节级别的哈希网格上进行由粗到细的优化。
即使没有辅助深度，Neuralangelo也能有效地从多视图图像中恢复密集3D表面结构，其保真度显著超过了以往的方法，使得能够从RGB视频捕捉中重建详细的大规模场景。
构建NeuralAngelo
NeuralAngelo模型是在多分辨率哈希编码，以及基于SDF的体积渲染上进行构建。
第一步：使用数值梯度来计算高阶导数
通过使用与哈希网格空间分辨率匹配的步长的数值梯度，可以优化超越局部单元。与解析梯度相比，数值梯度对SDF起到了平滑操作的作用。
第二步：逐步细化细节层次
通过逐步减小数值梯度的步长，并启用更高分辨率的哈希网格，优化的效果可以更好地恢复大面积的光滑表面和精细的几何细节。这种学习过程能够逐步提高细节的层次感。
第三步：优化
NeuralAngelo使用三个优化目标：
RGB合成损失
：输入图像和合成图像之间的RGB重建损失。
Eikonal损失
：对底层SDF进行正则化处理，使其表面法线为单位正则。
曲率损失
：对底层SDF进行正则化处理，使平均曲率不会任意变大。
「神經朗基羅」建構好了，那麼它又是如何運作的呢？
可以說，Neuralangelo還原了米開朗基羅刻畫大衛的整個過程：
· 首先，模型會從2D影片中選擇幾幀從不同角度拍攝的物件/場景的畫面，並由此「看到」其深度、大小和形狀。這個過程就像雕塑藝術家一開始會從多個角度構圖那樣。
· 然後，模型會創造一個粗糙的3D場景表徵，就像藝術家開始鑿刻主體的形狀。
· 最後，模型會優化渲染以提高細節的清晰度，就像藝術家透過精心修飾來模仿織物或人形的紋理。
在DPU基準定性比較中， Neuralangelo產生更準確和更高保真度的表面。
如下是Neuralangelo在DTU資料集中的定量結果，模型獲得了很好的重建精度和影像合成品質。
在不同的從粗糙到精細優化方案定性比較中，當使用分析梯度AG和AG P，物體粗糙表面還有偽影。
當使用數位梯度（NG）時，能夠重建一個比較好的粗糙表面，細節也被平滑。
而英偉達的解決方案（NG P）能夠產生光滑的表面，以及精細的細節。
最終的結果是一個可以在虛擬實境應用、數位孿生或機器人開發中使用的3D物件或大規模場景。
英偉達表示，Neuralangelo將複雜材料的紋理，包括屋頂瓦片的粗糙度、大理石的光滑度，從2D視頻轉化為3D物體的能力，顯著超越了以往的方法。
英偉達研究部資深主任、論文作者Ming-Yu Liu對這項研究的意義給出了暢想：
「Neuralangelo提供的3D重建能力將為創作者帶來巨大好處，幫助他們在數位世界中重建真實世界。這個工具最終將使開發人員能夠將精細的物體——不論是小型雕像，還是大型建築——導入電玩遊戲或工業數位孿生的虛擬環境中。
創意的專業人士可以將這些3D物件導入到設計應用中，進一步編輯，以供藝術、電子遊戲開發、機器人技術和工業數位孿生等領域使用。
作者介紹
Zhaoshuo Li（李趙碩）
李趙碩目前還是約翰霍普金斯大學的電腦科學博士生，導師是Mathias Unberath教授、Russell H Taylor教授。
他對電腦視覺、電腦圖形學、深度學習有濃厚的興趣，研究重點是從圖像中重現運動和結構。
另外，他還有非常多的嗜好，是攝影師、心理健康促進者、寵物狗的愛好者、還是衝浪者、跳傘者、滑雪板運動員…
Chen-Hsuan Lin
Chen-Hsuan Lin是NVIDIA Research的研究科學家，從事電腦視覺、電腦圖形學和人工智慧方面的工作。
他在卡內基美隆大學獲得了機器人學博士學位，並獲得英偉達研究生獎學金。此前，他也曾在Facebook AI Research和Adobe Research實習。
Lin對解決3D重建、視圖合成和3D內容生產的問題非常感興趣。其研究旨在透過從網路規模的視覺數據中學習，賦予人工智慧系統人類水平的3D感知和想像能力，朝向真正的3D空間智慧邁進。
網友熱評
英偉達科學家Jim Fan表示，
為了讓你了解3D建模的人工智慧發展速度：該領域在3年內從左邊（原始的NeRF重建的網格）到右邊（英偉達的Neuralangelo）。
將現實傳送到高保真模擬中不再是個夢想。
新的Neuralangelo模型簡直是野獸，英偉達決定淘汰我們，R.I.P.攝影測量軟體。
簡直就像是數字世界的「米開朗基羅」。
還有網友表示想知道，用它的成本是多少？
我們可以在工廠使用無人機，然後將影片發送到這個模型，做一個數位孿生，並使用它來優化我們的流程。
對於這項技術的意義，網友認為這對遊戲產業影響將是巨大的。
以上是大衛復活！英偉達再造「神經朗基羅」，3D重建肌肉紋理肉眼可見的詳細內容。更多資訊請關注PHP中文網其他相關文章！
