史上最大重建25km²！ NeRF-XL：真正有效利用多卡聯合訓練！

原文標題：NeRF-XL: Scaling NeRFs with Multiple GPUs

論文連結：https://research.nvidia.com/labs/toronto-ai/nerfxl/assets/nerfxl.pdf

計畫連結：https://research.nvidia.com/labs/toronto-ai/nerfxl/

作者單位：NVIDIA 加州大學柏克萊分校

##論文想法：

###本文提出了NeRF-XL，這是一種原理性的方法，用於在多個圖形處理器（GPUs）之間分配神經射線場（NeRFs），從而使得具有任意大容量的NeRF的訓練和渲染成為可能。本文首先回顧了現有的幾個GPU方法，這些方法將大型場景分解成多個獨立訓練的NeRFs [9, 15, 17]，並確定了這些方法的幾個基本問題，這些問題正在使用額外的計算資源（GPUs）進行訓練時阻礙了重建品質的提升。 NeRF-XL解決了這些問題，並允許透過簡單地使用更多的硬體來訓練和渲染具有任意數量參數的NeRFs。本文方法的核心是一個新穎的分散式訓練和渲染公式，這在數學上等同於經典的單GPU案例，並最小化了GPU之間的通訊。透過解鎖具有任意大參數數量的NeRFs，本文的方法是第一個揭示NeRFs GPU擴展規律（scaling laws）的方法，顯示出隨著參數數量的增加而提高的重建質量，以及隨著更多的GPU的增加而提高的速度。本文在多種資料集上展示了NeRF-XL的有效性，包括包含約258K張影像、覆蓋了25平方公里的城市區域的MatrixCity [5]。 #########論文設計：#########近期在新視角合成的進步極大地提高了我們捕獲神經輻射場（NeRFs）的能力，使得這一過程變得更加易於接近。這些進步使得我們能夠重建更大的場景和場景內更精細的細節。無論是透過增加空間規模（例如，捕捉數公里長的城市景觀）還是提高細節水平（例如，掃描田野中的草葉），擴大捕獲場景的範圍都涉及到將更多的信息量納入NeRF中，以實現準確的重建。因此，對於資訊含量高的場景，重建所需的可訓練參數數量可能會超過單一GPU的記憶體容量。 ######本文提出了NeRF-XL，這是一個原理性的演算法，用於在多個GPU之間高效分配神經漸射場景（NeRFs）。本文的方法透過簡單增加硬體資源，使得捕捉高資訊含量的場景（包括大規模和高細節特徵的場景）成為可能。 NeRF-XL的核心是在一組不相交的空間區域之間分配NeRF參數，並跨GPU聯合訓練它們。有別於傳統的分散式訓練流程在後向傳播中同步梯度，本文的方法只需要在前向傳播中同步訊息。此外，透過仔細渲染方程程和分散式設定中相關的損失項，本文大幅減少了GPU之間所需的資料傳輸。這種新穎的重寫提高了訓練和渲染的效率。本文方法的靈活性和可擴展性使得本文能夠夠夠多個GPU高效地優化和使用多個GPU高效能最佳化。 ######本文的工作與最近採用了GPU演算法來建模大規模場景的方法形成了對比，這些方法透過訓練一組獨立立體的NeRFs來實現[9, 15, 17]。雖然這些方法不需要GPU之間的通信，但每個NeRF都需要建模整個空間，包括背景區域。這導致隨著GPU數量的增加，模型容量中的冗餘度增加。此外，這些方法在渲染時需要混合NeRFs，這會降低視覺品質並在重疊區域引入偽影。因此，與NeRF-XL不同的是，這些方法在訓練中使用更多的模型參數（相當於更多的GPU時），未能實現視覺品質的提升。 ######本文透過一系列多樣化的擷取案例來展示本文方法的有效性，包括街道掃描、無人機飛越和以物件為中心的影片。這些案例的範圍從小場景（10平方公尺）到整個城市（25平方公里）。本文的實驗表明，隨著本文將更多的運算資源分配給最佳化過程，NeRF-XL開始能夠實現改善的視覺品質（透過PSNR測量）和渲染速度。因此，NeRF-XL使得在任何空間規模和細節的場景上訓練工具有任意容量的NeRF成為可能。 ###############圖 1：本文基於原理的多GPU分散式訓練演算法能夠將NeRFs擴展到任意大的規模。 ############

圖 2：獨立訓練與多GPU聯合訓練。獨立地訓練多個NeRFs[9,15,18]要求每個NeRF既要建模焦點區域也要建模其周圍環境，這導致了模型容量的冗餘。相較之下，本文的聯合訓練方法使用不重疊的NeRFs，因此沒有任何冗餘。

圖 3：獨立訓練需要在新視角合成時進行混合。無論是在2D[9, 15]或3D[18]中進行混合，都會在渲染中引入模糊。

圖 4：獨立訓練導致不同的相機最佳化。在NeRF中，相機優化可以透過變換不準確的相機本身或所有其他相機以及底層3D場景來實現。因此，伴隨相機優化獨立訓練多個NeRF可能導致相機校正和場景幾何的不一致性，這給混合渲染帶來了更多困難。

圖 5：3D混合可能造成的視覺偽影。左圖展示了使用2個GPU訓練的MegaNeRF結果。在0%重疊時，由於獨立訓練，邊界出現了偽影；而在15%重疊時，由於3D混合，出現了嚴重的偽影。右圖闡釋了這種偽影的成因：雖然每個獨立訓練的NeRF渲染出正確的顏色，但混合後的NeRF並不保證正確的顏色渲染。

圖 6：本文的訓練流程。本文的方法共同訓練所有GPU上的多個NeRFs，每個NeRF涵蓋一個不相交的空間區域。 GPU之間的通訊僅發生在前向傳播中，而不發生在後向傳播中（如灰色箭頭所示）。 (a) 本文可以透過評估每個NeRF以獲得樣本顏色和密度，然後將這些值廣播到所有其他GPU以進行全域體渲染（見第4.2節）。 (b) 透過重寫體渲染方程，本文可以將資料傳輸量大幅減少到每條光線一個值，從而提高效率（見第4.3節）。

實驗結果：

圖 7：定性比較。與先前的工作相比，本文的方法有效地利用多GPU配置，在所有類型的資料上提高了效能。

圖 8：定量比較。基於獨立訓練的先前工作未能隨著額外GPU的增加而實現效能提升，而本文的方法隨著訓練資源的增加，享受了渲染品質和速度的提升。

圖 9：本文方法​​的可擴展性。更多的GPU允許有更多的可學習參數，這導致了更大的模型容量和更好的品質。

圖 10：大規模擷取上的更多渲染結果。本文在更大的捕獲資料集上使用更多的GPU測試了本文方法的穩健性。請參閱本文的網頁，以取得這些資料的影片導覽。

圖 11：在University4資料集上與PyTorch DDP的比較。 PyTorch 分散式資料並行（Distributed Data Parallel，DDP）旨在透過跨GPU分佈光線來加快渲染速度。相較之下，本文的方法是跨GPU分佈參數，突破了叢集中單一GPU的記憶體限制，並且能夠擴大模型容量以獲得更好的品質。

圖 12：University4上的同步成本。本文基於分區的體渲染（見第4.3節）允許 tile-based 通信，這比原始的基於樣本的通信（見第4.2節）成本要低得多，因此能夠實現更快的渲染。

總結：

總結來說，本文重新檢視了將大規模場景分解為獨立訓練的NeRFs（神經輻射場）的現有方法，並發現了阻礙額外運算資源（GPUs）有效利用的重大問題，這與利用多GPU設定來提升大規模NeRF效能的核心目標相矛盾。因此，本文引入了NeRF-XL，這是一種原理性的演算法，能夠有效地利用多GPU設置，並透過聯合訓練多個非重疊的NeRFs來在任何規模上增強NeRF性能。重要的是，本文的方法不依賴任何啟發式規則，並且在多GPU設定中遵循NeRF的擴展規律(scaling laws)，適用於各種類型的資料。

引用：

@misc{li2024nerfxl,title={NeRF-XL: Scaling NeRFs with Multiple GPUs}, author={Ruilong Li and Sanja Fidler and Angjoo Kanazawa and Francis Williams},year={2024},eprint={2404.16221},archivePrefix={arXiv},primaryClass={cs.CV}}

#

以上是史上最大重建25km²！ NeRF-XL：真正有效利用多卡聯合訓練！的詳細內容。更多資訊請關注PHP中文網其他相關文章！