A100實現無需3D卷積的3D重建方法，每幀重建僅需70ms

從姿態影像重建 3D 室內場景通常分為兩個階段：影像深度估計，然後是深度合併（depth merging）和表面重建（surface reconstruction）。最近，多項研究提出了一系列直接在最終 3D 體積特徵空間中執行重建的方法。雖然這些方法已經獲得出令人印象深刻的重建結果，但它們依賴昂貴的 3D 卷積層，限制其在資源受限環境中的應用。

現在，來自Niantic 和UCL 等機構的研究者嘗試重新使用傳統方法，並專注於高品質的多視圖深度預測，最終使用簡單現成的深度融合方法實現了高精度的3D 重建。

• #論文網址：https://nianticlabs.github .io/simplerecon/resources/SimpleRecon.pdf
• #GitHub 網址：https://github.com/nianticlabs/simplerecon
• #論文首頁：https://nianticlabs.github.io/simplerecon/

本研究利用強大的圖像先驗以及平面掃描特徵量和幾何損失，精心設計了一個2D CNN。所提方法 SimpleRecon 在深度估計方面取得了顯著領先的結果，並且允許在線實時低內存重建。

如下圖所示，SimpleRecon 的重建速度非常快，每幀僅用約 70ms。

SimpleRecon 和其他方法的比較結果如下：

方法

深度估計模型位於單目深度估計與平面掃描MVS 的交點，研究者用cost volume（代價體積）來增加深度預測編碼器- 解碼器架構，如圖2 所示。影像編碼器從參考影像和來源影像中提取匹配特徵，以輸入到 cost volume。使用 2D 卷積編碼器 - 解碼器網路來處理 cost volume 的輸出，此外研究者還使用單獨的預訓練圖像編碼器提取的圖像級特徵進行增強。

該研究的關鍵是將現有的元資料與典型的深度影像特徵一起注入到cost volume 中，以允許網路存取有用的訊息，如幾何和相對相機姿態資訊。圖 3 詳細地顯示了 feature volume 構造。透過整合這些先前未開發的信息，該研究的模型能夠在深度預測方面顯著優於先前的方法，而無需昂貴的 4D cost volume 成本、複雜的時間融合以及高斯過程。

該研究使用PyTorch 來實現，並使用EfficientNetV2 S 作為主幹，其具有類似於UNet 的解碼器，此外，他們還使用ResNet18的前2 個區塊進行匹配特徵提取，優化器為AdamW ，在兩塊40GB A100 GPU 上耗時36 小時完成。 

網路架構設計

網路是基於 2D 捲積編碼器 - 解碼器架構實現的。在建構這種網路時，研究發現有一些重要的設計選擇可以顯著提高深度預測準確率，主要包括：

基線cost volume 融合：雖然基於RNN 的時間融合方法經常被使用，但它們顯著增加了系統的複雜性。相反，該研究使得 cost volume 融合盡可能簡單，並發現簡單地將參考視圖和每個來源視圖之間的點積匹配成本相加，可以獲得與 SOTA 深度估計相競爭的結果。

影像編碼器和特徵匹配編碼器：先前研究表明，影像編碼器對深度估計非常重要，無論是在單目和多視圖估計中。例如 DeepVideoMVS 使用 MnasNet 作為影像編碼器，其具有相對較低的延遲。研究建議使用很小但更強大的 EfficientNetv2 S 編碼器，雖然這樣做的代價是增加了參數量，並降低了 10% 的執行速度，但它大大提高了深度估計的準確率。

融合多尺度影像特徵到 cost volume 編碼器：在基於 2D CNN 的深度立體和多視角立體中，影像特徵通常與單尺度上的 cost volume 輸出結合。最近，DeepVideoMVS 提出在多尺度上拼接深度影像特徵，在所有解析度上增加影像編碼器和 cost volume 編碼器之間的跳躍連接。這對基於 LSTM 的融合網路很有幫助，該研究發現這對他們的架構也同樣重要。

實驗

該研究在 3D 場景重建資料集 ScanNetv2 上訓練和評估了所提方法。下表 1 使用 Eigen 等人 (2014) 提出的指標來評估幾個網路模型的深度預測效能。

令人驚訝的是，研究所提模型不使用 3D 卷積，在深度預測指標上卻優於所有基準模型。此外，不使用元資料編碼的基線模型也比以前的方法表現更好，這表明精心設計和訓練的 2D 網路足以進行高品質的深度估計。下圖 4 和圖 5 顯示了深度和法線的定性結果。

該研究使用TransformerFusion 建立的標準​​協定進行3D 重建評估，結果如下表2 所示。

對於線上和互動式 3D 重建應用，減少感測器延遲是至關重要的。下表 3 展示了給定一個新的 RGB 幀，各個模型對每個幀的整合計算時間。

為了驗證本研究所提方法中各個組件的有效性，研究者進行了消融實驗，結果如下表 4 所示。

有興趣的讀者可以閱讀論文原文，了解更多研究細節。

以上是A100實現無需3D卷積的3D重建方法，每幀重建僅需70ms的詳細內容。更多資訊請關注PHP中文網其他相關文章！