寫在前面&個人理解
多視圖深度估計在各種基準測試中都取得了較高性能。然而，目前幾乎所有的多視圖系統都依賴給定的理想相機姿態，而這在許多現實世界的場景中是不可用的，例如自動駕駛。本工作提出了一種新的穩健性基準來評估各種噪音姿態設定下的深度估計系統。令人驚訝的是，發現當前的多視圖深度估計方法或單視圖和多視圖融合方法在給定有雜訊的姿態設定時會失敗。為了應對這一挑戰，這裡提出了一種單視圖和多視圖融合的深度估計系統AFNet，該系統自適應地整合了高置信度的多視圖和單視圖結果，以實現穩健和準確的深度估計。自適應融合模組透過基於包裹置信度圖在兩個分支之間動態選擇高置信度區域來執行融合。因此，當面對無紋理場景、不準確的校準、動態物件和其他退化或具有挑戰性的條件時，系統傾向於選擇更可靠的分支。在穩健性測試下，方法優於最先進的多視圖和融合方法。此外，在具有挑戰性的基準測試中實現了最先進的性能 （KITTI和DDAD）。
論文連結：https://arxiv.org/pdf/2403.07535.pdf
論文名稱：Adaptive Fusion of Single-View and Multi-View Depth for Autonomous Driving
領域背景
影像深度估計一直是電腦視覺領域的挑戰，具有廣泛的應用。對於基於視覺的自動駕駛系統，深度感知是關鍵，它有助於理解道路上的物體並建立3D環境地圖。隨著深度神經網路在各種視覺問題中的應用，基於卷積神經網路（CNN）的方法已成為深度估計任務的主流。
根據輸入格式，主要分為多視角深度估計和單視角深度估計。多視圖方法估計深度的假設是，給定正確的深度、相機標定和相機姿態，各個視圖的像素應該相似。他們依靠極線幾何來三角測量高品質的深度。然而，多視圖方法的準確性和穩健性在很大程度上取決於相機的幾何配置和視圖之間的對應匹配。首先，攝影機需要進行足夠的平移以進行三角測量。在自動駕駛場景中，自車可能會在紅綠燈處停車或在不向前移動的情況下轉彎，這會導致三角測量失敗。此外，多視圖方法存在動態目標和無紋理區域的問題，這些問題在自動駕駛場景中普遍存在。另一個問題是運動車輛上的SLAM姿態優化。在現有的SLAM方法中，噪音是不可避免的，更不用說具有挑戰性和不可避免的情況了。例如，一個機器人或自動駕駛汽車可以在不重新校準的情況下部署數年，從而導致姿勢嘈雜。相較之下，由於單一視圖方法依賴對場景的語義理解和透視投影線索，因此它們對無紋理區域、動態物件更具穩健性，而不依賴相機姿勢。然而，由於尺度的模糊性，其效能與多視圖方法相比仍有很大差距。在這裡，我們傾向於考慮是否可以很好地結合這兩種方法的優勢，在自動駕駛場景中進行穩健和準確的單目視訊深度估計。
AFNet網路結構
AFNet結構如下所示，它由三個部分組成：單一視圖分支、多視圖分支和自適應融合（AF）模組。兩個分支共享特徵提取網絡，並具有自己的預測和置信度圖，即、，和，然後由AF模組進行融合，以獲得最終準確和穩健的預測，AF模組中的綠色背景表示單視圖分支和多重視圖分支的輸出。
損失函數：
#單一視圖與多視圖深度模組
#為了合併主幹特徵並獲得深度特徵Ds，AFNet建構了一個多尺度解碼器。在這個過程中，對Ds的前256個通道進行softmax操作，得到深度機率體積Ps。而深度特徵中的最後一個通道則被用作單視圖深度的置信圖Ms。最後，透過軟加權的方式來計算單視圖深度。
多重視圖分支
多重視圖分支與單一視圖分支共用主幹，以擷取參考影像和來源影像的特徵。我們採用去卷積將低分辨率特徵去卷積為四分之一分辨率，並將它們與用於構建cost volume的初始四分之一特徵相結合。透過將來源特徵wrap到參考相機跟隨的假設平面中，形成特徵volume。用於不需要太多的魯棒匹配信息，在計算中保留了特徵的通道維度並構建了4D cost volume，然後通過兩個3D卷積層將通道數量減少到1。
深度假設的取樣方法與單視圖分支一致，但取樣數量僅為128，然後使用堆疊的2D沙漏網路進行正規化，以獲得最終的多視圖cost volume。為了補充單視圖特徵的豐富語義資訊和由於成本正則化而丟失的細節，使用殘差結構來組合單視圖深度特徵Ds和cost volume，以獲得融合深度特徵，如下所示：
自適應融合模組
為了獲得最終準確和穩健的預測，設計了AF模組，以自適應地選擇兩個分支之間最準確的深度作為最終輸出，如圖2所示。透過三個confidence進行融合映射，其中兩個是由兩個分支分別產生的置信圖Ms和Mm，最關鍵的一個是透過前向wrapping產生的置信度圖Mw，以判斷多視圖分支的預測是否可靠。
實驗結果
DDAD（自動駕駛的密集深度）是一種新的自動駕駛基準，用於在具有挑戰性和多樣化的城市條件下進行密集深度估計。它由6台同步相機拍攝，並包含高密度雷射雷達產生的準確的地GT深度（整個360度視場）。它在單一相機視圖中有12650個訓練樣本和3950個驗證樣本，其中解析度為1936×1216。來自6台攝影機的全部資料用於訓練和測試。 KITTI資料集，提供運動車輛上拍攝的戶外場景的立體影像和相應的3D雷射scan，解析度約為1241×376。
DDAD和KITTI上的評測結果比較。請注意，* 標記了使用其開源程式碼複製的結果，其他報告的數字來自相應的原始論文。
DDAD上方法中每種策略的消融實驗結果。 Single表示單一視圖分支預測的結果，Multi-表示多視圖分支預測結果，Fuse表示融合結果dfuse。
消融結果的特徵提取網路參數共享和提取匹配資訊的方法。
#
以上是深度估計SOTA！自動駕駛單眼與環視深度的自適應融合的詳細內容。更多資訊請關注PHP中文網其他相關文章！
