目錄
寫在前面
MicKey介紹
1)度量pose監督的學習
2)網路結構
實驗對比
首頁 科技週邊 人工智慧 牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\'24)

牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\'24)

Apr 23, 2024 pm 01:20 PM
git 3d 模型

寫在前面

專案連結:https://nianticlabs.github.io/mickey/

給定兩張圖片,可以透過建立圖片之間的對應關係來估計它們之間的相機姿態。通常,這些對應關係是二維到二維的,而我們估計的姿態在尺度上是不確定的。一些應用,例如隨時隨地實現即時增強現實,需要尺度度量的姿態估計,因此它們依賴外部的深度估計器來恢復尺度。

本文提出了MicKey,這是一個關鍵點匹配流程,能夠足夠預測三維相機空間中的度量對應關係。透過學習跨影像的三維座標匹配,我們能夠在沒有深度測試的情況下推斷度量相對姿態。訓練過程中也不需要深度測試,也不需要場景重建或影像重疊資訊。 MicKey僅透過影像對及其相對姿態進行監督。 MicKey在無需地圖的重新定位基準測試中取得了最先進的性能,同時所需的監督少於其他競爭方法。

牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\24)

「Metric Keypoints(MicKey)是一個特徵檢測流程,解決了兩個問題。首先,MicKey回歸相機空間中的關鍵點位置,這允許透過描述符配對建立度量量對應關係。進行監督。 ,因此,透過SFM獲得的資訊(如影像重疊)是不需要的。

在無需地圖的重新定位基準測試中,MicKey名稱前茅,超越了最近最先進的方法。 MicKey提供了可靠的尺度度量姿態估計,即使在由特定針對稀疏特徵匹配的深度預測所支持的極端視角變化下也是如此。這種精度支援的極端視角變化下的變化下的變形匹配,使MicKey成為支援由特定針對稀疏特徵匹配的深度預測所支援的深度估計匹配所必需的深度估計的理想選擇。

主要貢獻如下:

MicKey是一個神經網絡,它可以從單張圖片中預測關鍵點,並對它們進行描述。這種描述符可以允許在圖像之間估計度量相對姿態。

這種訓練策略只需要相對姿態監控即可,無需深度測量,也不需要關於影像對重疊的知識。

MicKey介紹

MicKey預測相機空間中關鍵點的三維座標。網路還預測關鍵點的選擇機率(關鍵點分佈)和描述符,這些描述符引導匹配的機率(匹配分佈)。將這兩種分佈結合起來,得到了在中兩個關鍵點成為對應點的機率,並優化網絡,使得對應點更有可能出現。在一個可微分的RANSAC迴圈中,產生多個相對姿態假設,並計算它們相對於真實變換的損失。透過REINFORCE生成梯度來訓練對應機率。由於我們的姿態求解器和損失函數是可微分的,反向傳播也為訓練三維關鍵點座標提供了直接訊號。

牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\24)

1)度量pose監督的學習

給定兩張圖像,計算它們的度量相對姿態,以及關鍵點得分、匹配機率和姿態置信度(以軟內點計數形式)。我們的目標是以端到端的方式訓練所有相對姿態估計模組。在訓練過程中,我們假設訓練資料為,其中是真實變換,K/K'是相機內參。整個系統的示意圖如圖2所示。

為了學習三維關鍵點的座標、置信度和描述符,我們需要係統是完全可微分的。然而,由於pipeline中的一些元素不是可微分的,例如關鍵點採樣或內點計數,重新定義了相對姿態估計管道為機率性的。這意味著我們將網路的輸出視為潛在匹配的機率,在訓練過程中,網路優化其輸出以產生機率,使得正確的匹配更有可能被選中。

2)網路結構

MicKey遵循具有共享編碼器的多頭網路架構,該編碼器可推斷3D度量關鍵點以及來自輸入圖像的描述符,如圖3所示。

牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\24)

編碼器。採用預先訓練的DINOv2模型作為特徵提取器,並在不進行進一步訓練或微調的情況下直接使用其特徵。 DINOv2將輸入影像分割為大小為14×14的區塊,並為每個區塊提供一個特徵向量。最終的特徵圖F具有(1024, w, h)的分辨率,其中w = W/14,h = H/14。

關鍵點Head。這裡定義了四個並行Head,它們處理特徵圖F併計算xy偏移量(U)、深度(Z)、置信度(C)和描述符(D)映射;其中映射的每個條目對應於輸入影像中的一個14×14的block。 MicKey具有一個罕見的特性,即預測關鍵點作為稀疏規則網格的相對偏移量。獲得絕對2D座標如下:

牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\24)

實驗對比

在無地圖資料集上的相對姿態評估。報告了在90像素閾值下的VCRE指標的曲線下面積(AUC)和精度(Prec.)值,MicKey的兩個版本都獲得了最高結果。此外,還報告了中位數誤差,雖然MicKey在VCRE誤差方面獲得了最低值,但其他方法,例如RoMa,提供了更低的姿態誤差。為了計算中位數誤差,基準僅使用每種方法產生的有效姿態,因此,我們報告了估計的總姿勢數。最後,報告了配對時間,並發現MicKey與LoFTR和LighGlue相當,同時顯著減少了RoMa的時間,RoMa是VCRE指標最接近MicKey的競爭對手。匹配方法使用DPT 來恢復尺度。

牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\24)

MicKey產生的對應點、分數和深度圖的範例。 MicKey即使在大規模變化或寬基線的情況下也能找到有效的對應點。請注意,由於我們的特徵編碼器,深度圖的解析度比輸入影像小14倍。我們遵循DPT 中使用的深度圖視覺化方法,其中較亮的顏色表示較近的距離。

牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\24)

在ScanNet資料集上的相對姿態評估。所有特徵匹配方法都與PlaneRCNN 結合使用,以恢復度量尺度。我們標示了每種方法的訓練訊號:深度(D)、重疊分數(O)和姿態(P)。

牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\24)

牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\24)

牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\24)

#

以上是牛津大學最新! Mickey:3D中的2D影像匹配SOTA! (CVPR\'24)的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1664
14
CakePHP 教程
1423
52
Laravel 教程
1318
25
PHP教程
1269
29
C# 教程
1248
24
git怎麼下載項目到本地 git怎麼下載項目到本地 Apr 17, 2025 pm 04:36 PM

要通過 Git 下載項目到本地,請按以下步驟操作:安裝 Git。導航到項目目錄。使用以下命令克隆遠程存儲庫:git clone https://github.com/username/repository-name.git

git怎麼更新代碼 git怎麼更新代碼 Apr 17, 2025 pm 04:45 PM

更新 git 代碼的步驟:檢出代碼:git clone https://github.com/username/repo.git獲取最新更改:git fetch合併更改:git merge origin/master推送更改(可選):git push origin master

git下載不動怎麼辦 git下載不動怎麼辦 Apr 17, 2025 pm 04:54 PM

解決 Git 下載速度慢時可採取以下步驟:檢查網絡連接,嘗試切換連接方式。優化 Git 配置:增加 POST 緩衝區大小(git config --global http.postBuffer 524288000)、降低低速限制(git config --global http.lowSpeedLimit 1000)。使用 Git 代理(如 git-proxy 或 git-lfs-proxy)。嘗試使用不同的 Git 客戶端(如 Sourcetree 或 Github Desktop)。檢查防火

git怎麼合併代碼 git怎麼合併代碼 Apr 17, 2025 pm 04:39 PM

Git 代碼合併過程:拉取最新更改以避免衝突。切換到要合併的分支。發起合併,指定要合併的分支。解決合併衝突(如有)。暫存和提交合併,提供提交消息。

git commit怎麼用 git commit怎麼用 Apr 17, 2025 pm 03:57 PM

Git Commit 是一種命令,將文件變更記錄到 Git 存儲庫中,以保存項目當前狀態的快照。使用方法如下:添加變更到暫存區域編寫簡潔且信息豐富的提交消息保存並退出提交消息以完成提交可選:為提交添加簽名使用 git log 查看提交內容

git怎麼刪除倉庫 git怎麼刪除倉庫 Apr 17, 2025 pm 04:03 PM

要刪除 Git 倉庫,請執行以下步驟:確認要刪除的倉庫。本地刪除倉庫:使用 rm -rf 命令刪除其文件夾。遠程刪除倉庫:導航到倉庫設置,找到“刪除倉庫”選項,確認操作。

如何解決PHP項目中的高效搜索問題? Typesense助你實現! 如何解決PHP項目中的高效搜索問題? Typesense助你實現! Apr 17, 2025 pm 08:15 PM

在開發一個電商網站時,我遇到了一個棘手的問題:如何在大量商品數據中實現高效的搜索功能?傳統的數據庫搜索效率低下,用戶體驗不佳。經過一番研究,我發現了Typesense這個搜索引擎,並通過其官方PHP客戶端typesense/typesense-php解決了這個問題,大大提升了搜索性能。

git怎麼更新本地代碼 git怎麼更新本地代碼 Apr 17, 2025 pm 04:48 PM

如何更新本地 Git 代碼?用 git fetch 從遠程倉庫拉取最新更改。用 git merge origin/&lt;遠程分支名稱&gt; 將遠程變更合併到本地分支。解決因合併產生的衝突。用 git commit -m "Merge branch &lt;遠程分支名稱&gt;" 提交合併更改,應用更新。

See all articles