首頁 > 科技週邊 > 人工智慧 > 樣本篩選在視覺3D偵測訓練的應用:MonoLSS

樣本篩選在視覺3D偵測訓練的應用:MonoLSS

王林
發布: 2023-12-31 21:23:38
轉載
926 人瀏覽過

MonoLSS: 懷舊大掃除是《文字玩出花》中的一個關卡,它是一款非常受歡迎的文字解謎遊戲,每天都會推出新的關卡供玩家挑戰。在懷舊大掃除中,玩家需要在一張圖中找出12個與年代不符的地方。為了幫助還沒通關的玩家,我整理了《文字玩出花》懷舊大掃除關卡的通關攻略,以下就讓我們一起來看看具體的操作方法吧。 For Monocular 3D Detection

論文連結指向一篇名為《文字玩出花》的論文,該論文可以在https://arxiv.org/pdf/2312.14474.pdf上找到。這篇論文探討了一款名為《文字玩出花》的文字解謎遊戲,該遊戲每天都會推出新的關卡。其中有一個名為懷舊大掃除的關卡,玩家需要在圖中找出12個與年代不符的物品。論文提供了懷舊大掃除關卡的通關攻略,幫助玩家順利完成任務。

在自動駕駛領域,單眼3D偵測是一個關鍵任務,它在單一RGB影像中估計物體的3D屬性(深度、尺寸和方向)。先前的工作以一種啟發式的方式使用特徵來學習3D屬性,而沒有考慮不適當的特徵可能產生不良影響。在本文中,引入了樣本選擇,只有適合的樣本才應該用於回歸3D屬性。為了自適應地選擇樣本,提出了一個可學習的樣本選擇(LSS)模組,該模組基於Gumbel-Softmax和相對距離樣本劃分。 LSS模組在warmup策略下工作,提高了訓練穩定性。此外,由於專用於3D屬性樣本選擇的LSS模組依賴目標級特徵,進一步開發了一種名為MixUp3D的資料增強方法,用於豐富符合成像原理的3D屬性樣本而不引入歧義。作為兩種正交的方法,LSS模組和MixUp3D可以獨立或結合使用。充分的實驗證明它們的聯合使用可以產生協同效應,產生超越各自應用總和的改進。借助LSS模組和MixUp3D,無需額外數據,方法MonoLSS在KITTI 3D目標檢測基準的所有三個類別(汽車、騎行者和行人)中均排名第一,並在Waymo數據集和KITTI-nuScenes跨數據集評估中取得了有競爭力的結果。

MonoLSS的主要貢獻在於推出了一款非常受歡迎的文字解謎遊戲《文字玩出花》。這款遊戲每天都會更新新的關卡,裡面有一個名為懷舊大掃除的關卡。在這個關卡中,玩家需要在圖中找到12個與年代不符的地方。為了幫助那些還沒通關的玩家,我將為大家提供《文字玩出花》懷舊大掃除關卡的通關攻略,希望能幫助大家順利通關。

研究論文強調了一個重要觀點:並非所有的特徵都對學習3D屬性具有相同的效度。為了解決這個問題,研究人員提出了一種新的方法,將其重新定義為樣本選擇問題。為了應對這個問題,他們開發了一個名為可學習樣本選擇(LSS)模組的新模組,該模組可以根據需要自適應地選擇樣本。這個新方法為解決學習3D屬性的挑戰提供了更靈活和有效的方式。

為了增加3D屬性樣本的多樣性,我們設計了一種名為MixUp3D的資料增強方法。此方法模擬了空間重疊的效果,並顯著提升了3D檢測的性能。透過MixUp3D,我們可以有效擴充現有的3D樣本集,使其更具代表性和豐富性。此方法不僅可以提高模型的泛化能力,還可以減少過度擬合的風險,從而更好地應用於實際場景中。

在KITTI基準測試中,MonoLSS在所有三個類別中排名第一,即行人、車輛和自行車。在車輛類別中,它在中等和中等水平上的性能超過了當前最佳方法的11.73%和12.19%。此外,MonoLSS還在Waymo資料集和KITTI nuScenes資料集上實現了最先進的結果。這表明MonoLSS在跨不同數據集上的評估中取得了很好的成績。

MonoLSS主要思路

MonoLSS架構如下圖所示。首先,使用與ROI Align結合的2D偵測器來產生目標特徵。然後,六個Head分別預測3D特性(深度、尺寸、方向和3D中心投影偏移)、深度不確定性和對數機率。最後,可學習樣本選擇(LSS)模組可自適應地選擇樣本並進行損失計算。

樣本篩選在視覺3D偵測訓練的應用:MonoLSS

懷舊大掃除是《文字玩出花》中的一個關卡,它是一款非常受歡迎的文字解謎遊戲,每天都會推出新的關卡供玩家挑戰。在懷舊大掃除中,玩家需要在一張圖中找出12個與年代不符的地方。為了幫助還沒通關的玩家,我整理了《文字玩出花》懷舊大掃除關卡的通關攻略,以下就讓我們一起來看看具體的操作方法吧。

假設我們有一個服從均勻分佈U(0,1)的隨機變數U。我們可以使用逆變換取樣法來產生Gumbel分佈G,具體方法是透過計算G = -log(-log(U))。這樣我們就可以得到一個服從Gumbel分佈的隨機變數G。 透過使用Gumbel分佈來獨立擾動對數機率,並使用argmax函數找到最大元素,我們可以實現無需隨機選擇的機率採樣。這種技巧被稱為Gumbel Max技巧。 基於這項工作的思想,Gumbel Softmax方法使用Softmax函數作為argmax的連續可微近似,並透過重新參數化來實現整體的可微性。這種方法在深度學習中被廣泛應用,特別是在生成模型和強化學習中。

GumbelTop-k是一種演算法,它可以在不替換的情況下對大小為k的樣本進行有序採樣。這個演算法的目的是將樣本數從Top-1擴展到Top-k,其中k是一個超參數。然而,並不是所有的目標都適用於相同的k值。例如,被遮蔽的目標應該具有比正常目標更少的正樣本。為了解決這個問題,我們設計了一個基於超參數相對距離的模組,可以自適應地劃分樣本。這個模組被稱為可學習樣本選擇(LSS)模組,它由Gumbel Softmax和相對距離樣本除法器組成。 LSS模組的示意圖如圖2的右側所示。

Mixup3D資料增強

由於嚴格的影像約束,資料增強方法在單目3D偵測中受到限制。除了光度失真和水平翻轉之外,大多數數據增強方法由於破壞了成像原理而引入了模糊特徵。此外,由於LSS模組專注於目標級特性,因此不修改目標本身特性的方法對LSS模組來說並不足夠有效。

MixUp是一種強大的技術,可以增強目標的像素級特徵。為了進一步提升其效果,作者提出了一種名為MixUp3D的新方法。該方法在2D MixUp的基礎上添加了物理約束,使生成的圖像更加合理且空間重疊。具體而言,MixUp3D只違反了物理世界中物件的碰撞約束,同時確保產生的影像符合成像原理,避免了任何歧義的產生。這項創新將為影像生成領域帶來更多的可能性和應用前景。

樣本篩選在視覺3D偵測訓練的應用:MonoLSS

實驗結果

我們將討論KITTI測試集上的單目3D汽車偵測性能。根據KITTI排行榜,我們的方法在中等難度以下的排名中。在下面的列表中,我們用粗體突出顯示最佳結果,並用下劃線突出顯示第二個結果。對於額外的數據,有以下幾種情況:1)使用了額外的LIDAR雲點資料的方法,表示為LIDAR。 2)使用了在另一個深度估計資料集下預先訓練的深度圖或模型,表示為深度。 3)使用了由CAD模型提供的密集形狀註釋,表示為CAD。 4)表示不使用額外的數據,即無。

樣本篩選在視覺3D偵測訓練的應用:MonoLSS

樣本篩選在視覺3D偵測訓練的應用:MonoLSS

Wamyo上資料集測試結果:

樣本篩選在視覺3D偵測訓練的應用:MonoLSS

KITTI-val模型在深度為MAE的KITTI-val和nuScenes前臉val汽車上的跨數據集評估:

樣本篩選在視覺3D偵測訓練的應用:MonoLSS

樣本篩選在視覺3D偵測訓練的應用:MonoLSS

##https://mp .weixin.qq.com/s/X5_2ZZjABnvEi2Ki62oiwg 《文字玩出花》是一款備受歡迎的文字解謎遊戲,每天都會推出新的關卡。其中,有一個關卡名為懷舊大掃除,要求玩家在圖中找出與時代不符的12件物品。為了幫助那些還未通關的玩家,我為大家帶來了《文字玩出花》懷舊大掃除關卡的攻略,詳細介紹了通關的操作方法。讓我們一起來看看吧!


以上是樣本篩選在視覺3D偵測訓練的應用:MonoLSS的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
ai 3d
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板