自動駕駛車道線偵測分類的虛擬-真實域適應方法
arXiv論文“Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving“,2022年5月,加拿大滑鐵盧大學的工作。
雖然自主駕駛的監督偵測和分類框架需要大型標註資料集,但光照真實模擬環境產生的合成資料所推動的無監督域適應(UDA ,Unsupervised Domain Adaptation)方法則是低成本、耗時更少的解決方案。本文提出對抗性鑑別和生成(adversarial discriminative and generative)方法的UDA方案,用於自動駕駛的車道線檢測和分類應用。
也介紹Simulanes資料集產生器,利用CARLA的巨大交通場景和天氣條件,創建一個自然的合成資料集。提出的UDA框架將帶有標籤的合成資料集作為來源域,而目標域是未標記的真實資料。用對抗生成和特徵鑑別器,調試學習模型,預測目標域的車道位置和類別。用真實資料集和合成資料集進行評估。
開源UDA框架在githubcom/anita-hu/sim2real-lane-detection,還有資料集產生器在github.com/anita-hu/simulanes。
現實世界中的駕駛具有多樣性,交通條件、天氣和周圍環境也各不相同。因此,模擬場景的多樣性對模型在現實世界中的良好適應性至關重要。有許多用於自動駕駛的開源模擬器,即CARLA和LGSVL。本文選擇CARLA來產生模擬資料集,除靈活的Python API外,CARLA還包含豐富的覆蓋城市、鄉村和公路場景的預先繪製地圖內容。
模擬資料產生器Simulanes在城市、鄉村和公路環境中產生了各種模擬場景,包括15個車道類別和動態天氣。如圖顯示來自合成資料集的樣本。行人和車輛參與者隨機產生並放置在地圖上,透過遮蔽增加資料集的難度。根據TuSimple和CULane資料集,將車輛附近的最大車道數限制為4條,並用行錨點為標籤。
由於CARLA模擬器不會直接給予車道位置標籤,用CARLA的路點系統(waypoint system)產生標籤。 CARLA路點是車輛autopilot要遵循的預定義位置,位於車道中心。為了獲得車道位置標籤,將目前車道的路點左右移動W/2,其中W是模擬器給定的車道寬度。然後將這些移動的路點投影到攝影機座標系,並採用樣條曲線擬合,以便沿著預定的行錨點產生標籤。類別標籤由模擬器給出,是15個類別的一個。
為了產生具有N幀的資料集,將N均勻地劃分到所有可用的地圖上。從預設的CARLA地圖中,用城鎮1、3、4、5、7和10,而城鎮2和6由於提取的車道位置標籤與圖像的車道位置之間存在差異而未使用。對每個地圖,車輛參與者在隨機位置生成,並隨機移動。動態天氣透過將時間作為正弦函數平滑地改變太陽的位置並偶爾產生風暴來實現,風暴透過雲量、水量和積水等變數影響環境的外觀。為了避免在同一位置保存多個幀,檢查車輛是否已從前一幀位置移動,如果這個車輛停止太長時間,則重新生成新的車輛。
當sim-to-real演算法應用於車道偵測時,採用端對端的方法,並使用Ultra- Fast-Lane-Detection(UFLD)模型作為基礎網路。之所以選擇UFLD,是因為其輕量級架構可以在相同輸入解析度下實現300幀/秒速度,同時具有與最先進方法相當的性能。 UFLD將車道偵測任務表述為基於行的選擇法,其中每個車道由預先定義行的一系列水平位置表示,即行錨點。對於每個行錨點,位置被劃分為w網格單元。對於第i條車道和第j行錨點,位置預測成為一個分類問題,其中模型輸出選擇(w 1)網格單元的機率Pi,j。輸出中的附加維度是無車道。
UFLD提出一個輔助分割分支,在多尺度上聚集特徵來建模局部特徵,這個只在訓練期間使用。隨UFLD方法,交叉熵損失用於分割損失Lseg。對於車道分類,增加一個全連接(FC)層的小分支,接收與車道位置預測的FC層相同的特徵。車道分類損失Lcls也使用交叉熵損失。
為了緩解UDA設定的域漂移問題,採用了UNIT(“Unsupervised Image-to-Image Translation Networks“,NIPS,2017)& MUNIT(「Multimodal unsupervised image-to-image translation,」 ECCV 2018)的對抗性生成方法,以及使用特徵鑑別器的對抗性判別方法。如圖所示:提出了對抗性生成方法(A)和對抗性判別方法(B)。 UNIT和MUNIT在(A)中表示,其中顯示用於影像翻譯(image translation)的生成器輸入。 MUNIT的附加風格輸入以藍色虛線顯示。為了簡單起見,省略了MUNIT風格的編碼器輸出,因為它不用於影像翻譯。
實驗結果如下:
#左:直接遷移法,右:對抗鑑別(ADA)方法
以上是自動駕駛車道線偵測分類的虛擬-真實域適應方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

0.這篇文章乾了啥?提出了DepthFM:一個多功能且快速的最先進的生成式單目深度估計模型。除了傳統的深度估計任務外,DepthFM還展示了在深度修復等下游任務中的最先進能力。 DepthFM效率高,可以在少數推理步驟內合成深度圖。以下一起來閱讀這項工作~1.論文資訊標題:DepthFM:FastMonocularDepthEstimationwithFlowMatching作者:MingGui,JohannesS.Fischer,UlrichPrestel,PingchuanMa,Dmytr

DDREASE是一種用於從檔案或區塊裝置(如硬碟、SSD、RAM磁碟、CD、DVD和USB儲存裝置)復原資料的工具。它將資料從一個區塊設備複製到另一個區塊設備,留下損壞的資料區塊,只移動好的資料區塊。 ddreasue是一種強大的恢復工具,完全自動化,因為它在恢復操作期間不需要任何干擾。此外,由於有了ddasue地圖文件,它可以隨時停止和恢復。 DDREASE的其他主要功能如下:它不會覆寫恢復的數據,但會在迭代恢復的情況下填補空白。但是,如果指示工具明確執行此操作,則可以將其截斷。將資料從多個檔案或區塊還原到單

昨天面試被問到了是否做過長尾相關的問題,所以就想著簡單總結一下。自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況,即發生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設計域的主要原因之一。自動駕駛的底層架構和大部分技術問題已經解決,剩下的5%的長尾問題,逐漸成了限制自動駕駛發展的關鍵。這些問題包括各種零碎的場景、極端的情況和無法預測的人類行為。自動駕駛中的邊緣場景"長尾"是指自動駕駛汽車(AV)中的邊緣情況,邊緣情況是發生機率較低的可能場景。這些罕見的事件

谷歌力推的JAX在最近的基準測試中表現已經超過Pytorch和TensorFlow,7項指標排名第一。而且測試並不是JAX性能表現最好的TPU上完成的。雖然現在在開發者中,Pytorch依然比Tensorflow更受歡迎。但未來,也許有更多的大型模型會基於JAX平台進行訓練和運行。模型最近,Keras團隊為三個後端(TensorFlow、JAX、PyTorch)與原生PyTorch實作以及搭配TensorFlow的Keras2進行了基準測試。首先,他們為生成式和非生成式人工智慧任務選擇了一組主流

在iPhone上面臨滯後,緩慢的行動數據連線?通常,手機上蜂窩互聯網的強度取決於幾個因素,例如區域、蜂窩網絡類型、漫遊類型等。您可以採取一些措施來獲得更快、更可靠的蜂窩網路連線。修復1–強制重啟iPhone有時,強制重啟設備只會重置許多內容,包括蜂窩網路連線。步驟1–只需按一次音量調高鍵並放開即可。接下來,按降低音量鍵並再次釋放它。步驟2–過程的下一部分是按住右側的按鈕。讓iPhone完成重啟。啟用蜂窩數據並檢查網路速度。再次檢查修復2–更改資料模式雖然5G提供了更好的網路速度,但在訊號較弱

特斯拉機器人Optimus最新影片出爐,已經可以在工廠裡打工了。正常速度下,它分揀電池(特斯拉的4680電池)是這樣的:官方還放出了20倍速下的樣子——在小小的「工位」上,揀啊揀啊揀:這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作,是完全自主的,全程沒有人為的干預。而且在Optimus的視角之下,它還可以把放歪了的電池重新撿起來放置,主打一個自動糾錯:對於Optimus的手,英偉達科學家JimFan給出了高度的評價:Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺

目標偵測在自動駕駛系統當中是一個比較成熟的問題,其中行人偵測是最早得以部署演算法之一。在多數論文當中已經進行了非常全面的研究。然而,利用魚眼相機進行環視的距離感知相對來說研究較少。由於徑向畸變大,標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述,我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示,並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優於其他模型,並同時在用於自動駕駛的Valeo魚眼相機資料集上實現了49.5%的mAP

最近一個月由於眾所周知的一些原因,非常密集地和業界的各種老師同學進行了交流。交流中必不可免的一個話題自然是端到端與火辣的特斯拉FSDV12。想藉此機會,整理當下這個時刻的一些想法和觀點,供大家參考和討論。如何定義端到端的自動駕駛系統,應該期望端到端解決什麼問題?依照最傳統的定義,端到端的系統指的是一套系統,輸入感測器的原始訊息,直接輸出任務關心的變數。例如,在影像辨識中,CNN相對於傳統的特徵提取器+分類器的方法就可以稱之為端到端。在自動駕駛任務中,輸入各種感測器的資料(相機/LiDAR
