arXiv論文“Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving“，2022年5月，加拿大滑鐵盧大學的工作。
雖然自主駕駛的監督偵測和分類框架需要大型標註資料集，但光照真實模擬環境產生的合成資料所推動的無監督域適應（UDA ，Unsupervised Domain Adaptation）方法則是低成本、耗時更少的解決方案。本文提出對抗性鑑別和生成（adversarial discriminative and generative）方法的UDA方案，用於自動駕駛的車道線檢測和分類應用。
也介紹Simulanes資料集產生器，利用CARLA的巨大交通場景和天氣條件，創建一個自然的合成資料集。提出的UDA框架將帶有標籤的合成資料集作為來源域，而目標域是未標記的真實資料。用對抗生成和特徵鑑別器，調試學習模型，預測目標域的車道位置和類別。用真實資料集和合成資料集進行評估。
開源UDA框架在githubcom/anita-hu/sim2real-lane-detection，還有資料集產生器在github.com/anita-hu/simulanes。
現實世界中的駕駛具有多樣性，交通條件、天氣和周圍環境也各不相同。因此，模擬場景的多樣性對模型在現實世界中的良好適應性至關重要。有許多用於自動駕駛的開源模擬器，即CARLA和LGSVL。本文選擇CARLA來產生模擬資料集，除靈活的Python API外，CARLA還包含豐富的覆蓋城市、鄉村和公路場景的預先繪製地圖內容。
模擬資料產生器Simulanes在城市、鄉村和公路環境中產生了各種模擬場景，包括15個車道類別和動態天氣。如圖顯示來自合成資料集的樣本。行人和車輛參與者隨機產生並放置在地圖上，透過遮蔽增加資料集的難度。根據TuSimple和CULane資料集，將車輛附近的最大車道數限制為4條，並用行錨點為標籤。
由於CARLA模擬器不會直接給予車道位置標籤，用CARLA的路點系統（waypoint system）產生標籤。 CARLA路點是車輛autopilot要遵循的預定義位置，位於車道中心。為了獲得車道位置標籤，將目前車道的路點左右移動W/2，其中W是模擬器給定的車道寬度。然後將這些移動的路點投影到攝影機座標系，並採用樣條曲線擬合，以便沿著預定的行錨點產生標籤。類別標籤由模擬器給出，是15個類別的一個。
為了產生具有N幀的資料集，將N均勻地劃分到所有可用的地圖上。從預設的CARLA地圖中，用城鎮1、3、4、5、7和10，而城鎮2和6由於提取的車道位置標籤與圖像的車道位置之間存在差異而未使用。對每個地圖，車輛參與者在隨機位置生成，並隨機移動。動態天氣透過將時間作為正弦函數平滑地改變太陽的位置並偶爾產生風暴來實現，風暴透過雲量、水量和積水等變數影響環境的外觀。為了避免在同一位置保存多個幀，檢查車輛是否已從前一幀位置移動，如果這個車輛停止太長時間，則重新生成新的車輛。
當sim-to-real演算法應用於車道偵測時，採用端對端的方法，並使用Ultra- Fast-Lane-Detection（UFLD）模型作為基礎網路。之所以選擇UFLD，是因為其輕量級架構可以在相同輸入解析度下實現300幀/秒速度，同時具有與最先進方法相當的性能。 UFLD將車道偵測任務表述為基於行的選擇法，其中每個車道由預先定義行的一系列水平位置表示，即行錨點。對於每個行錨點，位置被劃分為w網格單元。對於第i條車道和第j行錨點，位置預測成為一個分類問題，其中模型輸出選擇（w 1）網格單元的機率Pi，j。輸出中的附加維度是無車道。
UFLD提出一個輔助分割分支，在多尺度上聚集特徵來建模局部特徵，這個只在訓練期間使用。隨UFLD方法，交叉熵損失用於分割損失Lseg。對於車道分類，增加一個全連接（FC）層的小分支，接收與車道位置預測的FC層相同的特徵。車道分類損失Lcls也使用交叉熵損失。
為了緩解UDA設定的域漂移問題，採用了UNIT（“Unsupervised Image-to-Image Translation Networks“，NIPS，2017）& MUNIT（「Multimodal unsupervised image-to-image translation,」 ECCV 2018）的對抗性生成方法，以及使用特徵鑑別器的對抗性判別方法。如圖所示：提出了對抗性生成方法（A）和對抗性判別方法（B）。 UNIT和MUNIT在（A）中表示，其中顯示用於影像翻譯（image translation）的生成器輸入。 MUNIT的附加風格輸入以藍色虛線顯示。為了簡單起見，省略了MUNIT風格的編碼器輸出，因為它不用於影像翻譯。
實驗結果如下：
#左：直接遷移法，右：對抗鑑別（ADA）方法
以上是自動駕駛車道線偵測分類的虛擬-真實域適應方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！
