01 摘要
自動駕駛汽車依靠各種感測器來收集周圍環境的資訊。車輛的行為是根據環境感知進行規劃的，因此出於安全考慮，其可靠性至關重要。主動光達感測器能夠創建場景的精確3D表示，使其成為自動駕駛汽車環境感知的寶貴補充。由於光散射和遮擋，雷射雷達的性能在霧、雪或雨等惡劣天氣條件下會發生變化。這種限制最近促進了大量關於緩解感知性能下降的方法的研究。
本文收集、分析並討論了基於雷射雷達的環境感知中應對不利天氣條件的不同方面。並討論了適當數據的可用性、原始點雲處理和去噪、魯棒感知演算法和感測器融合等主題，以緩解不利天氣造成的缺陷。此外論文進一步確定了目前文獻中最緊迫的差距，並確定了有希望的研究方向。
02 介紹
LiDAR感測器最近在自動駕駛領域越來越受到關注[1]。它提供了稀疏但準確的深度信息，使其成為對相機和雷達等研究更深入的傳感器的寶貴補充。光達感測器是一種主動感測器，這意味著它發射被環境反射的光脈衝。然後，感測器捕捉反射光，並根據經過的時間測量環境的距離。除了時間之外，還可以評估其他特徵，如光量和訊號的延長。在大多數情況下，有機械組件與多個雷射二極體結合，以創建完整場景的稀疏點雲[1]。市面上有各種不同的感測器。
雷射雷達感測器在惡劣天氣條件下有不同的缺點。首先，感測器凍結或其他機械併發症可能在凍結溫度下發生。感測器技術、型號和安裝位置等內部和結構因素對劣化程度起著一定作用。此外，不利天氣會影響強度值、點數和其他點雲特徵（見圖一）。一般來說，當由於灰塵或惡劣天氣而在空氣中遇到顆粒物時，發射的光會向後散射或轉移。這導致點雲中的距離和反射率測量存在噪聲，因為一些雷射脈衝過早返回感測器或在大氣中丟失。在應用場景理解演算法時，噪音尤其有害。在這種安全關鍵的用例中，保持可靠的高預測效能尤其重要。因此，需要有應對策略來最大限度地減少不利天氣條件下雷射雷達感知性能的下降，或至少檢測感測器在現實世界場景中的限制。
大多數最先進的演算法都依賴深度學習（DL）演算法，該演算法依賴大量數據，以導出環境的通用特徵。雖然有一系列研究集中在無監督感知上，但最近的大多數工作都需要對原始數據進行相應的標記。這包括用於物件檢測的邊界框和用於語義分割的逐點類標籤。手動標記稀疏和額外雜訊的點雲不僅困難，而且成本高且容易出錯。因此，如何用特定於天氣的噪音模擬或增強現有點雲的問題尤其有趣。
儘管有大量關於分析雷射雷達感測器在惡劣天氣條件下的性能退化的研究，但缺乏關於改善感知的演算法應對策略的全面總結。此外，針對惡劣天氣條件下自動駕駛的調查解決了天氣引起的感測器退化，但並沒有確定雷射雷達感測器特有的天氣相關問題。本文總結並分析了應對光達感知不利天氣條件的各種方法。因此，論文從三個不同的角度闡述了這個主題：
- 資料可用性：用於開發穩健雷射雷達感知演算法的真實世界和合成資料集；
- 點雲操作：感測器特定的天氣穩健性和感知無關的點雲處理（例如天氣分類、點雲去噪）；
- 魯棒感知：穩健感知演算法，能夠透過融合多個感測器、在訓練中進行調整或提高感知模型的整體穩健性來處理點雲中由天氣引起的噪音。
最後對目前技術中缺失的空白以及最有前景的研究方向進行了總結。
03 不利天氣資料
要在任何類型的感知任務上訓練DL模型，都需要大量的資料。對於仍占主導地位的監督方法，這些數據甚至必須透過自動標記方法或手動方式進行標記。無論哪種方式，獲得精確標記的稀疏雷射雷達資料都是昂貴且繁瑣的，而且當原始點雲被天氣引起的雜訊破壞時，更會受到阻礙。
因此，需要具有高品質標籤的有價值的資料集。通常，有三種選擇可以獲得具有天氣特徵噪音模式的雷射雷達點雲：真實世界記錄、增強點雲和模擬點雲。第一個是在惡劣的天氣條件下使用帶有適當感測器設定的測試車產生的。後一種方法需要實體模型或基於DL的方法來建立部分或整個點雲。
真實世界資料集
#用於雷射雷達感知基準的大多數現有資料集都是在有利的天氣條件下記錄的。為了在現實世界中使用開發的感知演算法，底層資料集必須反映所有天氣條件。除了晴朗的天氣條件外，還有一些廣泛的資料集明確包括雨、雪和霧。
表I顯示了用於研究惡劣天氣條件下雷射雷達感知的公開可用資料集的概述。數據集是在不同的條件下記錄的，大小差異很大。其中大多數實際上是在真實世界的駕駛場景中記錄的，而其中兩個（部分）來自氣象室。氣象室具有完全控制天氣條件和周圍環境的優勢，即在障礙物方面。儘管如此，它們並不能充分反映現實世界的情況。
此外，每個資料集都使用不同的感測器設定。 [27]專門針對惡劣天氣條件下的光達製造商和型號進行基準測試。除了光達感測器，所有資料集都提供RGB攝影機記錄，有些資料集甚至包括雷達、立體聲，事件、門控或紅外線攝影機。
這些資料集旨在解決自動駕駛汽車的不同感知和駕駛任務。幾乎所有感測器設定（除[21]外）都包括定位和運動感測器，即GPS/GNSS和IMU。因此，它們適合於開發和測試SLAM演算法。除了僅提供運動GT的[29]之外，所有資料集都提供了用於目標偵測或逐點分割的標籤。
最後，所有資料集都包含一些關於天氣狀況的元資料。這對於在惡劣天氣條件下開發幾乎任何類型的感知模型都至關重要。至少對於徹底的驗證來說，了解周圍天氣條件的強度和性質是至關重要的。只有一個資料集提供逐點天氣標籤，即路邊的降雪和積雪。
由真實世界記錄組成的資料集的優點是高度真實。缺點是記錄場景的標籤僅部分可用（逐點），或者，如果資料記錄在氣象室中，則僅限於更複雜的現實世界場景。在不利的天氣條件下手動逐點標記雷射雷達點雲尤其具有挑戰性，因為在許多情況下，將雜波或雜訊與實際反射訊號區分開來是不切實際的。
天氣增強
#將不利天氣影響擴展到現有資料集提供了一種產生大量資料的有效方法，而不是乏味地收集和標記不同不利天氣影響的新資料集。通常，基於物理或經驗的增強模型被用來將某些不利天氣影響增強為晴朗的天氣點雲，無論它們是來自真實世界的驅動還是來自等模擬。這允許獲得被天氣特定噪音破壞的場景，同時保留資料集中已經存在的所有有趣的邊緣情況和註釋。
增強方法定義了在不利天氣條件下從晴朗天氣點到對應點的對應。為此，經常參考[32]中的理論雷射雷達模型，該模型對不利的雨、霧和雪的影響進行建模。它透過將發射的脈衝與場景響應卷積，將接收到的強度分佈建模為線性系統。場景響應對固體物體上的反射以及由於惡劣天氣造成的背散射和衰減進行建模。
[9]中介紹了一種更實用的霧增強，可以直接應用於點雲。它基於最大視距，該視距是測量強度、雷射雷達參數和霧中光學能見度的函數。如果晴朗天氣點的距離低於最大觀看距離，則會出現隨機散射點，或者該點以一定的機率丟失。該模型透過將能見度參數和散射機率轉化為降雨率來適應降雨。
然而，這些模型忽略了所考慮的用於增雨的發射雷射雷達脈衝的光束發散。這裡，計算了模擬光束發散的超採樣光束與球形雨滴的交點數量。如果交叉點的數量超過某個閾值，則會增加一個散射點。 [35]中的擴充方法擴展了這種方法，從而可能出現丟失點。此外，它也適用於雪和霧。
[36]中介紹了霧、雪和雨的另一種增強。該模型在功率域中運行，並且不依賴例如像前面討論的方法那樣計算交叉點。此外，使用計算上更有效的散射點距離採樣策略來模擬光束發散。通常，該模型首先將固體物體和隨機採樣散射體反射的衰減功率與距離相關的雜訊閾值進行比較。如果散射點的功率超過實體物件的功率，則會加入散射點。如果某個點低於與距離相關的雜訊閾值，則該點將會遺失。
除了基於物理的模型外，經驗模型也可以用來增強。在[38]中可以找到其他車輛捲起的噴霧的經驗增強方法。這個模型的中心是從專門的實驗中觀察到的噴霧被組織成簇狀。 [39]中提出了另一種數據驅動方法，該方法依賴Waymo數據集的噴霧場景。在[40]中，提出了一種計算成本更高的噴霧增強方法，該方法依賴具有物理引擎的渲染器。
最後，基於DL的方法可以應用於不利天氣增強。在[41]中，受影像到影像翻譯的啟發，提出了一種基於生成對抗性網路（GAN）的方法，該方法能夠將點雲從晴天轉換為霧天或雨天。他們將他們的結果與來自氣象室的真實霧點雲和雨點雲進行了定性比較。
然而，評估增強方法的品質和真實程度是具有挑戰性的。有些作者使用氣象室或其他受控環境，以便與現實世界的天氣影響進行比較。此外，如果增強方法有助於在現實世界不利天氣條件下的感知性能，則通常認為它是現實的。
04 點雲處理與去雜訊
#本節介紹如何處理不利天氣條件的方法，這些方法是基於感測器技術或點雲的，即獨立於實際感知任務。因此，論文分析了一般感測器相關的天氣穩健性，以及根據天氣條件估計性能退化程度的可能性。此外，有大量研究使用經典去雜訊方法和DL從雷射雷達點雲中去除天氣引起的雜訊。
感測器相關天氣穩健性
#根據技術、特性和配置，不同的光達模型或多或少會受到天氣條件的影響。由於眼睛安全的限制和對環境光的抑制，雷射雷達感測器的兩種工作波長占主導地位：905nm和1550nm，其中905nm是大多數可用的感測器。這在一定程度上是由於在不利天氣條件下具有更好的性能，即雨滴的吸收率較低，在雪中具有更好的反射率，在霧中具有較小的退化。關於惡劣天氣條件下雷射雷達技術和波長的全面討論，我們參考[17]。
此外，也對惡劣天氣條件下的全波形雷射雷達（FWL）性能進行了研究。 FWL不僅測量一個或兩個回波，而且測量所有較弱的回波，有效地測量了更多的噪聲，但也收集了更多關於周圍環境的資訊。儘管FWL需要很高的運算資源，但它已被證明對分析周圍介質很有用，這可以為理解甚至不斷變化的條件並動態調整條件奠定基礎。
感測器退化估計和天氣分類
#
由於雷射雷達感測器在不同的天氣條件下退化不同，估計感測器退化程度是處理損壞的雷射雷達點雲的第一步。在開發更好地識別感測極限的方法以防止錯誤檢測傳播到下游任務時，已經取得了進展。
首先，一些關於表徵感測器在各種天氣條件下退化的研究為感測器在惡劣天氣條件下的校準和進一步發展奠定了堅實的基礎，儘管尚未對其天氣分類能力進行評估。
[33]中介紹了第一個實際模擬降雨對雷射雷達感測器影響的工作。作者提出了一個從雷射雷達方程式導出的數學模型，並允許基於降雨率和最大感測範圍進行性能退化估計。
在隨後的研究工作中，對惡劣天氣條件下感測器退化的估計被公式化為異常檢測任務和驗證任務。前者採用了基於DL的模型，該模型旨在學習一種潛在的表示，該表示將清晰的LiDAR掃描與雨天的雷射雷達掃描區分開來，從而能夠量化性能下降的程度。後一種方法建議使用強化學習（RL）模型來確定物件偵測和追蹤模型中的失敗。
雖然上述方法旨在量化感測器性能本身的下降，但另一系列研究則著重於對周圍天氣條件（即晴朗、下雨、霧和雪）的分類。在基於雷射雷達點雲手工製作的特徵3的經典機器學習方法（k-最近鄰和支援向量機）的幫助下，取得了令人滿意的結果：[10]提出了一個特徵集來進行逐點天氣分類。
[51]開發了降雨率逐幀迴歸的機率模型。在專家的配合下，他們從光達點雲中準確地推斷出了降雨率。
應該注意的是，大多數方法都是根據氣象室收集的資料進行訓練和評估的。雖然仔細控制天氣條件的能力允許高再現性，但數據通常無法準確反映真實世界的情況。為了評估每種方法的分類能力，有必要對真實世界的數據進行徹底的研究[50]。
點雲去雜訊
#天氣效應以特定的雜訊模式反映在雷射雷達點雲中。如第一節所述，它們可能會影響點雲中的測量次數和最大感測範圍等因素。可以透過各種方法對點雲進行去噪，以重建清晰的測量結果，而不是用特定於天氣的噪聲來增強點雲。除了經典的濾波演算法外，最近還出現了一些基於DL的去噪工作。
除了在去雜訊雲上應用物體偵測等感知任務外，精確度（保留環境特徵）和召回率（濾除天氣引起的雜訊）等指標對於評估經典濾波方法的性能至關重要。為了計算這些指標，需要逐點標記，以說明雪粒等天氣類別。
半徑異常值移除（ROR）基於任何點的鄰域過濾掉雜訊。這對於光達測量遠處物體來說就成了問題，因為點雲變得自然稀疏。先進的方法透過根據感測距離動態調整閾值（動態半徑異常值去除（DROR））或考慮到點雲中每個點的鄰居的平均距離（統計異常值去除）來解決這個問題。這兩種方法都表現出很高的運行時間，使得它們幾乎不適用於自動駕駛。快速聚類統計異常值去除（FCSOR）和動態統計異常值消除（DSOR）都提出了降低運算負載的方法，同時仍從點雲中移除天氣偽影。
路邊雷射雷達的去雜訊方法依賴歷史資料的背景模型（可用於固定路邊感測器），結合經典去雜訊中使用的基本原理來識別動態點。 [57]在強度閾值的幫助下從實際物體中過濾天氣噪音。不幸的是，這並不容易適用於安裝在移動車輛上的雷射雷達感測器。
與經典的去噪方法相反，基於DL的光達點雲去噪之所以流行，是因為該模型能夠直接理解天氣噪聲的潛在結構：首先，基於卷積神經網路（CNN）的模型已被用於有效的天氣去雜訊。使用時間資料進行區分進一步利用了特定於天氣的雜訊去除，因為自然地，天氣雜訊的變化頻率高於場景背景甚至場景內的物件。基於CNN的方法（尤其是基於體素的方法）在雜訊濾波方面優於經典的去噪方法。此外，由於GPU計算速度更快，它們的推理時間更低。
除了有監督的CNN方法之外，像CycleGANs這樣的無監督方法能夠將雜訊點雲輸入轉換為清晰的雷射雷達掃描。然而，它們的性質仍然很嘈雜，由此產生的點雲很難就其真實性進行驗證。
05 穩健的光達感知
#儘管在減少不利天氣帶來的領域轉移方面有著很好的努力，但有多種可能的方法可以使雷射雷達感知模型在不利天氣條件下更加穩健，而與資料的品質和雜訊水平無關。這裡有三個工作流程：利用感測器融合，透過使用天氣特定雜訊的資料增強來增強訓練，或針對域偏移的模型魯棒性的一般方法來補償性能下降。應該注意的是，除了物體偵測之外，感測器融合方法是唯一解決多種感知任務的方法。據論文所知，沒有關於語義分割等其他感知任務的文獻。
利用感測器融合來應對惡劣天氣
#通常可以說，自動駕駛感測器群組中的每個感測器都有其優點和缺點。這種感測器組中最常見的感測器是RGB相機、雷達和光達。如第一節所述，當遇到灰塵、雨、雪或霧等可見的空氣傳播顆粒時，雷射雷達的感知會受到影響。相機對強光入射和光暈效果更敏感。反過來，雷達也不受兩者的影響，但缺乏偵測靜態物體和精細結構的能力。因此，它迫使自己融合不同的感測器，以便在不同的環境條件下減輕它們各自的缺點，並促進穩健的感知。
早期關於感測器融合以對抗天氣對感測器感知的不利影響的工作集中於開發穩健的資料關聯框架。最近的研究流利用基於DL的方法進行穩健的多模態感知，並主要解決早期與晚期融合的問題，以在惡劣天氣條件下實現穩健性。
選擇前後融合似乎取決於感測器的選擇、資料表示和預期故障率。假設並非所有融合感測器的退化程度相同，且其中至少一個感測器功能齊全，則後期融合似乎優於早期融合。在這種情況下，該模型能夠獨立處理感測器流，它能夠依賴工作的感測器而忽略故障的感測器。相反，雷達和光達深度圖的早期融合有助於過濾錯誤檢測，以實現乾淨的掃描。
資料表示是另一個部分有助於回答早期與晚期融合問題的因素。雷射雷達感測器的鳥瞰圖（BEV）透過提高obejct的可分辨性，大大促進了物體偵測。因此，當雷射雷達資料被破壞時，任何已經學會依賴各自雷射雷達特徵的模型都將遭受性能損失。利用教師-學生網路成功解決了感測器的完全故障。
最終，一些感測器融合方法依賴將早期和晚期融合結合到一個模型中，並利用時間資料和基於區域的融合[72]或註意力圖[73]等概念。另一種可能性是[21]中所提出的自適應、熵控制的融合。
除了預測性能外，在開發新的感知方法時還應考慮模型運行時間。 [68]引入了一種新的度量，將可驅動空間分割的預測性能與推理運行時相結合。有趣的是，僅使用光達的模型在這一指標上得分最高。
毫無疑問，在惡劣的天氣條件下用未受影響的感測器補償感測器故障是很方便的。然而，透過努力改善在惡劣天氣條件下僅使用光達的感知，自動駕駛等安全關鍵應用可以變得更加可靠。
透過資料增強增強訓練
雖然資料增強被廣泛用於DL訓練策略，但特別具有挑戰性的是特定天氣噪聲的產生。第二節介紹了在雷射雷達點雲中產生特定天氣雜訊的各種方法。在感知模型的訓練過程中利用資料增強是點雲去噪的徑向方法，這已經在三中進行了討論。目的不是去除天氣引起的噪音，而是讓模型習慣這種確切的噪音。已經證明，就穩健性而言，天氣增強比去噪更有效，這為未來應該強調哪些研究方向提供了寶貴的提示。
一般來說，一些工作透過在任務3D目標偵測中評估這些資料來證明這種資料增強在訓練時的好處。
許多工作都涉及在惡劣天氣條件下為魯棒的光達感知選擇最佳特徵提取器的問題。基於點的和體素化方法似乎不太受增強天氣效應的影響，至少在物體檢測方面是如此，這表明透過仔細選擇感知模型可以實現一定的穩健性。此外，模型體系結構和惡劣天氣導致的點雲損壞之間似乎存在交互作用。 [4]中提出的濕地擴展只幫助了一些模型，顯示射線散射引起的偵測問題或多或少是嚴重的，這取決於模型架構。
此外，物體的大小和形狀似乎在任何偵測模型的性能退化程度中發揮作用。這意味著，較小和代表性不足的類別（如STF資料集中的騎自行車的類別）比代表性較好的類別，如汽車和行人，更容易受到天氣增強的影響。因此，即使在不利的天氣條件下，（清晰的）訓練集中的註釋對象的數量也是對象檢測性能的良好指標。這表明，天氣增強訓練不僅有助於在晴朗的天氣條件下提高檢測性能，有趣的是，它似乎也起到了相反的作用。
穩健感知演算法
#雖然具有互補感測器的融合方法可以緩解每個感測器因天氣原因導致的效能下降，但它們只能作為解決當前實際問題的方法。天氣條件的變化可以被視為領域轉移的一種特殊情況，因此，為彌合領域差距而開發的方法可以應用於天氣對天氣（如晴雨/霧/雪）的領域轉移。 [77]全面概述了當前技術領域的自適應方法，但它們主要解決與不同感測器解析度或可用數據及其標籤相關的問題。
在[78]中，作者提出了資料集到資料集的領域轉移，這間接包括天氣變化。他們採用師生設置進行物體檢測，其中教師接受Waymo Open（晴天）的培訓，為部分Waymo Open和部分Kirkland（雨天）產生標籤，學生接受所有標籤的培訓並應用於Kirkland。有趣的是，學生似乎能更好地概括到目標領域，這表明他們能夠應對惡劣的天氣。然而，應該注意的是，領域差距並不局限於天氣條件之間的變化，感測器解析度和標籤策略等其他因素可能會掩蓋天氣造成的差距。
[79]的作者提出了一種穩健的目標偵測管線，包括注意力機制和全局上下文特徵提取，使模型能夠忽略天氣引起的噪聲，同時理解整個場景。雖然他們的方法不能同時在兩個領域（KITTI、晴天和CADC、雨天）上表現良好，但基於最大差異損失的聯合訓練產生了有希望的結果，並在源域和目標域上都表現出了高性能。在這裡，同樣不清楚模型的哪些元素歸因於天氣條件本身的變化，因為資料集到資料集的變化似乎非常強烈。
[80]專注於緩解RGB相機和雷射雷達因天氣原因導致的感測器退化。儘管他們利用感測器融合（源自[21]中提出的熵融合）以及兩個感測器的數據增強，但他們的工作有力地促進了利用一組方法來彌合與多個未知目標域之間的差距，以進行目標檢測。他們透過引入領域鑑別器和透過預訓練策略進行自我監督學習來實現這一點。他們的結果表明，他們的多模態、多目標領域自適應方法能夠很好地推廣到例如霧場景。
06 討論與結論
在這篇調查論文中，本文概述了在惡劣天氣條件下基於雷射雷達的自動駕駛環境感知的當前研究方向。論文深入分析並討論了用於深度學習演算法的訓練資料的可用性、用於檢測天氣條件和對雷射雷達掃描去噪的感知無關點雲處理技術，以及穩健雷射雷達感知的最新方法。在下文將總結最有前景的研究方向，並找出剩餘的差距。
不利天氣資料：有幾個自動駕駛資料集，包括雷射雷達感測器，同時涵蓋不利天氣條件。它們中的大多數都提供物件標籤，但只有一個具有逐點類別標籤。顯然，需要合適的真實世界資料集來訓練和驗證越來越多的基於深度學習的雷射雷達感知演算法。一些工作採用特定於天氣的數據增強來模擬不利的天氣影響，然而，缺乏一種評估生成的增強的真實性的方法。
點雲處理與去雜訊：不同的雷射雷達技術對惡劣天氣條件的反應不同。雖然對感測器在惡劣天氣條件下的退化進行了深入研究，但對感知演算法的影響缺乏系統分析。在這裡，感測器退化估計的方法將是有用的。此外，目前正在對雲去雜訊進行研究，但現有的統計方法已被證明不如在訓練中使用天氣增強方法有效。現代方法，如基於CNN或GAN的方法，可能會彌合這一差距。
穩健光達感知：大量研究集中在藉助感測器融合緩解感測器退化。雖然這產生了令人信服的結果，但在惡劣天氣條件下改善僅使用光達的感知能力不應被忽視。複雜的域自適應方法（如異常檢測或不確定性建模）可能有助於解決此問題。從不同的角度觀察雷射雷達點雲中天氣引起的噪音的存在，可能會開啟彌合不利天氣條件帶來的領域差距的新研究流。調查這一領域差距的品質將提示通用領域適應方法的潛力。
以上是惡劣天氣條件下光達感知技術方案的詳細內容。更多資訊請關注PHP中文網其他相關文章！
