綜述：自動駕駛的協同感知技術

arXiv綜述論文「Collaborative Perception for Autonomous Driving: Current Status and Future Trend」，2022年8月23日，上海交大。

感知是自主駕駛系統的關鍵模組之一，然而單車的有限能力造成感知性能提高的瓶頸。為了突破單一感知的限制，提出協同感知，使車輛能夠分享訊息，感知視線之外和視野以外的環境。本文回顧了有前景的協同感知技術相關工作，包括基本概念、協同模式以及關鍵要素和應用。最後，討論該研究領域的開放挑戰和問題，並給予進一步方向。

如圖所示，單一感知的兩個重要問題是，遠距離遮蔽和稀疏資料。這些問題的解決方案是，同一區域內的車輛彼此共享共同感知資訊（CPM，collective perception message），協同感知環境，稱為協同感知或協作感知。

得益於通訊基礎設施的建設和V2X等通訊技術的發展，車輛可以以可靠的方式交換訊息，從而實現協作。最近的工作表明，車輛之間的協同感知可以提高環境感知的準確性以及交通系統的穩健性和安全性。

此外，自動駕駛車輛通常配備高保真感測器以實現可靠的感知，造成昂貴的成本。協同感知可以緩解單一車輛對感知設備的嚴格要求。

協同感知與附近的車輛和基礎設施共享信息，使自主車輛能夠克服某些感知限制，如遮擋和短視野。然而，實現即時和穩健的協同感知需要解決通訊容量和噪音帶來的一些挑戰。最近，有一些工作研究了協同感知的策略，包括什麼是協同、何時協同、如何協同、共享資訊的對齊等。

類似融合，協同的分類也有4類：

#1 早期協同

早期協同在輸入空間中進行協同，在車輛和基礎設施之間共享原始感官資料。它匯總了所有車輛和基礎設施的原始測量值，得到一個整體觀點。因此，每輛車都可以進行以下處理，並基於整體視角完成感知，這可以從根本上解決單體感知中出現的遮蔽和遠距離問題。

然而，共享原始感官資料需要大量通信，並且容易使通信網路因資料負載過大而擁塞，這在大多數情況下阻礙了其實際應用。

2. 後期協同

後期協同在輸出空間中進行協同，這促進了每個智體輸出的感知結果融合，實現細化。

雖然後期協同具有頻寬經濟性，但它對智體的定位誤差非常敏感，並且由於不完全的局部觀測而遭受高估計誤差和雜訊。

3 中間協同

中間協同在中間特徵空間中進行協同。它能夠傳輸單獨智體預測模型產生的中間特徵。融合這些特徵後，每個智體都會對融合的特徵進行解碼並產生感知結果。從概念上講，可以將代表性資訊壓縮到這些特徵中，與早期協同相比，可以節省通訊頻寬，與後期協同相比，還可以提高感知能力。

在實踐中，這種協同策略的設計在演算法上具有兩個方面的挑戰性：i）如何從原始測量中選擇最有效和緊湊的特徵進行傳輸；以及ii）如何最大限度地融合其他智體的特徵以增強每個智體的感知能力。

4 混合協同

如上所述，每種協同模式都有其優缺點。因此，一些工作採用了混合協同，將兩種或多種協同模式結合起來，以優化協同策略。

協同感知的主要因素包括：

1 協同圖

圖是協同感知建模的強大工具，因為它建模非歐資料結構有良好的可解釋性。在一些工作中，參與協同感知的車輛組成一個完整的協同圖，其中每個車輛是一個節點，兩個車輛之間的協同關係是這兩個節點之間的邊。

2 姿態對齊

由於協同感知需要在不同位置和不同時間融合來自車輛和基礎設施的數據，因此實現精確的數據對齊對於成功協同至關重要。

3 資訊融合

資訊融合是多智體系統的核心組成部分，其目標是以有效的方式融合來自其他智體的資訊量最大的部分。

4 基於強化學習的資源分配

#

現實環境中有限的通訊頻寬要求充分利用可用的通訊資源，這使得資源分配和頻譜共享非常重要。在車輛通訊環境中，快速變化的通道條件和日益增長的服務需求使得分配問題的最佳化非常複雜，難以使用傳統的最佳化方法來解決。有些工作利用多智體強化學習（MARL）來解決最佳化問題。

協同感知的應用：

1 3D 目標偵測

基於雷射雷達點雲的3D目標偵測是協同感知研究中最受關注的問題。原因如下：i）雷射雷達點雲比影像和視訊具有更多的空間維度。 ii）光達點雲可以在一定程度上保留個人資訊，如人臉和車牌號碼。 iii）點雲資料是用於融合的適當資料類型，因為當點雲資料從不同的姿態對齊時，其損失比像素少。 iv）3D目標偵測是自主駕駛感知的基本任務，追蹤和運動預測等許多任務都基於此。

2 語意分割

3D場景的語意分割也是自動駕駛所需的關鍵任務。 3D場景目標的協同語意分割，給定來自多個智體的3D場景觀察（影像、雷射雷達點雲等），為每個智體產生語意分割遮罩。 ‍

挑戰性問題：

1 通訊魯棒性

有效的協統依賴智體之間的可靠通訊。然而，通訊在實踐中並不完美：i）隨著網路中車輛數量的增加，每輛車的可用通訊頻寬有限；ii）由於不可避免的通訊延遲，車輛難以從其他車輛接收即時資訊；iii）通訊有時可能中斷，導致通訊中斷；iv）V2X通訊遭受破壞，無法始終提供可靠服務。儘管通訊技術不斷發展，通訊服務品質不斷提高，但上述問題仍將長期存在。然而，大多數現有的工作都假設資訊可以以即時和無損的方式共享，因此考慮這些通訊約束並設計穩健的協同感知系統對於進一步的工作具有重要意義。

2 異質性和跨模態

大多數協統感知工作關注基於雷射雷達點雲的感知。然而，有更多類型的數據可用於感知，如圖像和毫米波雷達點雲。這是一種利用多模態感測器資料進行更有效協作的潛在方法。此外，在某些場景中，有不同等級的自動車輛提供不同品質的資訊。因此，如何在異質車輛網路中進行協同是協同感知進一步實際應用的問題。不幸的是，很少有工作關注異質和跨模態的協作感知，這也成為一個開放的挑戰。

3 大規模資料集

大規模資料集和深度學習方法的發展提高了感知效能。然而，協同感知研究領域的現有資料集要么規模小，要么不公開。

缺乏公共大規模資料集阻礙了協同感知的進一步發展。此外，大多數數據集基於模擬。雖然模擬是驗證演算法的經濟和安全的方法，但真實的資料集也是需要的，可將協同感知應用於實踐。

以上是綜述：自動駕駛的協同感知技術的詳細內容。更多資訊請關注PHP中文網其他相關文章！