一文讀懂自動駕駛的光達與視覺融合感知
2022年是智慧駕駛由L2向L3/L4跨越的窗口期,越來越多的汽車廠商開始佈局更高級別的智慧駕駛量產,汽車智慧化時代已悄然而至。
隨著雷射雷達硬體的技術提升,車規級量產和成本下行,高級別智慧駕駛功能促進了雷射雷達在乘用車領域的量產上車,多款搭載光達的車型將在今年交付,2022年也被稱為「光達上車元年」。
01 光達感測器vs影像感測器
#雷射雷達是用於精準獲取物體三維位置的感測器,本質上是激光探測和測距。憑藉在目標輪廓測量、通用障礙物檢出等方面所具有的極佳性能,正在成為L4自動駕駛的核心配置。
然而,雷射雷達的測距範圍(一般在200公尺左右,不同廠商的量產型號指標各異)導致感知範圍遠小於影像感測器。
又由於其角解析度(一般為0.1°或0.2°)比較小,導致點雲的解析度遠小於影像感測器,在遠距離感知時,投射到目標物上的點可能及其稀疏,甚至無法成像。對於點雲目標偵測來說,演算法真正能用的點雲有效距離大約只有100公尺左右。
影像感測器能以高幀率、高解析度獲取周圍複雜信息,且價格便宜,可以部署多個不同FOV和解析度的感測器,用於不同距離和範圍的視覺感知,解析度可以達到2K-4K。
但影像感測器是被動式感測器,深度感知不足,測距精度差,特別是在惡劣環境下完成感知任務的難度會大幅提升。
在面對強光、夜晚低照度、雨雪霧等天氣和光線環境,智慧駕駛對感光元件的演算法要求很高。雖然雷射雷達對環境光線影響不敏感,但對於積水路面、玻璃牆面等,測距將會受到很大影響。
可以看出,光達和影像感測器各有優劣。大多數高階智慧駕駛乘用車選擇將不同感測器進行融合使用,優勢互補、冗餘融合。
這樣的融合感知方案也成為了高階自動駕駛的關鍵技術之一。
02 基於深度學習的點雲和影像融合感知
#點雲和影像的融合屬於多感測器融合(Multi-Sensor Fusion ,MSF)的技術領域,有傳統的隨機方法和深度學習方法,按照融合系統中資訊處理的抽象程度,主要分為三個層次:
資料層融合(Early Fusion)
首先將感測器的觀測資料融合,然後從融合的資料中提取特徵進行識別。在3D目標檢測中,PointPainting(CVPR20)採用這種方式,PointPainting方法先是對圖像做語義分割,並將分割後的特徵通過點到圖像像素的矩陣映射到點雲上,然後將這個“繪製點”的點雲送到3D點雲的偵測器對目標Box進行回歸。
#特徵層融合(Deep Fusion)
先從每個感測器提供的觀測資料中擷取各自然資料特徵,並對這些特徵融合後進行辨識。在基於深度學習的融合方法中,這種方式對點雲和圖像分支都各自採用特徵提取器,對圖像分支和點雲分支的網絡在前反饋的層次中逐語義級別融合,做到多尺度信息的語意融合。
基於深度學習的特徵層融合方法,對於多個感測器之間的時空同步要求很高,一旦同步不好,直接影響特徵融合的效果。同時,由於尺度和視角的差異,LiDAR和影像的特徵融合很難達到1 1>2的效果。
決策層融合(Late Fusion)
相對前兩種來說,是複雜度最低的一種融合方式。不在資料層或特徵層融合,是一種目標層級的融合,不同感測器網路結構互不影響,可以獨立訓練和組合。
由於決策層融合的兩類感測器和偵測器相互獨立,一旦某感測器發生故障,仍可進行感測器冗餘處理,工程上穩健性較好。
隨著雷射雷達與視覺融合感知技術的不斷迭代,以及不斷累積的知識場景與案例,會出現越來越多的全端融合運算解決方案為自動駕駛帶來更安全與可靠的未來。
以上是一文讀懂自動駕駛的光達與視覺融合感知的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

寫在前面&筆者的個人理解三維Gaussiansplatting(3DGS)是近年來在顯式輻射場和電腦圖形學領域出現的一種變革性技術。這種創新方法的特點是使用了數百萬個3D高斯,這與神經輻射場(NeRF)方法有很大的不同,後者主要使用隱式的基於座標的模型將空間座標映射到像素值。 3DGS憑藉其明確的場景表示和可微分的渲染演算法,不僅保證了即時渲染能力,而且引入了前所未有的控制和場景編輯水平。這將3DGS定位為下一代3D重建和表示的潛在遊戲規則改變者。為此我們首次系統性地概述了3DGS領域的最新發展與關

昨天面試被問到了是否做過長尾相關的問題,所以就想著簡單總結一下。自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況,即發生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設計域的主要原因之一。自動駕駛的底層架構和大部分技術問題已經解決,剩下的5%的長尾問題,逐漸成了限制自動駕駛發展的關鍵。這些問題包括各種零碎的場景、極端的情況和無法預測的人類行為。自動駕駛中的邊緣場景"長尾"是指自動駕駛汽車(AV)中的邊緣情況,邊緣情況是發生機率較低的可能場景。這些罕見的事件

0.寫在前面&&個人理解自動駕駛系統依賴先進的感知、決策和控制技術,透過使用各種感測器(如相機、光達、雷達等)來感知周圍環境,並利用演算法和模型進行即時分析和決策。這使得車輛能夠識別道路標誌、檢測和追蹤其他車輛、預測行人行為等,從而安全地操作和適應複雜的交通環境。這項技術目前引起了廣泛的關注,並認為是未來交通領域的重要發展領域之一。但是,讓自動駕駛變得困難的是弄清楚如何讓汽車了解周圍發生的事情。這需要自動駕駛系統中的三維物體偵測演算法可以準確地感知和描述周圍環境中的物體,包括它們的位置、

StableDiffusion3的论文终于来了!这个模型于两周前发布,采用了与Sora相同的DiT(DiffusionTransformer)架构,一经发布就引起了不小的轰动。与之前版本相比,StableDiffusion3生成的图质量有了显著提升,现在支持多主题提示,并且文字书写效果也得到了改善,不再出现乱码情况。StabilityAI指出,StableDiffusion3是一个系列模型,其参数量从800M到8B不等。这一参数范围意味着该模型可以在许多便携设备上直接运行,从而显著降低了使用AI

原文標題:SIMPL:ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving論文連結:https://arxiv.org/pdf/2402.02519.pdf程式碼連結:https://github.com/HKUST-Aerial-Robotics/SIMPLobotics單位論文想法:本文提出了一種用於自動駕駛車輛的簡單且有效率的運動預測基線(SIMPL)。與傳統的以代理為中心(agent-cent

軌跡預測在自動駕駛中承擔著重要的角色,自動駕駛軌跡預測是指透過分析車輛行駛過程中的各種數據,預測車輛未來的行駛軌跡。作為自動駕駛的核心模組,軌跡預測的品質對於下游的規劃控制至關重要。軌跡預測任務技術堆疊豐富,需熟悉自動駕駛動/靜態感知、高精地圖、車道線、神經網路架構(CNN&GNN&Transformer)技能等,入門難度很高!許多粉絲期望能夠盡快上手軌跡預測,少踩坑,今天就為大家盤點下軌跡預測常見的一些問題和入門學習方法!入門相關知識1.預習的論文有沒有切入順序? A:先看survey,p

最近一個月由於眾所周知的一些原因,非常密集地和業界的各種老師同學進行了交流。交流中必不可免的一個話題自然是端到端與火辣的特斯拉FSDV12。想藉此機會,整理當下這個時刻的一些想法和觀點,供大家參考和討論。如何定義端到端的自動駕駛系統,應該期望端到端解決什麼問題?依照最傳統的定義,端到端的系統指的是一套系統,輸入感測器的原始訊息,直接輸出任務關心的變數。例如,在影像辨識中,CNN相對於傳統的特徵提取器+分類器的方法就可以稱之為端到端。在自動駕駛任務中,輸入各種感測器的資料(相機/LiDAR

目標偵測在自動駕駛系統當中是一個比較成熟的問題,其中行人偵測是最早得以部署演算法之一。在多數論文當中已經進行了非常全面的研究。然而,利用魚眼相機進行環視的距離感知相對來說研究較少。由於徑向畸變大,標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述,我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示,並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優於其他模型,並同時在用於自動駕駛的Valeo魚眼相機資料集上實現了49.5%的mAP
