目錄
01 光達感測器vs影像感測器" >01 光達感測器vs影像感測器
02 基於深度學習的點雲和影像融合感知" >02 基於深度學習的點雲和影像融合感知
首頁 科技週邊 人工智慧 一文讀懂自動駕駛的光達與視覺融合感知

一文讀懂自動駕駛的光達與視覺融合感知

Jun 16, 2023 pm 12:11 PM
科技 自動駕駛

2022年是智慧駕駛由L2向L3/L4跨越的窗口期,越來越多的汽車廠商開始佈局更高級別的智慧駕駛量產,汽車智慧化時代已悄然而至。

隨著雷射雷達硬體的技術提升,車規級量產和成本下行,高級別智慧駕駛功能促進了雷射雷達在乘用車領域的量產上車,多款搭載光達的車型將在今年交付,2022年也被稱為「光達上車元年」。

01 光達感測器vs影像感測器

#雷射雷達是用於精準獲取物體三維位置的感測器,本質上是激光探測和測距。憑藉在目標輪廓測量、通用障礙物檢出等方面所具有的極佳性能,正在成為L4自動駕駛的核心配置。

然而,雷射雷達的測距範圍(一般在200公尺左右,不同廠商的量產型號指標各異)導致感知範圍遠小於影像感測器。

又由於其角解析度(一般為0.1°或0.2°)比較小,導致點雲的解析度遠小於影像感測器,在遠距離感知時,投射到目標物上的點可能及其稀疏,甚至無法成像。對於點雲目標偵測來說,演算法真正能用的點雲有效距離大約只有100公尺左右。

影像感測器能以高幀率、高解析度獲取周圍複雜信息,且價格便宜,可以部署多個不同FOV和解析度的感測器,用於不同距離和範圍的視覺感知,解析度可以達到2K-4K。

但影像感測器是被動式感測器,深度感知不足,測距精度差,特別是在惡劣環境下完成感知任務的難度會大幅提升。

在面對強光、夜晚低照度、雨雪霧等天氣和光線環境,智慧駕駛對感光元件的演算法要求很高。雖然雷射雷達對環境光線影響不敏感,但對於積水路面、玻璃牆面等,測距將會受到很大影響。

可以看出,光達和影像感測器各有優劣。大多數高階智慧駕駛乘用車選擇將不同感測器進行融合使用,優勢互補、冗餘融合。

這樣的融合感知方案也成為了高階自動駕駛的關鍵技術之一。

02 基於深度學習的點雲和影像融合感知

#點雲和影像的融合屬於多感測器融合(Multi-Sensor Fusion ,MSF)的技術領域,有傳統的隨機方法和深度學習方法,按照融合系統中資訊處理的抽象程度,主要分為三個層次:

資料層融合(Early Fusion)

首先將感測器的觀測資料融合,然後從融合的資料中提取特徵進行識別。在3D目標檢測中,PointPainting(CVPR20)採用這種方式,PointPainting方法先是對圖像做語義分割,並將分割後的特徵通過點到圖像像素的矩陣映射到點雲上,然後將這個“繪製點”的點雲送到3D點雲的偵測器對目標Box進行回歸。

一文讀懂自動駕駛的光達與視覺融合感知

#特徵層融合(Deep Fusion)

先從每個感測器提供的觀測資料中擷取各自然資料特徵,並對這些特徵融合後進行辨識。在基於深度學習的融合方法中,這種方式對點雲和圖像分支都各自採用特徵提取器,對圖像分支和點雲分支的網絡在前反饋的層次中逐語義級別融合,做到多尺度信息的語意融合。

基於深度學習的特徵層融合方法,對於多個感測器之間的時空同步要求很高,一旦同步不好,直接影響特徵融合的效果。同時,由於尺度和視角的差異,LiDAR和影像的特徵融合很難達到1 1>2的效果。

一文讀懂自動駕駛的光達與視覺融合感知

決策層融合(Late Fusion)

相對前兩種來說,是複雜度最低的一種融合方式。不在資料層或特徵層融合,是一種目標層級的融合,不同感測器網路結構互不影響,可以獨立訓練和組合。

由於決策層融合的兩類感測器和偵測器相互獨立,一旦某感測器發生故障,仍可進行感測器冗餘處理,工程上穩健性較好。

一文讀懂自動駕駛的光達與視覺融合感知

隨著雷射雷達與視覺融合感知技術的不斷迭代,以及不斷累積的知識場景與案例,會出現越來越多的全端融合運算解決方案為自動駕駛帶來更安全與可靠的未來。

以上是一文讀懂自動駕駛的光達與視覺融合感知的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

為何在自動駕駛方面Gaussian Splatting如此受歡迎,開始放棄NeRF? 為何在自動駕駛方面Gaussian Splatting如此受歡迎,開始放棄NeRF? Jan 17, 2024 pm 02:57 PM

寫在前面&筆者的個人理解三維Gaussiansplatting(3DGS)是近年來在顯式輻射場和電腦圖形學領域出現的一種變革性技術。這種創新方法的特點是使用了數百萬個3D高斯,這與神經輻射場(NeRF)方法有很大的不同,後者主要使用隱式的基於座標的模型將空間座標映射到像素值。 3DGS憑藉其明確的場景表示和可微分的渲染演算法,不僅保證了即時渲染能力,而且引入了前所未有的控制和場景編輯水平。這將3DGS定位為下一代3D重建和表示的潛在遊戲規則改變者。為此我們首次系統性地概述了3DGS領域的最新發展與關

自動駕駛場景中的長尾問題怎麼解決? 自動駕駛場景中的長尾問題怎麼解決? Jun 02, 2024 pm 02:44 PM

昨天面試被問到了是否做過長尾相關的問題,所以就想著簡單總結一下。自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況,即發生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設計域的主要原因之一。自動駕駛的底層架構和大部分技術問題已經解決,剩下的5%的長尾問題,逐漸成了限制自動駕駛發展的關鍵。這些問題包括各種零碎的場景、極端的情況和無法預測的人類行為。自動駕駛中的邊緣場景"長尾"是指自動駕駛汽車(AV)中的邊緣情況,邊緣情況是發生機率較低的可能場景。這些罕見的事件

選擇相機還是光達?實現穩健的三維目標檢測的最新綜述 選擇相機還是光達?實現穩健的三維目標檢測的最新綜述 Jan 26, 2024 am 11:18 AM

0.寫在前面&&個人理解自動駕駛系統依賴先進的感知、決策和控制技術,透過使用各種感測器(如相機、光達、雷達等)來感知周圍環境,並利用演算法和模型進行即時分析和決策。這使得車輛能夠識別道路標誌、檢測和追蹤其他車輛、預測行人行為等,從而安全地操作和適應複雜的交通環境。這項技術目前引起了廣泛的關注,並認為是未來交通領域的重要發展領域之一。但是,讓自動駕駛變得困難的是弄清楚如何讓汽車了解周圍發生的事情。這需要自動駕駛系統中的三維物體偵測演算法可以準確地感知和描述周圍環境中的物體,包括它們的位置、

Stable Diffusion 3論文終於發布,架構細節大揭秘,對復現Sora有幫助? Stable Diffusion 3論文終於發布,架構細節大揭秘,對復現Sora有幫助? Mar 06, 2024 pm 05:34 PM

StableDiffusion3的论文终于来了!这个模型于两周前发布,采用了与Sora相同的DiT(DiffusionTransformer)架构,一经发布就引起了不小的轰动。与之前版本相比,StableDiffusion3生成的图质量有了显著提升,现在支持多主题提示,并且文字书写效果也得到了改善,不再出现乱码情况。StabilityAI指出,StableDiffusion3是一个系列模型,其参数量从800M到8B不等。这一参数范围意味着该模型可以在许多便携设备上直接运行,从而显著降低了使用AI

SIMPL:用於自動駕駛的簡單高效的多智能體運動預測基準 SIMPL:用於自動駕駛的簡單高效的多智能體運動預測基準 Feb 20, 2024 am 11:48 AM

原文標題:SIMPL:ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving論文連結:https://arxiv.org/pdf/2402.02519.pdf程式碼連結:https://github.com/HKUST-Aerial-Robotics/SIMPLobotics單位論文想法:本文提出了一種用於自動駕駛車輛的簡單且有效率的運動預測基線(SIMPL)。與傳統的以代理為中心(agent-cent

自動駕駛與軌跡預測看這篇就夠了! 自動駕駛與軌跡預測看這篇就夠了! Feb 28, 2024 pm 07:20 PM

軌跡預測在自動駕駛中承擔著重要的角色,自動駕駛軌跡預測是指透過分析車輛行駛過程中的各種數據,預測車輛未來的行駛軌跡。作為自動駕駛的核心模組,軌跡預測的品質對於下游的規劃控制至關重要。軌跡預測任務技術堆疊豐富,需熟悉自動駕駛動/靜態感知、高精地圖、車道線、神經網路架構(CNN&GNN&Transformer)技能等,入門難度很高!許多粉絲期望能夠盡快上手軌跡預測,少踩坑,今天就為大家盤點下軌跡預測常見的一些問題和入門學習方法!入門相關知識1.預習的論文有沒有切入順序? A:先看survey,p

聊聊端到端與下一代自動駕駛系統,以及端到端自動駕駛的一些迷思? 聊聊端到端與下一代自動駕駛系統,以及端到端自動駕駛的一些迷思? Apr 15, 2024 pm 04:13 PM

最近一個月由於眾所周知的一些原因,非常密集地和業界的各種老師同學進行了交流。交流中必不可免的一個話題自然是端到端與火辣的特斯拉FSDV12。想藉此機會,整理當下這個時刻的一些想法和觀點,供大家參考和討論。如何定義端到端的自動駕駛系統,應該期望端到端解決什麼問題?依照最傳統的定義,端到端的系統指的是一套系統,輸入感測器的原始訊息,直接輸出任務關心的變數。例如,在影像辨識中,CNN相對於傳統的特徵提取器+分類器的方法就可以稱之為端到端。在自動駕駛任務中,輸入各種感測器的資料(相機/LiDAR

FisheyeDetNet:首個以魚眼相機為基礎的目標偵測演算法 FisheyeDetNet:首個以魚眼相機為基礎的目標偵測演算法 Apr 26, 2024 am 11:37 AM

目標偵測在自動駕駛系統當中是一個比較成熟的問題,其中行人偵測是最早得以部署演算法之一。在多數論文當中已經進行了非常全面的研究。然而,利用魚眼相機進行環視的距離感知相對來說研究較少。由於徑向畸變大,標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述,我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示,並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優於其他模型,並同時在用於自動駕駛的Valeo魚眼相機資料集上實現了49.5%的mAP

See all articles