一文聊聊SLAM技術在自動駕駛的應用
定位在自動駕駛中佔據著不可替代的地位,而且未來有著可期的發展。目前自動駕駛中的定位都是依賴RTK配合高精地圖,這為自動駕駛的落地增加了不少成本與難度。試想一下人類開車,並非需要知道自己的全局高精定位及周圍的詳細環境,有一條全局導航路徑並配合車輛在該路徑上的位置,也就足夠了,而這裡牽涉到的,便是SLAM領域的關鍵技術。
什麼是SLAM
SLAM (Simultaneous Localization and Mapping),也稱為CML (Concurrent Mapping and Localization),即時定位與地圖構建,或併發建圖與定位。問題可以描述為:將一個機器人放入未知環境中的未知位置,是否有辦法讓機器人一邊逐步描繪出此環境完全的地圖,同時一邊決定機器人應該往哪個方向行進。例如掃地機器人就是一個很典型的SLAM問題,所謂完整的地圖(a consistent map)是指不受障礙物行進到房間可進入的每個角落。
SLAM最早由Smith、Self和Cheeseman於1988年提出。由於其重要的理論與應用價值,被許多學者認為是實現真正全自主移動機器人的關鍵。
模擬人類來到一個陌生的環境時,為了迅速熟悉環境並完成自己的任務(例如找飯館,找旅館),這時應依次做以下事情:
a.用眼睛觀察周圍地標如建築、大樹、花壇等,並記住他們的特徵(特徵提取)
b.在自己的腦海中,根據雙眼獲得的信息,把特徵地標在三維地圖中重建出來(三維重建)
c.當自己在行走時,不斷獲取新的特徵地標,並且校正自己頭腦中的地圖模型(bundle adjustment or EKF)
d.根據自己前一段時間行走獲得的特徵地標,確定自己的位置(trajectory)
e.當無意中走了很長一段路的時候,和腦海中的以往地標進行匹配,看一看是否走回了原路(loop-closure detection)。實際這一步可有可無。以上五個步驟是同時進行的,因此是Simultaneous Localization and Mapping。
雷射SLAM與視覺SLAM
目前用在SLAM上的感測器主要分兩大類,光達與攝影機。光達有單線多線之分,角解析度及精度也各有千秋。
而VSLAM則主要以攝影機來實現,攝影機品種繁多,主要分為單目、雙眼、單目結構光、雙眼結構光、ToF幾大類。他們的核心都是獲取RGB和depth map(深度資訊)。由於受製成本的影響,視覺SLAM在近年來變得越來越流行,透過低成本的攝影機進行即時的建圖與定位,這裡面的技術難度也是非常之大。以ToF(Time of Flight),一種很有前景的深度獲取方法為例。
感測器發出經過調製的近紅外光,遇物體後反射,感測器透過計算光線發射和反射時間差或相位差,來換算被拍攝景物的距離,以產生深度訊息。類似雷達,或是想像蝙蝠,softkinetic的DS325採用的就是ToF方案(TI設計的)。但它的接收器微觀結構比較特殊,有2個或更多快門,測ps等級的時間差,但它的單位像素尺寸通常在100um的尺寸,所以目前解析度不高。
在有了深度圖之後呢,SLAM演算法就開始運作了,由於Sensor和需求的不同,SLAM的呈現形式略有差異。大致可分為雷射SLAM(也分為2D和3D)和視覺SLAM(也分為Sparse、semiDense、Dense),但其主要思路大同小異。
SLAM演算法實現的要素
SLAM技術非常實用,同時難度也相當大,在時刻需要精確定位的自動駕駛領域,想要完成SLAM落地也是困難重重。一般來說,SLAM演算法在實作的時候主要考慮以下4個面向:
1、地圖表示問題,例如dense和sparse都是它的不同表達方式,這個需要根據實際場景需求去抉擇;
2、資訊感知問題,需要考慮如何全面的感知這個環境,RGBD攝影機FOV通常比較小,但雷射雷達比較大;
3、資料關聯問題,不同的sensor的資料型態、時間戳記、座標系表達方式各有不同,需要統一處理;
4、定位與構圖問題,就是指怎麼實現位姿估計和建模,這裡面涉及到很多數學問題,物理模型建立,狀態估計和優化;其他的還有回環檢測問題,探索問題(exploration),以及綁架問題(kidnapping)。
目前比較流行的視覺SLAM框架主要包含前端和後端:
前端
前端相當於VO(視覺里程計),研究影格與影格之間變換關係。
首先提取每幀影像特徵點,利用相鄰幀影像,進行特徵點匹配,然後利用RANSAC去除大噪聲,然後進行匹配,得到一個pose資訊(位置和姿態),同時可以利用IMU(Inertial measurement unit慣性測量單元)提供的姿態資訊進行濾波融合後端則主要是對前端出結果進行最佳化,利用濾波理論(EKF、UKF、PF)、或最佳化理論TORO、G2O進行樹或圖的優化。最終得到最優的位姿估計。
後端
#後端這邊難點比較多,涉及的數學知識也比較多,總的來說大家已經慢慢拋棄傳統的濾波理論走向圖優化去了。
因為基於濾波的理論,濾波器穩度成長太快,這對於需要頻繁求逆的EKF(擴展卡爾曼濾波器),PF壓力很大。
而基於圖的SLAM,通常以keyframe(關鍵影格)為基礎,建立多個節點和節點之間的相對變換關係,例如仿射變換矩陣,並不斷地進行關鍵節點的維護,保證圖的容量,在保證精度的同時,降低了計算量。
SLAM未來在自動駕駛領域的應用
#Slam技術目前已經在多個領域都取得了不錯的落地效果與成績,包括室內的移動機器人,AR場景以及無人機等等。而在自動駕駛領域,SLAM技術卻一直未得到太多的重視,一方面由於定位在目前的自動駕駛行業中大多通過RTK來解決,並不會投入過多的資源去進行深入的研究,另一方面也是由於目前技術還不成熟,在自動駕駛這種關乎生命的領域,任何一種新技術都得經過時間的檢驗才能被接受。
在未來,隨著感測器精度的逐漸提升,SLAM也會在自動駕駛領域大顯身手,其成本的低昂性,性能的穩健性,都將為自動駕駛帶來革命性的改變。而隨著SLAM技術的逐漸火熱,也將有越來越多的定位人才湧進自動駕駛領域,為自動駕駛注入新血,帶來新的技術方向與研究領域。
以上是一文聊聊SLAM技術在自動駕駛的應用的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

熱門話題

寫在前面&筆者的個人理解三維Gaussiansplatting(3DGS)是近年來在顯式輻射場和電腦圖形學領域出現的一種變革性技術。這種創新方法的特點是使用了數百萬個3D高斯,這與神經輻射場(NeRF)方法有很大的不同,後者主要使用隱式的基於座標的模型將空間座標映射到像素值。 3DGS憑藉其明確的場景表示和可微分的渲染演算法,不僅保證了即時渲染能力,而且引入了前所未有的控制和場景編輯水平。這將3DGS定位為下一代3D重建和表示的潛在遊戲規則改變者。為此我們首次系統性地概述了3DGS領域的最新發展與關

昨天面試被問到了是否做過長尾相關的問題,所以就想著簡單總結一下。自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況,即發生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設計域的主要原因之一。自動駕駛的底層架構和大部分技術問題已經解決,剩下的5%的長尾問題,逐漸成了限制自動駕駛發展的關鍵。這些問題包括各種零碎的場景、極端的情況和無法預測的人類行為。自動駕駛中的邊緣場景"長尾"是指自動駕駛汽車(AV)中的邊緣情況,邊緣情況是發生機率較低的可能場景。這些罕見的事件

0.寫在前面&&個人理解自動駕駛系統依賴先進的感知、決策和控制技術,透過使用各種感測器(如相機、光達、雷達等)來感知周圍環境,並利用演算法和模型進行即時分析和決策。這使得車輛能夠識別道路標誌、檢測和追蹤其他車輛、預測行人行為等,從而安全地操作和適應複雜的交通環境。這項技術目前引起了廣泛的關注,並認為是未來交通領域的重要發展領域之一。但是,讓自動駕駛變得困難的是弄清楚如何讓汽車了解周圍發生的事情。這需要自動駕駛系統中的三維物體偵測演算法可以準確地感知和描述周圍環境中的物體,包括它們的位置、

好強大的AI模仿能力,真的防不住,完全防不住。現在AI的發展已經達到這種程度了嗎?你前腳讓自己的五官亂飛,後腳,一模一樣的表情就被復現出來,瞪眼、挑眉、噘嘴,不管多麼誇張的表情,都模仿的非常到位。加大難度,讓眉毛挑的再高些,眼睛睜的再大些,甚至連嘴型都是歪的,虛擬人物頭像也能完美復現表情。當你在左邊調整參數時,右邊的虛擬頭像也會相應地改變動作給嘴巴、眼睛一個特寫,模仿的不能說完全相同,只能說表情一模一樣(最右邊)。這項研究來自慕尼黑工業大學等機構,他們提出了GaussianAvatars,這種

軌跡預測在自動駕駛中承擔著重要的角色,自動駕駛軌跡預測是指透過分析車輛行駛過程中的各種數據,預測車輛未來的行駛軌跡。作為自動駕駛的核心模組,軌跡預測的品質對於下游的規劃控制至關重要。軌跡預測任務技術堆疊豐富,需熟悉自動駕駛動/靜態感知、高精地圖、車道線、神經網路架構(CNN&GNN&Transformer)技能等,入門難度很高!許多粉絲期望能夠盡快上手軌跡預測,少踩坑,今天就為大家盤點下軌跡預測常見的一些問題和入門學習方法!入門相關知識1.預習的論文有沒有切入順序? A:先看survey,p

原文標題:SIMPL:ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving論文連結:https://arxiv.org/pdf/2402.02519.pdf程式碼連結:https://github.com/HKUST-Aerial-Robotics/SIMPLobotics單位論文想法:本文提出了一種用於自動駕駛車輛的簡單且有效率的運動預測基線(SIMPL)。與傳統的以代理為中心(agent-cent

寫在前面&出發點端到端的範式使用統一的框架在自動駕駛系統中實現多任務。儘管這種範式具有簡單性和清晰性,但端到端的自動駕駛方法在子任務上的表現仍然遠遠落後於單任務方法。同時,先前端到端方法中廣泛使用的密集鳥瞰圖(BEV)特徵使得擴展到更多模態或任務變得困難。這裡提出了一種稀疏查找為中心的端到端自動駕駛範式(SparseAD),其中稀疏查找完全代表整個駕駛場景,包括空間、時間和任務,無需任何密集的BEV表示。具體來說,設計了一個統一的稀疏架構,用於包括檢測、追蹤和線上地圖繪製在內的任務感知。此外,重

最近一個月由於眾所周知的一些原因,非常密集地和業界的各種老師同學進行了交流。交流中必不可免的一個話題自然是端到端與火辣的特斯拉FSDV12。想藉此機會,整理當下這個時刻的一些想法和觀點,供大家參考和討論。如何定義端到端的自動駕駛系統,應該期望端到端解決什麼問題?依照最傳統的定義,端到端的系統指的是一套系統,輸入感測器的原始訊息,直接輸出任務關心的變數。例如,在影像辨識中,CNN相對於傳統的特徵提取器+分類器的方法就可以稱之為端到端。在自動駕駛任務中,輸入各種感測器的資料(相機/LiDAR
