智慧汽車車載感測器標定技術深度解讀
標定感測器是自動駕駛感知系統中的必要環節,是後續感測器融合的必要步驟和先決條件,其目的是將兩個或多個感測器變換到統一的時空座標系,使得感測器融合具有意義,是感知決策的關鍵前提。任何感測器在製造、安裝後都需要透過實驗進行標定,以確保感測器符合設計指標,確保測量值的準確性。
感測器在安裝到自動駕駛汽車上之後,需要對其進行標定;同時,在車輛行駛過程中,由於震動等原因,會導致感測器位置與原位置產生偏離,因此有必要每隔一定的時間對感測器進行校準。自動駕駛汽車透過多種類型的感測器同時工作以進行環境感知與自感知,感測器的健壯性和準確性在自動駕駛汽車感知環節中尤其重要。
01 攝影機標定
車載攝影機以一定的角度和位置安裝在車輛上,為了將車載攝影機擷取到的環境資料與車輛行駛環境中的真實物體相對應,即找到車載攝影機所產生的影像像素座標系中的點座標與攝影機環境座標系中的點座標之間的轉換關係,需要進行攝影機標定。
1.相機內參數標定
#1.1相機模型的建立
透過環境座標系、相機座標系、影像物理座標系、影像像素座標系的相互轉換關係,我們可以求出環境座標系與影像像素座標系之間的轉換關係,即
對現實世界的點P。其在環境座標系下的座標為( Xw, Yw, Zw ),在影像中的位置為(u,v),兩者有如下的關係:
環境座標系與影像像素座標系之間的轉換關係
對內參矩陣,其四個常數fx,fy,Uo,Vo。與攝影機的焦距、主點以及感測器等設計技術指標有關,而與外部因素(如周邊環境、攝影機位置)無關,因此稱為攝影機的內參。內參在攝影機出廠時就是確定的。然而由於製作工藝等問題,即使是同一生產線生產的攝像頭,內參都有著些許差別,因此往往需要透過實驗的方式來確定攝影機的內參。單眼攝影機的標定,通常是指以實驗手段確定攝影機的內參。
外參矩陣包含旋轉矩陣和平移矩陣,旋轉矩陣和平移矩陣共同描述如何把點從世界座標系轉換到攝影機座標系。在電腦視覺中,確定外參矩陣的過程通常稱為視覺定位。自動駕駛汽車在車載攝影機安裝之後,需要標定在車輛座標系下的攝影機位置。此外,由於汽車行駛的顛簸和震動,車載攝影機的位置會隨著時間進行緩慢的變化,因此自動駕駛汽車需要定期對攝影機位置進行重新標定,這一過程稱為校準。
1.2 相機畸變矯正
在實際使用中,相機並不能完全精確地依照理想的針孔攝影機模型進行透視投影,通常會存在透鏡畸變,即物點在實際的攝影機成像平面上產生的像與理想成像之間存在一定光學畸變誤差,其畸變誤差主要是徑向畸變誤差和切向畸變誤差。
徑向畸變(radial distortion):由於透鏡的特性,光線容易在相機鏡頭的邊緣出現較小或較大幅度的彎曲,稱之為徑向畸變。這種變形在普通廉價的鏡頭中表現更加明顯,徑向變形主要包括桶形變形和枕形變形兩種。桶形變形則是由於鏡頭中透鏡物以及鏡片組結構所引起的成像畫面呈現桶狀膨脹狀的失真現象。通常使用廣角鏡頭或使用變焦鏡頭的廣角端時,較容易察覺桶形失真現象。枕形畸變是由鏡頭引起的畫面向中間「收縮」的現象。人們在使用長焦距鏡頭變焦鏡頭的長焦端時,較容易察覺枕形失真現象。
- 切向畸變(tangential distortion):是由於透鏡本身與相機感測器平面(成像平面)或影像平面不平行而產生的,這種情況多是由於透鏡被貼到鏡頭模組上的安裝偏差導致。
在電腦視覺中,徑向畸變對場景重建有著非常重要的影響。自動駕駛系統對環境的感知,要求攝影機能夠實現對週邊環境的高精確度重建,如果不對畸變加以矯正,就無法到精確的環境資訊。例如,環境中的目標可能出現在影像的任何區域,如果不對畸變加以正,那麼透過視覺技術得到的目標位置和大小往往是不準確的,這會直接影響自動駕駛汽車的行駛安全。此外,自動駕駛汽車安裝有多個攝像頭,且在不同位置,若不考慮徑向畸變,在影像拼接過程中,就會因對應特徵的誤匹配而導致拼接影像的模糊效應。
對一般的攝影機來講,影像的徑向畸變往往被描述為低階多項式模型。設(u,v)是修正後的點的座標,(u',u')是未修正的點的座標,則二者之間的變換可以透過以下公式確定:
徑向畸變低階多項式模型
另一方面,對於切向畸變,可以使用另外的兩個參數p1,p2來進行修正:
切向畸變低階多項式模型
1.3相機內參標定方法
在現階段,畸變參數的標定一般與其餘內參同時進行。目前應用最廣泛的是張正友於2000年提出的張正友標定法。張正友標定法透過在不同位置拍攝棋盤標定板的方式,在每個影像中找到棋盤標定板的內角點,透過內角點之間的對應關係建立對矩陣##的約束,從而恢復內參矩陣K。
2.攝影機間外參的標定
#自動駕駛汽車中,為了盡可能減少感知盲區,往往採用多攝影機的模式。決定多攝影機之間的相對位置關係,這個過程稱為攝影機的外參標定。
從另一個角度來說,攝影機的外參標定也可以稱為「姿態估計」問題。兩個攝影機之間相對位姿[R|t]有6個自由度(空間位置與旋轉關係),從理論上來講,只要兩個攝影機同時取得空間中3個點即可恢復二者之間的相對姿態。從三對對應點恢復攝影機之間的相對姿態的問題,稱為「透視三點問題」(Perspective-3-Point-Problem,P3P)。在現實中,常常使用3個以上的點來恢復相對姿態,以提高穩健性,P3P問題被推廣為PnP問題。
最初研究者使用直接線性法(Direct Linear Transform,DLT)解決PnP問題,之後為了提升精度,研究者提出了穩健線性化的重投影誤差,開始採用選代的方法來求解PnP問題,並由此提出了姿態估計中著名的光束平差法(Bundle Adjustment,BA)。
02 光達的標定雷射雷達自動駕駛平台的主要感測器之一,在感知、定位方面發揮重要作用。同攝影機一樣,雷射雷達在使用前也需要對其內外參數進行標定。內參標定指的是其內部雷射發射器座標系與雷達自身座標系的轉換關係,在出廠前已經標定完成,可以直接使用。自動駕駛系統需要進行的是外參標定,即光達自身座標系與車體座標系的關係。
雷射雷達與車體為剛性連接,兩者間的相對姿態和位移固定不變。為了建立光達之間以及光達與車輛之間的相對座標關係,需要對光達的安裝進行標定,並使光達資料從光達座標系轉換至車體座標系上。
車體座標系與雷射雷達座標系
透過實驗採集同一個點在兩個座標系下的真實座標,即同名點,建立一系列的方程式可以求出這16個未知參數。另外,在自動駕駛汽車上,通常需要將光達與慣性導航單元(IMU)座標系進行標定,建立光達與車體座標系之間的關係。
1.雷射雷達和光達之間的標定
對自動駕駛汽車來說,有時會存在多個光達的情況,每一個雷射雷達所獲得的外部境都必須準確地映射到車體座標系下。因此,當存在多個雷射雷達時,需要對多個雷射雷的相對位置進行標定和校準。
雷射雷達之間的外參標定有多種思路,其中較為常用的是透過不同光達與車體之間的座標轉換關係來間接推導出雷射雷達之間的座標轉換關係。
2.光達與攝影機的標定
#在自動駕駛車輛上,光達與無人駕駛汽車為剛性連接,兩者間的相對姿態和位移固定不變,因此,雷射雷達掃描所獲得的數據點,在環境座標系中有唯一的位置座標與之對應。同樣,攝影機在環境座標系中也有唯一的位置座標,因此,光達與攝影機之間存在著固定的座標轉換。光達與攝影機的聯合標定,就是透過擷取標定物在單線光達與影像上的對應特徵點,完成單線光達座標、攝影機座標、影像像素座標等多個感測器座標的統一,實現雷射雷達與攝影機的空間校準。
當完成攝影機外參標定、光達外參標定之後,二者之間的關係其實可以完全確定,光達掃描點可投影到影像像素座標系。
同相機的內參標定方法一樣,雷射雷達與攝影機的外參標定也可以使用標定板的標定方法。
以上是智慧汽車車載感測器標定技術深度解讀的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

寫在前面&筆者的個人理解三維Gaussiansplatting(3DGS)是近年來在顯式輻射場和電腦圖形學領域出現的一種變革性技術。這種創新方法的特點是使用了數百萬個3D高斯,這與神經輻射場(NeRF)方法有很大的不同,後者主要使用隱式的基於座標的模型將空間座標映射到像素值。 3DGS憑藉其明確的場景表示和可微分的渲染演算法,不僅保證了即時渲染能力,而且引入了前所未有的控制和場景編輯水平。這將3DGS定位為下一代3D重建和表示的潛在遊戲規則改變者。為此我們首次系統性地概述了3DGS領域的最新發展與關

三星在7月17日正式發表了國行版的三星GalaxyRing,定價2,999元。 GalaxyRing的真機,真是2024版的"WowAwesome,這是我獨享的moment"。它是近年來除蘋果VisionPro之外,讓我們感覺最新鮮的電子產品(雖然聽起來像是在立flag)。 (圖中,左右兩邊的戒指,就是GalaxyRing↑)三星GalaxyRing規格(國行官網資料):ZephyrRTOS系統,8MB儲存;10ATM防水+IP68;電池容量18mAh到23.5mAh(不同尺寸的

昨天面試被問到了是否做過長尾相關的問題,所以就想著簡單總結一下。自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況,即發生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設計域的主要原因之一。自動駕駛的底層架構和大部分技術問題已經解決,剩下的5%的長尾問題,逐漸成了限制自動駕駛發展的關鍵。這些問題包括各種零碎的場景、極端的情況和無法預測的人類行為。自動駕駛中的邊緣場景"長尾"是指自動駕駛汽車(AV)中的邊緣情況,邊緣情況是發生機率較低的可能場景。這些罕見的事件

0.寫在前面&&個人理解自動駕駛系統依賴先進的感知、決策和控制技術,透過使用各種感測器(如相機、光達、雷達等)來感知周圍環境,並利用演算法和模型進行即時分析和決策。這使得車輛能夠識別道路標誌、檢測和追蹤其他車輛、預測行人行為等,從而安全地操作和適應複雜的交通環境。這項技術目前引起了廣泛的關注,並認為是未來交通領域的重要發展領域之一。但是,讓自動駕駛變得困難的是弄清楚如何讓汽車了解周圍發生的事情。這需要自動駕駛系統中的三維物體偵測演算法可以準確地感知和描述周圍環境中的物體,包括它們的位置、

昨天的文章裡沒提“感應器尺寸”,沒想到大家原來有這麼多誤解…1吋到底是多少?因為一些歷史遺留問題*,無論是相機還是手機,感光元件對角線長度中的「1吋」都不是25.4mm。 *涉及真空管,這裡不做展開,有點類似馬屁股決定鐵軌寬度。為了避免誤讀,更嚴謹的寫法是「1.0型」或「Type1.0」。且,當感測器尺寸小於1/2型時,1型=18mm;而在感測器尺寸大於等於1/2型時,1型=

最近微博上爆料了關於iPhoneSE4的新消息,消息指出iPhoneSE4的後蓋工藝和iPhone16標準版完全一樣,也就是說,iPhoneSE4會採用玻璃背板,並搭配直屏直邊的設計。消息指出iPhoneSE4將會提前至今年9月發布,也就是很有可能會和iPhone16同時亮相。 1.根據曝光的渲染圖可見,iPhoneSE4正面設計與iPhone13相近,瀏海螢幕上設置有前置相機和FaceID感測器。背面採用類似iPhoneXr的佈局,但僅配置一顆鏡頭,並未設有整體相機模組。

軌跡預測在自動駕駛中承擔著重要的角色,自動駕駛軌跡預測是指透過分析車輛行駛過程中的各種數據,預測車輛未來的行駛軌跡。作為自動駕駛的核心模組,軌跡預測的品質對於下游的規劃控制至關重要。軌跡預測任務技術堆疊豐富,需熟悉自動駕駛動/靜態感知、高精地圖、車道線、神經網路架構(CNN&GNN&Transformer)技能等,入門難度很高!許多粉絲期望能夠盡快上手軌跡預測,少踩坑,今天就為大家盤點下軌跡預測常見的一些問題和入門學習方法!入門相關知識1.預習的論文有沒有切入順序? A:先看survey,p

原文標題:SIMPL:ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving論文連結:https://arxiv.org/pdf/2402.02519.pdf程式碼連結:https://github.com/HKUST-Aerial-Robotics/SIMPLobotics單位論文想法:本文提出了一種用於自動駕駛車輛的簡單且有效率的運動預測基線(SIMPL)。與傳統的以代理為中心(agent-cent
