下一代自動駕駛系統超全的系統時間同步方案設計
下一代自動駕駛系統需要採用多雷射雷達、多毫米波雷達、多攝影機等各類感測器,感測器從擷取資料到處理到傳送到網域控制站內部,存在延時,且延時的時長不穩定。為了提升自動駕駛的感測器融合、決策規劃和融合定位等性能,自動駕駛高級域控制器HPC與其關聯的感測器均需要做時間同步,實際過程就是需要定義清楚感測器輸入資料的時間戳資訊(包括打時間戳的時刻及精度要求),同時也需要定義整體時間同步方案和同步精度要求。
概述
要講清楚時鐘同步原則需要先解釋清楚兩種時脈同步型別:資料時脈與管理時脈。首先,整體上是組合慣導提供的UTC時間透過PPS GPRMC給予時間同步伺服器授時。此時間同步伺服器將對應的時間資訊通過PTP協定和中央網關,給予各類感測器資料擷取主機授時。 HPC則需要實現好內部SOC和MCU之間的時間同步過程。
HPC的SOC和MCU之間的資料面時間透過gPTP協定時間同步,其中SOC為主master;HPC的SOC和MCU之間的管理面時間透過HPC私有協定同步,SOC為主Master,透過以太鏈路進行同步。
SOC和MCU同步過程中,管理時鐘和資料時鐘都會做同步,資料面用gPTP協議,在其時間同步精度要求250微妙內,管理時鐘用私有協議,也透過以太網,精度是10ms。其內部的管理時間和資料面時間就需要對齊,HPC要確保資料時鐘的連續性,不允許有異常跳變。因為異常跳變會造成很嚴重的資料誤傳和誤解析。
每次網域控制站冷啟動時,網域控制站會嘗試與提供主時鐘的節點持續進行一定時間(該時間可以根據實際情況按需標定)的通訊以進行初始同步。如果同步成功,則資料時鐘會採用目前管理時間,以同步取得到的絕對時間;對應的驅動程式可以隨其啟動,並呼叫對應的應用軟體進行運算。如果同步不成功 ,網域控制器會一直嘗試同步。
HPC與VDC的同步過程
整個同步分類主要包括中央網域控制站與閘道、各類別感測器及執行器之間的同步。 HPC的絕對時間通常透過中央網關CGW作為整車所有控制器提供統一時間源,將整體的同步時間戳輸出給所有關聯的控制器端(如車身域控制器PDC、整車域控制器VDC、座艙網域控制器CSC等)。在下一代自動駕駛系統架構中,整車域控制器VDC不僅承擔著控制整車執行器端運作的功能,還同時兼任著中央網關CGW的功能,承載著HPC與其他域控制器資訊交互與協議轉化的功能。
如下圖表示了自動駕駛控制器HPC與其關聯網域控制器的連接關係。
前述講到VDC可作為中央閘道功能,因此以HPC為中心的控制器間同步過程著重在於HPC與VDC之間的同步過程。透過VDC的資訊中轉可以實現各網域控制器之間的同步及通訊功能。各控制器主要透過乙太網路直連,採用基於乙太網路gPTP協定。 HPC與VDC的同步過程需要考慮與HPC直連的GNSS輸入絕對時間為主時鐘,此時間誤差比較小(通常在10ms內)。考慮智駕大數據雲端分析精度,及 gPTP協定精度通常要求在250微妙內,HPC和VDC定週期可採用其整數倍精度(如125毫秒)做同步。
HPC局部網路節點的同步過程
HPC局部網路節點同步過程是指其與感測器之間的同步過程。在自動駕駛私有內部網路皆以網域控制器為主節點Master,採用其對應的資料端時間做時間來源。 HPC透過局部內網單獨提供感測器(光達、毫米波雷達、行車攝影機、環景攝影機和組合慣導等)統一時間來源。過程中,分別透過乙太網路連接雷射雷達、組合慣導(預留1PPS),同時透過CANFD/乙太網路連接毫米波雷達、超音波盒PDC,並透過GSML/LVDS連接攝影機(包含行車/環景攝影機)。此類不同的網路連線形式皆作為從節點與網關做時間同步。
其中主要包含三大感測器如下:
- #視覺感測器:以行車控制和泊車控制的攝影機進行區分。
行車攝影機主要包括前視攝影機、側視攝影機、後視攝影機為代表,泊車攝影機主要指環視攝影機;採用集中式方案後的攝影機通常不再是一體機,而是簡單的感應器而已,輸入的是原始影像。
HPC和攝影機透過視訊資料線纜如GSML或LVDS進行資料傳輸,HPC利用其資料時脈(即係統時間,非絕對時間)作為時間來源,定時發送觸發訊號Trigger Signal給予鏡頭,相機基於即時觸發訊號調整曝光時刻。由於單相機內無法直接記錄對應的時間戳,因此使用多相機同步觸發的方式進行同步,並以記錄域控內的觸發訊號的時刻作為影像的初始時間戳。
相機其成像中間(如下計算方式)時刻打時間戳,且時間精度要求在10ms內。 Tmidtime成像中間=Ttrigger(觸發時刻) 1/2*Texposure(曝光時間);如上公式中曝光時間是固定的。
由於觸發時刻位於整幀影像的曝光末尾,為了提高時間戳的精度,需要對曝光時長進行補償以獲取中間行曝光結束點時刻,來代表整幀影像的曝光中間時刻;通常會採用以下公式進行時間補償。
Tcompensate(補償時間)=每行長度×總行數/2
網域控制站記錄時刻包含如下5個時刻:相機成像中間時刻、影像進感知模組的時刻、影像感知結果進融合模組的時刻、感知融合結果發送時間、下游模組接收時刻。
- #雷射雷達:目前主要利用的是半固態雷射雷達。
HPC和光達通常也是基於乙太網路gPTP協定結合千兆乙太網路直連,HPC為主節點Master,雷射雷達為從節點Slave。 HPC同步時間源採用的是絕對時間(即係統時間)作為資料時鐘,時間同步精度要求仍舊是250微妙內。 HPC和光達採用同步時間精度的整數倍週期(例如可以是125毫秒、也可以是250ms)做同步,光達需要依照此同步流程即時更新時間。此外,光達需要在發出每幀點雲中每個點的時間作為感測器打時間戳的時刻要求(精度要求為1ms內)。
同樣,域控制器需要基於雷射雷達返回時間記錄雷射點雲發送點時刻(即雷射雷達在接收到反射訊號時可以記錄到每個點的時刻);輸入域控制器時間戳(通常此時光達已帶有相應的時間信息,HPC則不用再打時間戳);激光感知模組時間戳(一般則由激光雷達供應商進行原始點雲信息處理,如果是集中式方案則由HPC中的SOC負責進行前端點雲感知,並由專有的SOC進行感知後端融合);感知結果帶上時間戳發送給下游模組接收;且此時需要打上最後一個時間戳。網域控制器的資料時鐘針對雷射點雲感知而言主要用於感知演算法設計(這類演算法可以是車端,也可以是雲端),而絕對時間主要涉及本地時間,主要用於資料記錄和儲存業務。
- 毫米波雷達:主要指前毫米波雷達、角毫米波雷達。
通常前毫米波雷達會單獨對資訊進行同步,而角毫米波雷達群本身會存在一個主雷達對其所有的資訊進行進一步過程同步。通常以上一代自動駕駛來說,毫米波雷達輸入數據通常採用的是目標級數據,而下一代域控制器採用集中式方案後,對於將3D毫米波雷達更新換代為4D毫米波雷達,即直接處理毫米波雷達點雲的呼聲越來越高。這個過程中,毫米波雷達不再具備運算單元,而是簡單輸入點雲資料。但由於毫米波雷達的微波訊號處理仍舊存在較高的難度,對於下一代自動駕駛系統來說,許多OEM仍舊採用目標級資料進行直連,時間同步精度通常要求叫雷射雷達更加寬泛些,通常為1ms以內。點雲毫米波雷達發出和收到回波的中間時刻作為標記打上時間戳,要求精度1ms內。
同時,HPC和毫米波雷達透過設定1-2秒的週期間隔進行同步,該時間段內毫米波雷達即時更新對應的時間。同樣的,網域控制站基於毫米波雷達返回時間支援記錄包含以下五個時刻的時間戳記:
#回波反射點產生時間戳記、回波輸入至網域控制站時間戳(當然對於目標級數據記錄,其毫米波雷達已帶時間戳信息,華為不再打時間戳);毫米波雷達輸出的目標物信息是由原始反射點聚類過濾得到,為了獲取更加精準的時間戳,通常需要獲得原始反射點生成時刻的時間戳,如下圖紅色部分。
感知結果發送專門SOC/MCU並與其他感測器做大融合時間戳。同樣的,網域控制器的資料時間(或本地時間)用於演算法設計運行,而絕對時間用於資料記錄和儲存業務。
HPC需要對智慧camera與radar的訊息需額外打上對應訊息進入時刻的時間戳,對資料進感知模組時時刻刻打時間戳,作為備份使用與毫米波雷達確認,尤其角雷達,透過時間同步資訊才能確定角雷達是否可發出目標。
- 組合慣用/獨立慣用系統
在下一代自動駕駛系統中,不同的OEM對於慣導使用的類型有所不同,通常根據其自研能力分為組合慣導和獨立慣導兩種類型。由於組合慣導內建衛慣組合演算法,根據實際應用情況,這裡我們只針對較為簡單的組合慣導的直連進行說明。 HPC作為主節點Master而組合慣導為從節點,經由100兆乙太網路與組合慣導直連。其中,乙太網路仍舊是基於gPTP協定進行的。 HPC同步時間來源仍舊採用資料時鐘(即係統時間,非絕對時間)進行同步。要求時間同步精度要求:250微妙內,同步週期為同步精度要求的整數倍時間間隔(如1毫秒或125毫秒)。其間,組合慣導依RTK和IMU資訊基於最近一次IMU採樣,打時間戳。其精度限制在1ms內。
此外,IMU的取樣時刻、進入HPC時刻、進入後端融合模組這三個時刻都會被打上時間戳。
HPC外部網路節點的時間同步過程
#除開內部網路節點時間同步外,對於新世代自動駕駛系統來說,其與相關聯的執行器之間(如整合式煞車控制系統EPBi、電子轉向系統EPS、動力控制系統VCU)均存在大量外部資訊互動。參考階段性集中控制方式,這類整車控制埠通常透過整車控制器VDC進行連接與同步控制。如前述,VDC實際上亦可看成中央網關,除開對各類域控制器的訊息轉發外,其還承擔著整個同步時間戳的定義和發送。因為對於整車系統,整個絕對時間是自動駕駛系統的網域控制器HPC連接的GNSS/GPS所獲得的。
關聯繫統通常是透過整車域控制埠(VDC)進行單獨的時間同步控制,因此HPC和ESP、EPS、VCU之間通常是不存在直接的主從節點這類型的時間同步關係,而是在執行指令過程中直接將各自時間戳記發送給VDC控制器,在執行過程中進行時間對齊即可。
HPC安全冗餘控制過程中的時間同步過程
對於整個自動駕駛系統來說,在時間同步過程中仍舊需要考慮對應的失效控制邏輯。考慮其內所包含的AI晶片SOC和邏輯晶片MCU所承載的不同的功能。通常在兩者故障的不同時刻會存在一定程度的功能降級。這類功能降級我們稱之為局部功能降級。局部功能降級期間,若部分SOC失效時,MCU會透過晶振維護時間和感測器做同步。期間,仍可接收Radar及其餘SOC傳遞過來的攝影機目標資料訊息,並保持輸出時間戳記的穩定。因此,可以說局部功能降級後系統在短時間內仍舊使用原時間戳做應對,MCU仍可保持原時間資料穩定(其時間同步過程可參考MCU中的管裡面時鐘進行),支援功能的運作。因為短時間內誤差很小,所以該時間內不做時間同步風險也很小。
當然,如果整個HPC失效,則需要另一個備份控制器(可以是另一個低搭配版本的HPC,也可以是額外增加的智慧攝影機Smart Camera)進行安全控制。此過程中,則需要重新建立此備份控制器與對應感測器之間的時間同步關係。
另外一種失效模式為供電失效所造成的功能降級。這裡需要說明,網域控制器存在兩種睡眠模式:深度睡眠和淺度睡眠。此睡眠模式主要與是否掐住整體供電有關。如果控制器處於深睡眠,則資料時鐘直接使用上一次下電時儲存的管理時鐘,不再重新計時。如果控制器處於淺睡眠,則直接利用本次下電的管理時鐘進行計時。相對於深度睡眠來說,淺睡眠同步的時鐘結果更準確。當然無論睡眠深淺,此時間段內控制器時脈始終是無效的,且各軟體均無法正常運作。當然,由於整個淺睡眠轉化到深睡眠的時間是可以自訂的(如12小時)。
總結
本文詳細的解釋了下一代自動駕駛系統的各個控制單元的時間同步原理,並對同步過程中的各個模組提出了精度要求,涉及局部網路節點同步、全域網路節點同步。其中,局部網路節點同步主要是針對自動駕駛系統內部的感測器與域控之間的同步關係。全域網路節點同步主要是針對自動駕駛系統與外部關聯繫統(如控制煞車、轉向、動力、車門、車燈、閘道等)進行的時間同步關係。
對於整體運算精度而言,局部網路節點同步是至關重要的,因為涉及的感測器單元比較多,需要各自針對自身實際情況打上對應的時間戳,並最終由域控進行總同步。全域網路節點同步則實際參照各分域控與HPC之間的資訊互動簡單的進行時間資訊交換即可。這裡要注意的是,整體系統的絕對時間都來自於GNSS系統,通常可由HPC或CSC進行連接輸入。
以上是下一代自動駕駛系統超全的系統時間同步方案設計的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

通用矩陣乘法(GeneralMatrixMultiplication,GEMM)是許多應用程式和演算法中至關重要的一部分,也是評估電腦硬體效能的重要指標之一。透過深入研究和優化GEMM的實現,可以幫助我們更好地理解高效能運算以及軟硬體系統之間的關係。在電腦科學中,對GEMM進行有效的最佳化可以提高運算速度並節省資源,這對於提高電腦系統的整體效能至關重要。深入了解GEMM的工作原理和最佳化方法,有助於我們更好地利用現代計算硬體的潛力,並為各種複雜計算任務提供更有效率的解決方案。透過對GEMM性能的優

7月29日,在AITO问界第四十万台新车下线仪式上,华为常务董事、终端BG董事长、智能汽车解决方案BU董事长余承东出席发表演讲并宣布,问界系列车型将于今年8月迎来华为乾崑ADS3.0版本的上市,并计划在8月至9月间陆续推送升级。8月6日即将发布的享界S9将首发华为ADS3.0智能驾驶系统。华为乾崑ADS3.0版本在激光雷达的辅助下,将大幅提升智驾能力,具备融合端到端的能力,并采用GOD(通用障碍物识别)/PDP(预测决策规控)全新端到端架构,提供车位到车位智驾领航NCA功能,并升级CAS3.0全

昨天面試被問到了是否做過長尾相關的問題,所以就想著簡單總結一下。自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況,即發生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設計域的主要原因之一。自動駕駛的底層架構和大部分技術問題已經解決,剩下的5%的長尾問題,逐漸成了限制自動駕駛發展的關鍵。這些問題包括各種零碎的場景、極端的情況和無法預測的人類行為。自動駕駛中的邊緣場景"長尾"是指自動駕駛汽車(AV)中的邊緣情況,邊緣情況是發生機率較低的可能場景。這些罕見的事件

原文標題:SIMPL:ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving論文連結:https://arxiv.org/pdf/2402.02519.pdf程式碼連結:https://github.com/HKUST-Aerial-Robotics/SIMPLobotics單位論文想法:本文提出了一種用於自動駕駛車輛的簡單且有效率的運動預測基線(SIMPL)。與傳統的以代理為中心(agent-cent

目標偵測在自動駕駛系統當中是一個比較成熟的問題,其中行人偵測是最早得以部署演算法之一。在多數論文當中已經進行了非常全面的研究。然而,利用魚眼相機進行環視的距離感知相對來說研究較少。由於徑向畸變大,標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述,我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示,並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優於其他模型,並同時在用於自動駕駛的Valeo魚眼相機資料集上實現了49.5%的mAP

軌跡預測在自動駕駛中承擔著重要的角色,自動駕駛軌跡預測是指透過分析車輛行駛過程中的各種數據,預測車輛未來的行駛軌跡。作為自動駕駛的核心模組,軌跡預測的品質對於下游的規劃控制至關重要。軌跡預測任務技術堆疊豐富,需熟悉自動駕駛動/靜態感知、高精地圖、車道線、神經網路架構(CNN&GNN&Transformer)技能等,入門難度很高!許多粉絲期望能夠盡快上手軌跡預測,少踩坑,今天就為大家盤點下軌跡預測常見的一些問題和入門學習方法!入門相關知識1.預習的論文有沒有切入順序? A:先看survey,p

最近一個月由於眾所周知的一些原因,非常密集地和業界的各種老師同學進行了交流。交流中必不可免的一個話題自然是端到端與火辣的特斯拉FSDV12。想藉此機會,整理當下這個時刻的一些想法和觀點,供大家參考和討論。如何定義端到端的自動駕駛系統,應該期望端到端解決什麼問題?依照最傳統的定義,端到端的系統指的是一套系統,輸入感測器的原始訊息,直接輸出任務關心的變數。例如,在影像辨識中,CNN相對於傳統的特徵提取器+分類器的方法就可以稱之為端到端。在自動駕駛任務中,輸入各種感測器的資料(相機/LiDAR

寫在前面&出發點端到端的範式使用統一的框架在自動駕駛系統中實現多任務。儘管這種範式具有簡單性和清晰性,但端到端的自動駕駛方法在子任務上的表現仍然遠遠落後於單任務方法。同時,先前端到端方法中廣泛使用的密集鳥瞰圖(BEV)特徵使得擴展到更多模態或任務變得困難。這裡提出了一種稀疏查找為中心的端到端自動駕駛範式(SparseAD),其中稀疏查找完全代表整個駕駛場景,包括空間、時間和任務,無需任何密集的BEV表示。具體來說,設計了一個統一的稀疏架構,用於包括檢測、追蹤和線上地圖繪製在內的任務感知。此外,重
