一文讀懂自動駕駛系統中的邊緣運算技術
隨著5G時代的到來,邊緣運算成為自動駕駛系統中新的業務成長點,未來將有超過60%的數據和應用將在邊緣產生和處理。
邊緣運算是一種在網路邊緣進行運算的新型運算模式,其對資料的處理主要包括兩個部分,其一是下行的雲端服務,其二是上行的萬物互聯服務。 「邊緣」其實是一種相對概念,指從資料到雲端運算中心內路徑之間的任意運算、儲存以及網路相關資源。從資料的一端到雲端服務中心的另一端,在此路徑上根據應用的特定需求和實際應用場景,邊緣可以表示為此條路徑上的一個或多個資源節點。邊緣運算的業務本質是雲端運算在資料中心之外匯聚節點的延伸與演進,主要由邊緣雲、邊緣網路、邊緣網關三類落地形態所構成。
如上圖所示,表示目前在自動駕駛中使用的工控機。實際上,它是一種加固的增強型個人電腦。它可以作為一個工業控制器在工業環境中可靠運行,採用符合EIA 標準的全鋼化工業機箱,增強抗電磁幹擾能力,並採用總線結構和模組化設計技術,防止單點故障。如上自動駕駛工控機網路設計方案充分考慮了 ISO26262 的要求。其中,CPU、GPU、FPGA 以及匯流排都做冗餘設計。當整體 IPC 系統失效時,冗餘MCU控制可以確保運算安全,直接發送指令到車輛 CAN 總線控制車輛停車。目前這種集中式的架構適用於下一代集中式自動駕駛系統方案,其中工控機相當於下一代集中式域控制器,將所有的計算工作統一放到一個其中,算法迭代不需要過度考慮硬體的整體升級和車規要求。
邊緣運算與邊緣雲
目前自動駕駛中,大規模的人工智慧演算法模型與大規模資料集中化分析皆放在雲端進行。因為,雲端擁有大量的運算資源,可以在極短的時間內完成資料的處理,但是僅依靠雲端為自動駕駛汽車提供服務在許多情況下是不可行的。因為自動駕駛汽車在行駛過程中會產生大量需要即時處理的數據,如果將這些數據都透過核心網路傳輸到遠端雲端處理,那麼僅數據的傳輸便會導致很大的時延,無法滿足數據處理的即時性要求。核心網路的頻寬也難以支援大量自動駕駛汽車同時向雲端發送大量的數據,而且一旦核心網路出現擁塞導致數據傳輸不穩定,自動駕駛汽車的行駛安全便得不到保障。
邊緣運算專注於局部業務,即時性要求高,網路壓力較大,運算方式面向在地化。邊緣運算更適用於基於整合的演算法模型,進行本地小規模智慧分析與預處理工作。將邊緣運算應用到自動駕駛領域將有助於解決自動駕駛汽車在環境數據獲取和處理上所面臨的問題。
作為產業數位轉型的兩大重要運算方式,邊緣運算與雲端運算基本是同時共存、相互補充、相互促進,共同解決大數據時代的計算問題。
邊緣運算是指在網路邊緣執行運算的一種運算模型,其操作物件來自雲端服務的下行資料和萬物互聯服務的上行數據,而邊緣運算中的「邊緣」是指從資料來源到雲端運算中心路徑之間的任意運算和網路資源。簡而言之,邊緣運算將伺服器部署到使用者附近的邊緣節點,在網路邊緣(如無線存取點) 給使用者提供服務,避免了長距離資料傳輸,給使用者提供更快速的回應。任務卸載技術將自動駕駛汽車的運算任務卸載到其他邊緣節點執行,解決了自動駕駛汽車運算資源不足的問題。
邊緣運算具有鄰近性、低時延、本地性和位置感知性的特性。其中,鄰近性是指邊緣運算靠近資訊來源,適用於透過資料最佳化擷取和分析大數據中的關鍵訊息,並且可以直接存取設備,更高效地服務與邊緣智能,易於衍生出特定的應用場景。低時延是指邊緣運算服務靠近產生資料的終端設備,相對於雲端運算,極大的降低了時延,尤其是在智慧駕駛應用場景中,使得回饋過程更加快速。本地性是指邊緣運算可以與網路的其餘部分隔離運行,實現本地化,相對獨立的計算,一方面保證了本地資料安全性,另一方面降低了計算對網路品質的依賴性。位置感知性是指當邊緣網路是無線網路的一部分時,邊緣運算式的本地服務可以利用相對較少的資訊來確定所有連接設備的位置,這些服務可以應用於基於位置的服務應用場景。
同時,邊緣運算的發展趨勢將逐漸向異構運算、邊緣智慧、邊雲協同以及5G 邊緣運算的發面進行演進。異質運算需要使用不同類型的指令集和體系架構的運算單元組成系統的運算方式,滿足邊緣業務對多樣性運算的需求,透過異質運算不僅可以滿足新一代「連接運算」的基礎架構構建,還可以滿足碎片化產業和差異化應用的需求,提升運算資源利用率,支持算力的彈性部署與調度。
邊緣運算參考架構
邊緣運算參考架構的每層都提供了模型化的開放接口,實現了架構的全層次開放,透過縱向管理服務,資料全生命週期服務以及安全服務,實現業務全流程、全生命週期的智慧服務。
如上圖所示,邊緣運算參考架構主要包含以下內容:
整個系統分為智慧服務、業務編排、邊緣雲和邊緣運算節點四層,邊緣運算位於雲端和現場設備之間,邊緣層向下支援各種現場設備的接入,向上可以與雲端對接。邊緣層包括邊緣節點和邊緣管理器兩個主要部分。邊緣節點是硬體實體,是承載邊緣運算業務的核心,邊緣管理器的核心是軟體,主要功能是對邊緣節點進行統一管理。邊緣運算節點一般具有運算資源、網路資源和儲存資源,邊緣運算系統對資源的使用有兩種方式:其一,直接將運算資源、網路資源和儲存資源進行封裝,提供呼叫接口,邊緣管理器以程式碼下載、網路策略配置和資料庫操作等方式使用邊緣節點資源;第二,進一步將邊緣節點的資源按功能領域封裝成功能模組,邊緣管理器透過模型驅動的業務編排方式組合和調用功能模組,實現邊緣運算業務的一體化開發和敏捷部署。
邊緣運算的硬體基礎設施
#1、邊緣伺服器
邊緣伺服器是邊緣運算和邊緣資料中心的主要運算載體,可以部署在運營商某機房內。由於邊緣運算環境差異較大,且邊緣業務在延遲、頻寬、GPU和AI等方面存在個人化訴求,同時應盡量減少工程師在現場的操作,並具有強大的管理運維能力保障,其中包括狀態採集、運作控制和管理接口,以實現遠端、自動化的管理。
自動駕駛系統中,通常採用智慧邊緣一體機將運算、儲存、網路、虛擬化和環境動力等產品有機整合到一個工控機中,方便自動駕駛系統的正常運作。
2、邊緣存取網
#邊緣運算存取網路是指從使用者係統到邊緣運算系統經過的一系列網路基礎設施,包括但不限於園區網路、接取網路和邊緣閘道等。且帶有融合性、低時延、大頻寬、大連接、高安全等特性。
3、邊緣內部網路
邊緣運算內部網路是指邊緣運算系統內部網路基礎設施,如連接伺服器的網路設備,與外部網路互聯的網路設備以及由其建構的網路等。邊緣運算內部網路具有架構簡化、功能完備、效能損耗大幅減少的特性;同時,能做到邊雲協同,集中管控。
由於邊緣運算系統天然呈現分散式屬性,單一規模不大但數量眾多,若採用單點管理模式,難以滿足運作需求,還會佔用工控機資源,降低效益;另一方面,邊緣運算業務更強調端到端的延遲、頻寬以及安全性,因此邊雲、邊邊之間的協同也是非常重要的。一般是需要在雲端運算系統中引進智慧化的跨域管理編排系統,統一管控一定範圍內的所有邊緣運算系統網路基礎設施,透過支援基於邊雲協同集中式管理模式,確保網路與運算資源的自動化高效配置。
4、邊緣運算互聯網
#邊緣運算互聯網包含從邊緣運算系統到雲端運算系統(如公有雲、私有雲、通訊雲、用戶自建雲等),其他邊緣運算系統、各類資料中心所經過的網路基礎設施。邊緣運算互聯網具備連接多樣化、跨域低延遲的特性。
邊緣運算與自動駕駛系統如何結合
#下一階段,為了實現更高階自動駕駛系統任務,僅依靠單車智能是完全不夠的。
協同感知和任務卸載是邊緣運算在自動駕駛領域的主要應用,這2種技術使實現高階自動駕駛成為可能。協同感知技術使汽車可以獲取其他邊緣節點的感測器訊息,擴大了自動駕駛汽車的感知範圍,增加了環境數據的完整性。以自動駕駛為例,汽車將整合光達、攝影機等感測器,同時需要透過車輛網V2X等實現車輛與道路以及交通數據的全面感知,獲取比單車內外部感測器更多的信息,增強對超視距範圍內環境的感知,並透過高清的3D動態地圖即時共享自動駕駛位置。並將採集到的數據與道路邊緣節點和周邊車輛交互,從而擴展感知能力,實現車與車、車與路協同。雲端運算中心則負責收集來自分佈廣泛的邊緣節點數據,感知交通系統的運作狀況,並透過大數據和人工智慧演算法,為邊緣節點、交通號誌系統和車輛下發合理的調度指令,從而提高系統運行效率。例如,雨雪、大霧等惡劣天氣下,或在交叉路口、拐彎你等場景下,雷達和攝影機無法清晰的辨別前方障礙,透過V2x來獲取道路,行車等即時數據,可以實現智慧預測路況,避免意外事故的發生。
隨著自動駕駛等級的提升,配備智慧感測器數量的增加,自動駕駛汽車每天產生大量的原始數據。這些原始數據需要在本地進行即時處理、融合以及特徵提取,包括基於深度學習的目標檢測和追蹤等。同時需要利用V2X提升對環境、道路和其他車輛的感知能力,透過3D高清地圖進行即時建模和定位、路徑規劃和選擇、駕駛策略調整,進而安全的控制車輛。由於這些任務都需要在車內始終來保持處理和響應即時性,因此需要性能強大可靠地邊緣運算平台來執行。考慮到運算任務的差異性,為了提高執行效率並降低功耗和成本,一般需要支援異質的運算平台。
自動駕駛的邊緣運算架構依賴邊雲協同和LTE/5G提供的通訊基礎設施和服務。邊緣側主要指車載單元、路側單元(RSU)或移動式邊緣運算(MEC)伺服器等。其中車載單元是環境感知、決策規劃和車輛控制的主體,但依賴於RSU或MEC伺服器的協作,如RSU給車載單元提供了更多關於道路和行人的信息,但是有些功能運行在雲端更加適合甚至無法替代。例如車輛遠端控制、車輛模擬模擬與驗證、節點管理、資料的持久化保存與管理等。
對於自動駕駛系統的邊緣運算來說,可以很好的實現負載整合、異質運算、即時處理、連接互通、安全優化等優勢。
1、「負載整合」
#將諸如ADAS、IVI、數位儀表、抬頭顯示和後娛樂系統等不同屬性的負載,透過虛擬化計算運行在同一個硬體平台上。同時,基於虛擬化和硬體抽象層的負載整合,更容易實現雲端對整車駕駛系統的業務編排、深度學習模型更新、軟體和韌體升級等。
2、「異質運算」
#是將自動駕駛系統邊緣平台所繼承的多種不同屬性的計算任務,根據其在不同硬體平台上運行的性能和能耗比差異性採取不同的計算方式。例如地理定位和路徑規劃、基於深度學習的目標識別和檢測、影像預處理和特徵提取、感測器融合和目標追蹤等。 GPU擅長處理目標識別和追蹤的捲積計算。而CPU則對於邏輯運算能力將會產生更好的效能、且能耗也更低。而數位訊號處理DSP則在定位等特徵提取演算法產生更多優勢。這種異質運算的方式很好的提升了運算平台的效能和能耗比,降低運算時延。異質運算針對不同運算任務選擇合適的硬體實現,充分發揮不同硬體平台的優勢,並透過統一上層軟體介面來屏蔽硬體多樣性。
3、「即時處理」
#眾做週知,由於自動駕駛系統對於即時性要求極高,因為危險情況下可能就那麼幾秒鐘的時間可用於自動駕駛系統進行煞車避撞。並且,此煞車反應時間包括整個駕駛系統的反應時間,涉及雲端運算處理、車間協商處理時間、車輛本身系統計算和煞車處理時間。如果將自動駕駛響應即時劃分到對其邊緣運算平台的各個功能模組要求。則需要細化到感知偵測時間、融合分析時間、行為路徑規劃時間。同時也要考慮整個網路時延,因為5G帶來的低延遲、高可靠性應用場景也是非常關鍵的。他可以讓自動駕駛汽車實現端到端低於1ms的時延,並且可靠性接近100%。同時,5G可根據優先順序靈活分配網路處理能力,從而確保車輛控制訊號傳輸具備較快的反應速度。
4、「連接互通」
#面向自動駕駛汽車的邊緣運算離不開車用無線通訊技術(V2X, vehicle-to-everything)的支持,它提供了自動駕駛汽車與智慧交通系統中其他元素的通訊手段,是自動駕駛汽車和邊緣節點合作的基礎。
目前,V2X 主要基於專用短程通訊(DSRC, dedicated short range communication)和蜂窩網路[5]。其中DSRC 是一種專門用於車輛與車輛(V2V, vehicle-to-vehicle)和車輛與道路基礎設施(V2I, vehicle-to-infrastructure)之間的通訊標準,具有數據傳輸速率高、時延低、支援點對點或點對多點通訊等優點。以 5G 為代表的蜂窩網路具有網路容量大、覆蓋範圍廣等優點,適用於 V2I 通訊和邊緣伺服器之間的通訊。
5、「安全性最佳化」
#邊緣運算安全性是邊緣運算的重要保障,其設計結合了雲端運算和邊緣運算縱深的安全防護體系,增強邊緣基礎設施、網路、應用、資料識別和抵抗各種安全威脅的能力,為邊緣運算的發展建構安全可信任環境。新一代自動駕駛系統5G核心網路控制面與資料面呈現分離狀態,NFV讓網路部署更加靈活,確保邊緣分散式運算部署得以成功。邊緣運算將更多的數據運算和儲存從中央單元散步到邊緣,其運算能力部署於靠近資料來源的地方,一些資料不必再經過網路到達雲端處理,從而降低時延和網路負荷,也提升了數據安全性和隱私性。對於未來對於靠近車輛的行動通訊設備,如基地台、路邊單元等或均將部署車聯網的邊緣運算,可以很好的完成本地端的資料處理、加密和決策,並提供即時、高可靠的通訊能力。
邊緣運算在自動駕駛的環境感知和資料處理方面有著極為重要的應用。自動駕駛汽車可以透過從邊緣節點獲得環境資訊來擴大自身的感知範圍,也可以向邊緣節點卸載運算任務以解決運算資源不足的問題。相較於雲端運算,邊緣運算避免了長距離資料傳輸所導致的高時延,能為自動駕駛車輛提供更快速的回應,並且降低了主幹網路的負載。因此,階段性自動駕駛研發過程採用邊緣運算將是其不斷優化和發展的重要選項。
以上是一文讀懂自動駕駛系統中的邊緣運算技術的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

寫在前面&筆者的個人理解三維Gaussiansplatting(3DGS)是近年來在顯式輻射場和電腦圖形學領域出現的一種變革性技術。這種創新方法的特點是使用了數百萬個3D高斯,這與神經輻射場(NeRF)方法有很大的不同,後者主要使用隱式的基於座標的模型將空間座標映射到像素值。 3DGS憑藉其明確的場景表示和可微分的渲染演算法,不僅保證了即時渲染能力,而且引入了前所未有的控制和場景編輯水平。這將3DGS定位為下一代3D重建和表示的潛在遊戲規則改變者。為此我們首次系統性地概述了3DGS領域的最新發展與關

昨天面試被問到了是否做過長尾相關的問題,所以就想著簡單總結一下。自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況,即發生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設計域的主要原因之一。自動駕駛的底層架構和大部分技術問題已經解決,剩下的5%的長尾問題,逐漸成了限制自動駕駛發展的關鍵。這些問題包括各種零碎的場景、極端的情況和無法預測的人類行為。自動駕駛中的邊緣場景"長尾"是指自動駕駛汽車(AV)中的邊緣情況,邊緣情況是發生機率較低的可能場景。這些罕見的事件

0.寫在前面&&個人理解自動駕駛系統依賴先進的感知、決策和控制技術,透過使用各種感測器(如相機、光達、雷達等)來感知周圍環境,並利用演算法和模型進行即時分析和決策。這使得車輛能夠識別道路標誌、檢測和追蹤其他車輛、預測行人行為等,從而安全地操作和適應複雜的交通環境。這項技術目前引起了廣泛的關注,並認為是未來交通領域的重要發展領域之一。但是,讓自動駕駛變得困難的是弄清楚如何讓汽車了解周圍發生的事情。這需要自動駕駛系統中的三維物體偵測演算法可以準確地感知和描述周圍環境中的物體,包括它們的位置、

軌跡預測在自動駕駛中承擔著重要的角色,自動駕駛軌跡預測是指透過分析車輛行駛過程中的各種數據,預測車輛未來的行駛軌跡。作為自動駕駛的核心模組,軌跡預測的品質對於下游的規劃控制至關重要。軌跡預測任務技術堆疊豐富,需熟悉自動駕駛動/靜態感知、高精地圖、車道線、神經網路架構(CNN&GNN&Transformer)技能等,入門難度很高!許多粉絲期望能夠盡快上手軌跡預測,少踩坑,今天就為大家盤點下軌跡預測常見的一些問題和入門學習方法!入門相關知識1.預習的論文有沒有切入順序? A:先看survey,p

原文標題:SIMPL:ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving論文連結:https://arxiv.org/pdf/2402.02519.pdf程式碼連結:https://github.com/HKUST-Aerial-Robotics/SIMPLobotics單位論文想法:本文提出了一種用於自動駕駛車輛的簡單且有效率的運動預測基線(SIMPL)。與傳統的以代理為中心(agent-cent

最近一個月由於眾所周知的一些原因,非常密集地和業界的各種老師同學進行了交流。交流中必不可免的一個話題自然是端到端與火辣的特斯拉FSDV12。想藉此機會,整理當下這個時刻的一些想法和觀點,供大家參考和討論。如何定義端到端的自動駕駛系統,應該期望端到端解決什麼問題?依照最傳統的定義,端到端的系統指的是一套系統,輸入感測器的原始訊息,直接輸出任務關心的變數。例如,在影像辨識中,CNN相對於傳統的特徵提取器+分類器的方法就可以稱之為端到端。在自動駕駛任務中,輸入各種感測器的資料(相機/LiDAR

目標偵測在自動駕駛系統當中是一個比較成熟的問題,其中行人偵測是最早得以部署演算法之一。在多數論文當中已經進行了非常全面的研究。然而,利用魚眼相機進行環視的距離感知相對來說研究較少。由於徑向畸變大,標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述,我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示,並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優於其他模型,並同時在用於自動駕駛的Valeo魚眼相機資料集上實現了49.5%的mAP

寫在前面&出發點端到端的範式使用統一的框架在自動駕駛系統中實現多任務。儘管這種範式具有簡單性和清晰性,但端到端的自動駕駛方法在子任務上的表現仍然遠遠落後於單任務方法。同時,先前端到端方法中廣泛使用的密集鳥瞰圖(BEV)特徵使得擴展到更多模態或任務變得困難。這裡提出了一種稀疏查找為中心的端到端自動駕駛範式(SparseAD),其中稀疏查找完全代表整個駕駛場景,包括空間、時間和任務,無需任何密集的BEV表示。具體來說,設計了一個統一的稀疏架構,用於包括檢測、追蹤和線上地圖繪製在內的任務感知。此外,重
