最近一段時間,生成式 AI 技術興起,眾多造車新勢力都在探索視覺語言模型與世界模型的新方法,端到端的智慧駕駛新技術似乎成為了共同的研究方向。上個月,理想汽車發布了端到端 + VLM 視覺語言模型 + 世界模型的第三代自動駕駛技術架構。此架構已推送千人內測,將智慧駕駛行為擬人化,並提高了 AI 的資訊處理效率,增強了對複雜路況的理解和應對能力。李想曾在公開的分享中表示,面對大部分演算法難以辨識和處理的罕見駕駛環境,VLM(Visual Language Model)即視覺語言模型可以系統地提升自動駕駛的能力,這種方法從理論上實現了突破。
新一代的自動駕駛系統大幅提高了能力上限—— 讓AI 可以應對許多過去難以解決的情況,也降低了門檻—— 減少了技術研發團隊規模的需求,有望讓更多人在不久的將來獲得大幅提升的體驗。自去年下半年起,理想開始調整戰略,轉換軌道。今年 2 月,在清華大學交叉資訊研究所、理想汽車提交的 DriveVLM 論文中,研究人員應用最近生成式 AI 領域興起的視覺語言模型(VLM),在視覺理解和推理方面表現出了非凡的能力。
在業界,這是第一個提出自動駕駛快慢系統的工作,其方法充分結合了主流自動駕駛pipeline 和具備邏輯思考的大模型pipeline,並第一個完成了端測部署的大模型工作(基於英偉達Orin 平台)。
DriveVLM 系統DriveVLM 包含一個 Chain-of-Though (CoT) 流程,具有三個關鍵模組:
這些模組對應於傳統自動駕駛系統流程中的感知、預測和規劃組件,差異在於它們處理對象感知、意圖級預測和任務級規劃的能力,這些過去是極具挑戰性的。
技術驗證
理想驗證技術在長尾場景有效性:
理想汽車的端到端模型和VLM 模型即時運行:
端到端模型:幀率較高VLM 模型:參數量較大,幀數較低端到端方法成為技術分水嶺,標誌著真正使用 AI 的開始。
新一代AI 模型新一代AI 模型可擔任出題人:
篩選出達到專車司機標準用戶的數據作為「真題」結合世界模型生成「模擬題」The deployment of models such as VLM on the vehicle side faces computing power challenges:
Competition Outlook
Tesla FSD is about to enter the domestic smart driving field Entering a new competition stage:
以上是最晚明年上半年落地L3:理想端對端自動駕駛,性能大幅提升的詳細內容。更多資訊請關注PHP中文網其他相關文章!