最晚明年上半年落地L3:理想端對端自動駕駛,性能大幅提升

PHPz
發布: 2024-08-07 04:35:32
原創
532 人瀏覽過

最近一段時間,生成式 AI 技術興起,眾多造車新勢力都在探索視覺語言模型與世界模型的新方法,端到端的智慧駕駛新技術似乎成為了共同的研究方向。上個月,理想汽車發布了端到端 + VLM 視覺語言模型 + 世界模型的第三代自動駕駛技術架構。此架構已推送千人內測,將智慧駕駛行為擬人化,並提高了 AI 的資訊處理效率,增強了對複雜路況的理解和應對能力。李想曾在公開的分享中表示,面對大部分演算法難以辨識和處理的罕見駕駛環境,VLM(Visual Language Model)即視覺語言模型可以系統地提升自動駕駛的能力,這種方法從理論上實現了突破。

最晚明年上半年落地L3:理想端對端自動駕駛,性能大幅提升

新一代的自動駕駛系統大幅提高了能力上限—— 讓AI 可以應對許多過去難以解決的情況,也降低了門檻—— 減少了技術研發團隊規模的需求,有望讓更多人在不久的將來獲得大幅提升的體驗。
這套自動駕駛技術架構受諾貝爾獎得主丹尼爾・卡尼曼(Daniel Kahneman)快慢系統理論的啟發,在自動駕駛領域模擬人類的思考和決策過程也需要“快系統”與“慢系統”進行協同。其中:
・    快系統(系統1)善於處理簡單任務,是人類基於經驗和習慣形成的直覺;在自動駕駛中以端到端大模型構成,包含感知與規劃,足以應對駕駛車輛時95% 的常規場景。
・    慢系統(系統2)是人類透過更深入的理解與學習形成的邏輯推理、複雜分析和計算能力;在自動駕駛系統中主要是VLM 模型,它在駕駛車輛時用於解決複雜甚至未知的交通場景,佔日常駕駛的約5% 場景。
上週,在理想汽車北京研發總部舉行的活動中,理想汽車智能駕駛副總裁郎咸朋強調,目前理想的智能駕駛已經全面切入端到端+ 大模型方案,這讓車輛已能夠理解複雜路況和交通規則。
「不論端到端還是傳統感知決策模型,都需要大量資料進行訓練。一個潛在問題是,如果遇到沒見過的場景,系統就不能很好的工作,」郎鹹朋表示。 「我們正在探索讓車輛像人一樣思考和決策的能力。」

最晚明年上半年落地L3:理想端對端自動駕駛,性能大幅提升

理想汽車北京總部。

自去年下半年起,理想開始調整戰略,轉換軌道。今年 2 月,在清華大學交叉資訊研究所、理想汽車提交的 DriveVLM 論文中,研究人員應用最近生成式 AI 領域興起的視覺語言模型(VLM),在視覺理解和推理方面表現出了非凡的能力。

在業界,這是第一個提出自動駕駛快慢系統的工作,其方法充分結合了主流自動駕駛pipeline 和具備邏輯思考的大模型pipeline,並第一個完成了端測部署的大模型工作(基於英偉達Orin 平台)。

最晚明年上半年落地L3:理想端對端自動駕駛,性能大幅提升

DriveVLM 系統

DriveVLM 包含一個 Chain-of-Though (CoT) 流程,具有三個關鍵模組:

  1. 場景描述:用語言描述駕駛環境並識別關鍵對象。
  2. 場景分析:深入研究關鍵對象的特徵及其對自我車輛的影響。
  3. 分層規劃:從元動作和決策描述到路徑點逐步製定計劃。

這些模組對應於傳統自動駕駛系統流程中的感知、預測和規劃組件,差異在於它們處理對象感知、意圖級預測和任務級規劃的能力,這些過去是極具挑戰性的。

技術驗證

理想驗證技術在長尾場景有效性:

  • 拆解真實環境資料
  • 利用產生模型補充新視角
  • 自訂實際應用

理想汽車的端到端模型和VLM 模型即時運行:

端到端模型:幀率較高

VLM 模型:參數量較大,幀數較低
  • 在複雜城市在場景中,VLM 在無法決策的情況下發揮作用,向端到端模型傳遞決策結果和軌跡。
端到端方法

端到端方法成為技術分水嶺,標誌著真正使用 AI 的開始。

新一代AI 模型

新一代AI 模型可擔任出題人:

篩選出達到專車司機標準用戶的數據作為「真題」

結合世界模型生成「模擬題」
    算力挑戰
  • The deployment of models such as VLM on the vehicle side faces computing power challenges:

    • Keeping the number of parameters optimal
    • Optimizing engineering to improve decision-making latency

    Competition Outlook

    Tesla FSD is about to enter the domestic smart driving field Entering a new competition stage:

    • Ideal car goal: end-to-end + VLM autonomous driving mass production delivery

以上是最晚明年上半年落地L3:理想端對端自動駕駛,性能大幅提升的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:jiqizhixin.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!