隨著AI大模型從深度學習演算法中脫穎而出，正在成為當前AI領域最為炙手可熱的新技術範式。自動駕駛技術也因為大模型技術的引進，具備了從模組化階段到端對端自動駕駛進化的可能性。 AI大模型正在重塑自動駕駛技術路線。
9月27日，毫末智行聯合清華大學智慧產業研究院（AIR）共同舉辦的自動駕駛精品公開課程圓滿結束。本場公開課程聚焦於自動駕駛當前最領先的AI演算法，並結合毫末的具體實踐，為自動駕駛從業者、行業夥伴和媒體朋友們帶來了一場端到端自動駕駛的技術盛宴。
本期課程是自動駕駛系列公開課程的第三期，此前第一期和第二期課程分別從宏觀行業和技術原理上對自動駕駛知識體系進行基本介紹。而第三期，清華AIR助理研究員/助理教授詹仙園博士從決策優化視角下解釋了端到端自動駕駛AI演算法的特點和當前進展，而毫末智行技術總監潘興博士從數據閉環系統上完整解釋了AI大模型演算法是如何在海量資料中學習和最佳化，並在實踐中如何呈現它驚人的能力。
在題為《決策優化視角下的端到端自動駕駛》的分享中，詹仙園博士從端到端的概念入手，結合自動駕駛行業30年的發展歷程，為大家講述了端到端自動駕駛中的策略學習方法，並結合清華AIR和毫末的科研合作實踐，透過Al演算法，洞悉產業發展脈絡，對產業發展做出總結和趨勢判斷。
詹仙園博士指出，端到端，簡單來說就是把所有架構、不同模組融成一個完整的整體，直接從輸入到輸出做訓練，學習訊號從決策處向前傳遞。原有的模組化，其好處是每個模組拆解地非常乾淨，每個模組建模目標非常明確，可解釋性非常好。但在模組化架構下，每個模組的設計與最佳化都有自己的一套體系，把多個模組組合到一塊勢必會出現誤差累積。而端到端的優點在於以下三點。首先，可以把整個端到端模型看成單一的超大模型，所以結構非常簡單，所有的目標都是圍繞著決策的最終目的做優化和學習，在優化層面上目標是統一的。其次，從輸入到最終決策輸出是端到端的學習，可以很方便地實現依賴海量資料的純資料驅動學習。第三，因為端到端是很多模型在同一個系統下訓練，所以可以共享不同模組模型的主幹，從而可以降低計算上的開銷。
詹仙園博士介紹，所有端到端的駕駛模型可以看成一個很大的決策模型，把這樣的模型訓練出來需要用到決策最佳化的演算法。這涉及模仿學習和強化學習，模仿學習即用監督學習的方法直接從數據裡訓出來的映射；強化學習則不是簡單的模仿數據，它提供了超越數據本身的可能，可以透過不斷學習優化去找出一個比現有數據更好的決策模式。
在詹仙園博士看來，早期的端到端自動駕駛都是一些很小的決策模型，但到了今天，產業落地的端到端系統都是巨大無比的模型，端到端自動駕駛從早期的線上互動範式，慢慢已經延伸到完全離線的學習。隨著模型變得越來越強、越來越好，安全性也變得越來越好，而且泛化性層面也慢慢有一些改進和過渡。此外，詹仙園博士也對清華AIR和毫末在模仿學習和離線強化學習上的合作進行了詳細的介紹，並表示這些演算法會逐步應用到毫末的自動駕駛場景實踐當中。
詹仙園博士分享結束後，潘興博士以《毫末的自動駕駛AI之路》為主題，透過毫末的具體實踐，從工業角度闡述了AI演算法的重要性。潘興博士表示，作為一家致力於自動駕駛的人工智慧科技公司，毫末用戶輔助駕駛行駛里程已經超過8,000萬公里，城市NOH也在泛化迭代過程中，預計明年將實現搭載量產。
潘興表示，隨著數據規模的增加、演算法能力提升，在大模型、大數據、大算力趨勢下，應用，當前產業即將進入以數據驅動為主的自動駕駛3.0時代。隨著自動駕駛產品正從高速場景走進城市場景，自動駕駛數據智慧系統的建設最核心的基礎設施。為了實現資料閉環，像是特斯拉、毫末和國內許多友商，也都在搭建自己的雲端AI能力和超算中心，透過更大的算力，更大規模的資料處理能力，來實現更好的自動駕駛能力。
目前，毫末建構了自己的資料智慧系統MANA，並在今年年初搭建起中國自動駕駛產業最大智算中心－MANA OASIS雪湖•綠洲。基於MANA OASIS，毫末在今年四月發布了業界首個自動駕駛生成式大模型DriveGPT雪湖·海若。 「作為一個基礎大模型，毫末使用DriveGPT建構了進一步的AI能力，包括資料管理檢索、自動標註、AIGC模擬資料合成等等，基於這些資料能力和服務，我們進一步來提升車端各個模組和演算法的能力，最終實現一個更優秀的自動駕駛產品。」
潘興博士指出，數據智能是整個自動駕駛迭代的核心，這個過程中要累積海量的數據資產，透過AI大模型，可以更好地去管理這些數據資產。同時，有了數據之後不可避免地需要算力，智算中心的穩定持續運行，也為大模型的迭代和自動駕駛的提升提供了源源不斷的動力。
潘興博士介紹，「有了數據和算力之後，目前車雲連動、共同訓練的方法可以透過大模型有效地提高車端演算法的效果。」例如，透過使用DriveGPT，在工具鏈裡面可以非常有效地降低整個標註的成本，並提高標註的效率。同時，DriveGPT還可以使用大模型直接支援車端小模型能力的提升，把雲端的大模型能力更好地傳遞到車端的模型上。
潘興博士也表示，「如何有效率地獲得更真實的模擬數據，其大模型可以發揮非常重要的作用。」透過大模型的使用，可以非常有效地學習紋理、深度、語意等資訊。透過大模型的有效表徵，可以使資料具備可被編輯能力，例如，在原始的影片上沒有的車輛障礙物，透過DriveGPT可以將對它們進行貼上、剪輯、隨意旋轉，放進影片當中，從而獲得新的仿真合成資料。除了感知領域的應用，在智慧駕駛決策和規劃上，大模型在應用中也發揮了很大的價值和作用，DriveGPT使用人駕的用戶數據，持續地迭代和學習，更好的駕駛行為和決策。
同時，毫末DriveGPT不僅可以幫助完成軌跡預測、圖片合成，還具備智慧決策的能力。 「DriveGPT具備輸入一段影片可以去預測未來軌跡以及回答駕駛決策過程中問題的能力，可以給出可解釋性的決策。」這些能力讓毫末認為隨著端到端自動駕駛的來臨，將宏觀決策和微觀行為，透過模型一起學習和理解會成為比較有效的手段。潘興博士透露，接下來，毫末會更深度地將感知和認知兩個模型進行端到端的打通，讓它們能夠合而為一。
毫末智行聯合清華大學智慧產業研究院（AIR）舉辦的自動駕駛精品公開課共分4期，本期課程為第三期。在先前舉辦的兩期課程裡，來自清華AIR和毫末智行的講師已經為近百名業內媒體人介紹了單車智慧自動駕駛、車路協同自動駕駛和高等級智慧道路建設等自動駕駛技術發展，並向大家講解了自動駕駛AI技術基礎原理，以及目前大模型在自動駕駛的應用趨勢。本期自動駕駛精品公開課，毫末與清華AIR一同向自動駕駛行業觀察者們分享了更為深入的AI算法和自動駕駛AI系統的原理，並得到線上線下嘉賓的積極提問和交流。
面對自動駕駛星辰大海，唯有行動才會真正抵達未來的目標。透過自動駕駛精品公開課，毫末與清華AIR攜手業內資深媒體人一起收穫關於自動駕駛A演算法的最新研究成果和實踐經驗，攜手跨越山海，共同分享AI知識的智慧火花，為自動駕駛行業貢獻一份珍貴的技術共識和知識沉澱。
以上是毫末智行&清華AIR自動駕駛公開課 潘興博士現場揭秘毫末的自動駕駛AI實踐之路的詳細內容。更多資訊請關注PHP中文網其他相關文章！
