LimSim++：多模態大模型在自動駕駛中的新舞台

論文名稱：LimSim : A Closed-Loop Platform for Deploying Multimodal LLMs in Autonomous Driving

專案首頁：https://pjlab-adg.github.io/ limsim_plus/

模擬器簡介

隨著多模態大語言模型（(M)LLM）在人工智慧領域掀起研究熱潮，在自動駕駛技術的應用逐漸成為關注的焦點。這些模型透過強大的廣義理解和邏輯推理能力，為建立安全可靠的自動駕駛系統提供了有力支持。雖然已有閉迴路模擬平台如HighwayEnv、CARLA和NuPlan等，能夠驗證LLM在自動駕駛中的表現，但使用者通常需要自行適配這些平台，這不僅提高了使用門檻，也限制了LLM能力的深入挖掘。

為了克服這個挑戰，上海人工智慧實驗室的智慧交通平台組推出了**LimSim **，這是一款專為(M)LLM設計的自動駕駛閉環模擬平台。 LimSim 的推出，旨在為自動駕駛領域的研究者提供一個更適宜的環境，以全面探索LLM在自動駕駛技術中的潛力。該平台能夠提取並處理來自SUMO和CARLA等模擬環境的場景訊息，將其轉換為LLM所需的多種輸入形式，包括影像資訊、場景認知和任務描述。此外，LimSim 還具備運動原語轉換功能，能根據LLM的決策快速產生適當的行車軌跡，實現閉迴路模擬。更重要的是，LimSim 為LLM創造了一個持續學習的環境，透過評估決策結果並提供回饋，幫助LLM不斷優化駕駛策略，提高Driver Agent的駕駛性能。

模擬器特點

LimSim 在自動駕駛模擬領域具有顯著特點，為(M)LLM驅動的Driver Agent提供了理想的閉迴路模擬和持續學習環境。

• LimSim 支援多種駕駛場景的模擬，如十字路口、匝道和環島等，確保Driver Agent能夠在各種複雜路況下接受挑戰。這種多樣化的場景設定有助於LLM獲取更豐富的駕駛經驗，並提高其在真實環境中的適應能力。
• LimSim 支援多種模態輸入的大語言模型。 LimSim 不僅提供基於規則的場景資訊生成，同時可以與CARLA聯調，能夠提供豐富的視覺輸入，滿足(M)LLM在自動駕駛中的視覺感知需求。
• LimSim 著重持續學習能力。 LimSim 整合了評估、反思和記憶等模組，幫助(M)LLM在模擬過程中不斷累積經驗，優化決策策略。

建立屬於自己的Driver Agent

#LimSim 為使用者提供了豐富的接口，可以滿足Driver Agent的客製化需求，提高了LimSim 開發的靈活性，並且降低了使用門檻。

1. Prompt建構

• LimSim 支援使用者自訂prompt，從而改變輸入給(M)LLM的文字訊息，包括角色設定、任務要求、場景描述等資訊。
• LimSim 提供了基於json格式的場景描述模板，支援使用者零碼進行prompt的修改，無需考慮資訊擷取的具體實作。

2. 決策評估模組

• #LimSim 提供了對(M)LLM決策結果進行評估的baseline，使用者可以透過改變權重參數來調節評估偏好。

3. 框架的靈活性

• #LimSim 支援使用者為(M)LLM新增自訂的工具庫，例如感知工具、數值處理工具等等。

快速上手

• Step 0:安裝SUMO（Version≥v1.15.0,  ubuntu）

sudo add-apt-repository ppa:sumo/stablesudo apt-get updatesudo apt-get install sumo sumo-tools sumo-doc

• Step 1：下載LimSim 原始碼壓縮包，解壓縮後切換到正確分支

##

git clone https://github.com/PJLab-ADG/LimSim.gitgit checkout -b LimSim_plus

• Step 2:安裝依賴(要求裝有conda)

#

cd LimSimconda env create -f environment.yml

• Step 3:  執行模擬

單獨執行模擬

#

python ExampleModel.py

使用LLM進行自動駕駛

#

export OPENAI_API_KEY='your openai key'python ExampleLLMAgentCloseLoop.py

使用VLM進行自動駕駛

# Terminal 1cd path-to-carla/./CarlaUE4.sh# Termnial 2cd path-to-carla/cd PythonAPI/util/python3 config.py --map Town06# Termnial 2export OPENAI_API_KEY='your openai key'cd path-to-LimSim++/python ExampleVLMAgentCloseLoop.py

更多內容請查看LimSim 的github：https:// github.com/PJLab-ADG/LimSim/tree/LimSim_plus，如有其他疑問請在GitHub的Issues中提出或直接郵件與我們聯繫！

歡迎學術界和工業界小夥伴共同開發LimSim ，共建開源生態！

#

以上是LimSim++：多模態大模型在自動駕駛中的新舞台的詳細內容。更多資訊請關注PHP中文網其他相關文章！