LimSim++: Peringkat baharu untuk model besar berbilang mod dalam pemanduan autonomi

Nama kertas: LimSim++: Platform Gelung Tertutup untuk Menggunakan LLM Multimodal dalam Pemanduan Autonomi

Laman utama projek: https://pjlab-adg.github.io/limsim_plus/

kepada simulator

Memandangkan Multimodal Large Language Model ((M)LLM) telah mencetuskan ledakan penyelidikan dalam bidang kecerdasan buatan, aplikasinya dalam teknologi pemanduan autonomi secara beransur-ansur menjadi tumpuan perhatian. Model-model ini memberikan sokongan kuat untuk membina sistem pemanduan autonomi yang selamat dan boleh dipercayai melalui pemahaman umum yang kuat dan keupayaan penaakulan logik. Walaupun terdapat platform simulasi gelung tertutup sedia ada seperti HighwayEnv, CARLA dan NuPlan, yang boleh mengesahkan prestasi LLM dalam pemanduan autonomi, pengguna biasanya perlu menyesuaikan sendiri platform ini, yang bukan sahaja meningkatkan ambang penggunaan, tetapi juga mengehadkan penerokaan mendalam keupayaan LLM.

Untuk mengatasi cabaran ini, Kumpulan Platform Pengangkutan Pintar Makmal Kepintaran Buatan Shanghai melancarkan **LimSim++**, platform simulasi gelung tertutup pemanduan autonomi yang direka khas untuk (M)LLM. Pelancaran LimSim++ bertujuan untuk menyediakan penyelidik dalam bidang pemanduan autonomi dengan persekitaran yang lebih sesuai untuk meneroka secara menyeluruh potensi LLM dalam teknologi pemanduan autonomi. Platform ini boleh mengekstrak dan memproses maklumat adegan daripada persekitaran simulasi seperti SUMO dan CARLA, menukarkannya kepada pelbagai bentuk input yang diperlukan oleh LLM, termasuk maklumat imej, kognisi pemandangan dan penerangan tugas. Selain itu, LimSim++ juga mempunyai fungsi penukaran primitif gerakan, yang boleh menjana trajektori pemanduan yang sesuai dengan pantas berdasarkan pembuatan keputusan LLM untuk mencapai simulasi gelung tertutup. Lebih penting lagi, LimSim++ mewujudkan persekitaran pembelajaran berterusan untuk LLM, yang membantu LLM terus mengoptimumkan strategi pemanduan dan meningkatkan prestasi pemanduan ejen pemandu dengan menilai keputusan keputusan dan memberikan maklum balas.

Ciri Simulator

LimSim++ mempunyai ciri penting dalam bidang simulasi pemanduan autonomi, menyediakan simulasi gelung tertutup yang ideal dan persekitaran pembelajaran berterusan untuk Ejen Pemandu (M)LLM-driven.
• LimSim++ menyokong simulasi pelbagai senario pemanduan, seperti persimpangan, tanjakan dan bulatan, memastikan Ejen Pemandu boleh menerima cabaran dalam pelbagai keadaan jalan yang kompleks. Tetapan pemandangan yang pelbagai ini membantu LLM memperoleh pengalaman pemanduan yang lebih kaya dan meningkatkan kebolehsuaiannya dalam persekitaran sebenar.
• LimSim++ menyokong model bahasa yang besar dengan berbilang input modal. LimSim++ bukan sahaja menyediakan penjanaan maklumat adegan berasaskan peraturan, tetapi juga boleh dinyahpepijat bersama dengan CARLA untuk menyediakan input visual yang kaya untuk memenuhi keperluan persepsi visual (M)LLM dalam pemanduan autonomi.

LimSim++ memfokuskan kepada keupayaan pembelajaran berterusan. LimSim++ menyepadukan modul seperti penilaian, refleksi dan ingatan untuk membantu (M)LLM secara berterusan mengumpul pengalaman dan mengoptimumkan strategi membuat keputusan semasa proses simulasi.

Buat Ejen Pemandu anda sendiri

LimSim++ menyediakan pengguna dengan antara muka yang kaya yang boleh memenuhi keperluan penyesuaian Ejen Pemandu, meningkatkan fleksibiliti pembangunan LimSim++, dan merendahkan ambang untuk digunakan.
Pembinaan segera

• LimSim++ menyokong gesaan yang ditentukan pengguna untuk menukar input maklumat teks kepada (M)LLM, termasuk tetapan peranan, keperluan tugas, penerangan adegan dan maklumat lain.

LimSim++ menyediakan templat penerangan pemandangan berdasarkan format json, membenarkan pengguna mengubah suai gesaan dengan kod sifar tanpa mengambil kira pelaksanaan khusus pengekstrakan maklumat.

Modul penilaian keputusan

LimSim++ menyediakan garis asas untuk menilai keputusan keputusan (M)LLM Pengguna boleh melaraskan pilihan penilaian dengan menukar parameter berat.

Kefleksibelan rangka kerja

LimSim++ menyokong pengguna untuk menambah perpustakaan alat tersuai untuk (M)LLM, seperti alat persepsi, alat pemprosesan berangka, dsb.

get bermula dengan cepat

step 0:

stall sumo (version≥v1.15.0, ubuntu)

sudo add-apt-repository ppa:sumo/stablesudo apt-get updatesudo apt-get install sumo sumo-tools sumo-doc

e

step 1: muat turun pakej pemampatan kod limsim ++, unzip dan suis ke cawangan yang betul

git clone https://github.com/PJLab-ADG/LimSim.gitgit checkout -b LimSim_plus

Langkah 2:Pasang kebergantungan (conda diperlukan)

cd LimSimconda env create -f environment.yml

Langkah 3:Run

Jalankan simulasi sahaja

python ExampleModel.py

Menggunakan LLM untuk pemanduan autonomi

export OPENAI_API_KEY='your openai key'python ExampleLLMAgentCloseLoop.py

Menggunakan VLM untuk pemanduan autonomi

# Terminal 1cd path-to-carla/./CarlaUE4.sh# Termnial 2cd path-to-carla/cd PythonAPI/util/python3 config.py --map Town06# Termnial 2export OPENAI_API_KEY='your openai key'cd path-to-LimSim++/python ExampleVLMAgentCloseLoop.py

Untuk maklumat lanjut, sila semak LimSim++'s github-/GPJSim++: https://github-AD/GPJSim /LimSim_plus, Jika anda mempunyai sebarang soalan lain, sila bangkitkan dalam Isu di GitHub atau hubungi kami terus melalui e-mel!

Kami mengalu-alukan rakan kongsi daripada ahli akademik dan industri untuk bersama-sama membangunkan LimSim++ dan membina ekosistem sumber terbuka! 🎜🎜

Atas ialah kandungan terperinci LimSim++: Peringkat baharu untuk model besar berbilang mod dalam pemanduan autonomi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!