Langkah utama untuk 'naik kereta' untuk model besar: set data sumber terbuka bahasa pertama di dunia + pemanduan autonomi ada di sini

DriveLM ialah projek pemacu berasaskan bahasa yang mengandungi set data dan model. Dengan DriveLM, kami memperkenalkan keupayaan inferens model bahasa besar dalam pemanduan autonomi (AD) untuk membuat keputusan dan memastikan perancangan yang boleh dijelaskan.

Dalam set data DriveLM, kami menggunakan logik penaakulan tulisan manusia sebagai sambungan untuk memudahkan persepsi, ramalan dan perancangan (P3). Dalam model kami, kami mencadangkan model bahasa visual AD dengan keupayaan pemetaan minda untuk menghasilkan hasil perancangan yang lebih baik. Pada masa ini, kami telah mengeluarkan versi demo set data, dan set data dan model lengkap akan dikeluarkan pada masa hadapan

Pautan projek: https://github.com/OpenDriveLab/DriveLM Kandungan yang perlu ditulis semula ialah: Pautan projek: https://github.com/OpenDriveLab/DriveLM

#🎜🎜🎜 ## 🎜🎜#Apakah itu Graph-of-Thoughts dalam AD?

Aspek yang paling menarik dalam dataset ialah jawapan soalan (QA) dalam P3 disambungkan dalam struktur gaya graf, dengan QA berpasangan sebagai setiap Nod, hubungan objek sebagai tepi.

Berbanding dengan pokok pemikiran bahasa tulen atau peta pemikiran, kami lebih mengutamakan pelbagai mod. Dalam domain AD, kami melakukan ini kerana setiap peringkat mentakrifkan tugas AD, daripada input sensor mentah kepada tindakan kawalan akhir

Apakah yang disertakan dalam set data DriveLM?

Bina set data kami berdasarkan set data nuScenes arus perdana. Elemen teras DriveLM ialah P3 QA berasaskan bingkai. Masalah persepsi memerlukan model untuk mengenali objek dalam adegan. Masalah ramalan memerlukan model untuk meramalkan keadaan masa depan objek penting di tempat kejadian. Masalah perancangan mendorong model untuk memberikan tindakan perancangan yang munasabah dan mengelakkan tindakan berbahaya.

Bagaimanakah proses penentukuran?

Pilihan bingkai kunci. Memandangkan semua bingkai dalam klip, anotasi akan memilih bingkai utama yang perlu diberi anotasi. Standardnya ialah rangka kerja ini harus melibatkan perubahan dalam keadaan pergerakan kenderaan sendiri (perubahan lorong, berhenti mengejut, bermula selepas berhenti, dsb.).

Pemilihan objek utama. Memandangkan bingkai utama, anotasi perlu mengambil objek utama dalam enam imej sekeliling. Standardnya ialah objek ini sepatutnya boleh menjejaskan kenderaan sendiri (lampu isyarat, pejalan kaki melintas jalan, kenderaan lain) Nota Soal Jawab. Memandangkan objek utama ini, kami menjana soalan objek tunggal atau berbilang secara automatik tentang persepsi, ramalan dan perancangan. Butiran lanjut boleh didapati dalam data demo kami.

Atas ialah kandungan terperinci Langkah utama untuk 'naik kereta' untuk model besar: set data sumber terbuka bahasa pertama di dunia + pemanduan autonomi ada di sini. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!