Satu artikel untuk memahami persepsi lidar dan gabungan visual mengenai pemanduan autonomi

2022 ialah tempoh masa untuk pemanduan pintar untuk beralih dari L2 ke L3/L4 Semakin banyak pengeluar kereta mula merancang untuk pengeluaran besar-besaran pemanduan pintar peringkat lebih tinggi Era kecerdasan kereta telah tiba .

Dengan peningkatan teknikal perkakasan lidar, pengeluaran besar-besaran gred kereta dan pengurangan kos, fungsi pemanduan pintar peringkat tinggi telah mempromosikan pengeluaran besar-besaran lidar dalam bidang kereta penumpang A bilangan model yang dilengkapi dengan lidar akan dihantar tahun ini, dan 2022 juga dikenali sebagai "tahun pertama lidar di jalan raya."

01 Penderia Lidar vs penderia imej

Lidar ialah penderia yang digunakan untuk mendapatkan kedudukan tiga dimensi objek dengan tepat Pengesanan dan jarak laser. Dengan prestasi cemerlang dalam pengukuran kontur sasaran dan pengesanan halangan universal, ia menjadi konfigurasi teras pemanduan autonomi L4.

Walau bagaimanapun, julat ukuran lidar (biasanya sekitar 200 meter, dan model pengeluaran besar-besaran pengeluar yang berbeza mempunyai penunjuk yang berbeza) menghasilkan julat persepsi yang jauh lebih kecil daripada julat penderia imej.

Dan kerana resolusi sudutnya (umumnya 0.1° atau 0.2°) adalah agak kecil, resolusi awan titik jauh lebih kecil daripada penderia imej apabila pengesanan pada jarak yang panjang jarak, ia diunjurkan ke objek sasaran Titik pada imej mungkin sangat jarang sehingga tidak dapat diimej. Untuk pengesanan sasaran awan titik, jarak awan titik berkesan yang benar-benar boleh digunakan oleh algoritma adalah kira-kira 100 meter sahaja.

Penderia imej boleh memperoleh maklumat sekeliling yang kompleks pada kadar bingkai yang tinggi dan resolusi tinggi, dan berbilang penderia dengan FOV dan resolusi yang berbeza boleh digunakan untuk jarak dan julat yang berbeza. resolusi boleh mencapai 2K-4K.

Walau bagaimanapun, penderia imej ialah penderia pasif dengan persepsi kedalaman yang tidak mencukupi dan ketepatan julat yang lemah Terutamanya dalam persekitaran yang keras, kesukaran untuk menyelesaikan tugas pengesanan akan meningkat dengan ketara.

Dalam menghadapi cahaya yang kuat, pencahayaan yang rendah pada waktu malam, hujan, salji, kabus dan persekitaran cuaca dan cahaya yang lain, pemanduan pintar mempunyai keperluan yang tinggi pada algoritma penderia. Walaupun lidar tidak sensitif kepada pengaruh cahaya ambien, pengukuran jarak akan banyak dipengaruhi oleh jalan berair, dinding kaca, dsb.

Dapat dilihat bahawa lidar dan sensor imej masing-masing mempunyai kelebihan dan kekurangan masing-masing. Kebanyakan kereta penumpang pemanduan pintar peringkat tinggi memilih untuk menyepadukan penderia yang berbeza untuk melengkapkan kelebihan satu sama lain dan menyepadukan lebihan.

Penyelesaian penderiaan bercantum sedemikian juga telah menjadi salah satu teknologi utama untuk pemanduan autonomi peringkat tinggi.

02 Awan titik dan persepsi gabungan imej berdasarkan pembelajaran mendalam

Gabungan awan titik dan imej milik Multi-Sensor Fusion ,MSF ) bidang teknologi, terdapat kaedah rawak tradisional dan kaedah pembelajaran mendalam, yang kebanyakannya dibahagikan kepada tiga peringkat mengikut tahap abstraksi pemprosesan maklumat dalam sistem gabungan:

Penyatuan lapisan data (Penyatuan Awal)

Mula-mula menggabungkan data pemerhatian sensor, dan kemudian mengekstrak ciri daripada data bercantum untuk pengecaman. Dalam pengesanan sasaran 3D, PointPainting (CVPR20) menggunakan kaedah ini Kaedah PointPainting mula-mula melakukan segmentasi semantik pada imej, memetakan ciri yang disegmen ke awan titik melalui matriks piksel titik-ke-imej, dan kemudian "menarik titik". awan titik dihantar ke pengesan awan titik 3D untuk melakukan regresi pada Kotak sasaran.

Ciri gabungan lapisan (Penyatuan Dalam)

Mula-mula ekstrak ciri data semula jadi daripada data pemerhatian yang disediakan oleh setiap penderia, dan kemudian gabungkan ciri ini untuk pengecaman. Dalam kaedah gabungan berdasarkan pembelajaran mendalam, kaedah ini menggunakan pengekstrak ciri untuk kedua-dua awan titik dan cawangan imej Rangkaian cawangan imej dan cabang awan titik dicantum secara semantik tahap demi tahap dalam tahap maklum balas hadapan untuk mencapai berbilang-. maklumat skala.

Kaedah gabungan lapisan ciri berdasarkan pembelajaran mendalam mempunyai keperluan tinggi untuk penyegerakan spatio-temporal antara berbilang penderia Setelah penyegerakan tidak baik, ia akan menjejaskan kesan gabungan ciri secara langsung. Pada masa yang sama, disebabkan oleh perbezaan skala dan sudut tontonan, adalah sukar untuk mencapai kesan 1+1>2 gabungan ciri antara LiDAR dan imej.

Penyatuan lapisan membuat keputusan (Late Fusion)

Berbanding dengan dua yang pertama, ia adalah kaedah gabungan yang paling tidak kompleks. Ia tidak bercantum pada lapisan data atau lapisan ciri, tetapi merupakan gabungan tahap sasaran Struktur rangkaian penderia yang berbeza tidak menjejaskan satu sama lain dan boleh dilatih dan digabungkan secara bebas.

Memandangkan kedua-dua jenis penderia dan pengesan yang digabungkan pada lapisan membuat keputusan adalah bebas antara satu sama lain, sebaik sahaja penderia gagal, pemprosesan redundansi penderia masih boleh dilakukan, menghasilkan kejuruteraan yang lebih baik. keteguhan.

Dengan lelaran berterusan teknologi persepsi lidar dan gabungan visual, dan pengumpulan berterusan senario dan kes pengetahuan, ia akan Semakin banyak penyelesaian pengkomputeran tertumpu tindanan penuh muncul untuk membawa masa depan yang lebih selamat dan lebih dipercayai untuk pemanduan autonomi.

Atas ialah kandungan terperinci Satu artikel untuk memahami persepsi lidar dan gabungan visual mengenai pemanduan autonomi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!