Pembunuh pengeluaran besar-besaran! P-Mapnet: Menggunakan peta SDMap berketepatan rendah sebelum ini, prestasi pemetaan dipertingkatkan dengan hampir 20 mata!

Ditulis sebelum

Salah satu algoritma yang digunakan oleh sistem pemanduan autonomi semasa untuk menghilangkan pergantungannya pada peta berketepatan tinggi adalah untuk mengambil kesempatan daripada fakta bahawa prestasi persepsi dalam julat jarak jauh masih lemah. Untuk tujuan ini, kami mencadangkan P-MapNet, di mana "P" memfokuskan pada menggabungkan peta sebelum untuk meningkatkan prestasi model. Khususnya, kami mengeksploitasi maklumat terdahulu dalam SDMap dan HDMap: di satu pihak, kami mengekstrak data SDMap yang sejajar dengan lemah daripada OpenStreetMap dan mengekodkannya ke dalam istilah bebas untuk menyokong input. Terdapat masalah penjajaran yang lemah antara input yang diubah suai dengan ketat dan HD+Map sebenar Struktur kami berdasarkan mekanisme Cross-attention boleh memfokus secara adaptif pada rangka SDMap dan membawa peningkatan prestasi yang ketara, sebaliknya, kami mencadangkan kaedah yang digunakan MAE Untuk menangkap modul halus pengedaran terdahulu HDMap, modul ini membantu menjana pengedaran yang lebih konsisten dengan peta sebenar dan membantu mengurangkan kesan oklusi, artifak, dsb. Kami menjalankan pengesahan percubaan yang meluas pada set data nuScenes dan Argoverse2. .

(2) HDMap kami sebelum ini boleh meningkatkan indeks kesedaran peta sehingga 6.34%.

(3) P-MapNet boleh bertukar kepada mod inferens yang berbeza untuk menukar ketepatan dan kecekapan.

P-MapNet ialah penyelesaian penjanaan HD+Map jarak jauh, yang boleh membawa peningkatan yang lebih besar kepada julat penderiaan yang lebih jauh. Kod dan model kami telah dikeluarkan secara terbuka di https://jike5.github.io/P-MapNet/.

Semakan kerja berkaitan

(1)

Penjanaan peta dalam talian

Penghasilan HD+Map terutamanya termasuk langkah seperti pemetaan SLAM, anotasi automatik dan anotasi manual. Ini menyebabkan kos yang tinggi dan kesegaran HD+Map yang terhad. Oleh itu, penjanaan peta dalam talian adalah penting untuk sistem pemanduan autonomi. HDMapNet mengekspresikan elemen peta melalui pengikatan dan menggunakan ramalan mengikut piksel dan kaedah pasca pemprosesan untuk mendapatkan hasil ramalan vektor. Beberapa kaedah terkini, seperti MapTR, PivotNet, Streammapnet, dsb., melaksanakan ramalan vektor hujung ke hujung berdasarkan seni bina Transformer Walau bagaimanapun, kaedah ini hanya menggunakan input sensor dan prestasinya masih terhad dalam persekitaran yang kompleks seperti oklusi dan cuaca yang melampau.

(2)

Persepsi peta jarak jauh

Untuk menjadikan hasil yang dijana oleh peta dalam talian lebih baik digunakan oleh modul hiliran, beberapa kajian cuba mengembangkan lagi skop persepsi peta. SuperFusion[7] mencapai ramalan jarak jauh 90m ke hadapan dengan menggabungkan lidar dan kamera serta menggunakan transformasi BEV yang sedar mendalam. NeuralMapPrior[8] meningkatkan kualiti pemerhatian dalam talian semasa dan meluaskan skop persepsi dengan mengekalkan dan mengemas kini peta neural global. [6] memperoleh ciri BEV dengan mengagregatkan imej satelit dan data penderia kenderaan, dan seterusnya meramalkannya. MV-Map memfokuskan pada penjanaan peta jarak jauh luar talian Kaedah ini mengoptimumkan ciri BEV dengan mengagregatkan semua ciri bingkai yang berkaitan dan menggunakan medan sinaran saraf.

Tinjauan keseluruhan P-MapNet

Rangka kerja keseluruhan ditunjukkan dalam Rajah 2.

Rajah 2

Input:

Input sistem ialah awan titik:

, kamera sekeliling:, dengan

ialah bilangan kamera sekeliling. Tugas penjanaan HDMap biasa (seperti HDMapNet) boleh ditakrifkan sebagai: di mana mewakili pengekstrakan ciri, mewakili kepala segmentasi dan

ialah hasil ramalan HDMap.

P-MapNet yang kami cadangkan menggabungkan Peta SD dan Peta HD sebelumnya. modul. Modul mempelajari pengedaran Peta HD sebelum melalui pra-latihan. Begitu juga, apabila hanya menggunakan SDMap sebelumnya, kami mendapat tetapan sahaja:

Output: Untuk tugas penjanaan peta, biasanya terdapat dua perwakilan peta: rasterisasi dan vektor. Dalam penyelidikan artikel ini, memandangkan dua modul a priori yang direka dalam artikel ini lebih sesuai untuk output raster, kami memberi tumpuan terutamanya pada perwakilan raster.

3.1 Modul Sebelum SDMap Penjanaan data SDMap Artikel ini menjalankan penyelidikan berdasarkan set data nuScenes dan Argoverse2, menggunakan data OpenStreetMap untuk menjana data SD Map dan melaksanakan kawasan set data yang sepadan di atas. transformasi sistem melalui GPS kenderaan Untuk mendapatkan Peta SD kawasan yang sepadan.

Pertanyaan BEV

Seperti yang ditunjukkan dalam Rajah 2, kami mula-mula melakukan pengekstrakan ciri dan penukaran perspektif pada data imej dan pengekstrakan ciri pada awan titik untuk mendapatkan ciri BEV. Kemudian ciri BEV diturunkan sampel melalui rangkaian konvolusi untuk mendapatkan ciri BEV baharu:, dan peta ciri diratakan untuk mendapatkan Pertanyaan BEV.

Peta SD gabungan sebelumnya

Untuk data Peta SD, selepas pengekstrakan ciri melalui rangkaian konvolusi, ciri yang diperolehi Mekanisme perhatian silang dengan Pertanyaan BEV:

BEV diperoleh selepas mekanisme perhatian silang Ciri-ciri diluluskan kepala pembahagian untuk mendapatkan ramalan awal elemen peta.

3.2 Modul HDMap Prior

secara langsung menggunakan Peta HD raster sebagai input MAE asal akan dilatih melalui MSE Loss, yang menjadikannya tidak boleh digunakan sebagai modul penghalusan. Jadi dalam artikel ini, kami menggantikan output MAE dengan kepala segmentasi kami. Untuk menjadikan elemen peta yang diramalkan mempunyai kesinambungan dan ketulenan (lebih dekat dengan pengedaran Peta HD sebenar), kami menggunakan modul MAE yang telah terlatih untuk diperhalusi. Latihan modul ini terdiri daripada dua langkah: langkah pertama ialah menggunakan pembelajaran penyeliaan kendiri untuk melatih modul MAE untuk mempelajari pengedaran Peta HD, dan langkah kedua ialah memperhalusi semua modul rangkaian dengan menggunakan pemberat yang diperolehi. dalam langkah pertama sebagai pemberat awal.

Dalam langkah pertama pra-latihan, Peta HD sebenar yang diperoleh daripada set data bertopeng secara rawak dan digunakan sebagai input rangkaian , dan matlamat latihan adalah untuk melengkapkan Peta HD:

Dalam yang kedua langkah memperhalusi, Berat yang telah dilatih dalam langkah pertama digunakan sebagai pemberat awal Rangkaian lengkap ialah:

4. Kami menjalankannya pada dua set data arus perdana Disemak: nuScenes dan Argoverse2. Untuk membuktikan keberkesanan kaedah cadangan kami pada jarak jauh, kami menetapkannya pada tiga jarak pengesanan berbeza:

,

. Antaranya, peleraian Grid BEV dalam julat

ialah 0.15m, dan resolusi dalam dua julat yang lain ialah 0.3m. Kami menggunakan metrik mIOU untuk menilai keputusan ramalan raster dan mAP untuk menilai hasil ramalan vektor. Untuk menilai ketulenan peta, kami juga menggunakan metrik LPIPS sebagai metrik kesedaran peta.

4.2 Keputusan Perbandingan dengan keputusan SOTA: Kami membandingkan hasil penjanaan peta kaedah yang dicadangkan dan kaedah SOTA semasa pada jarak dekat (60m × 30m) dan jarak jauh (90m × 30m). Seperti yang ditunjukkan dalam Jadual II, kaedah kami menunjukkan prestasi unggul berbanding kaedah penglihatan sahaja dan pelbagai mod (RGB+LiDAR) sedia ada.

Kami melakukan perbandingan prestasi dengan HDMapNet [14] pada jarak yang berbeza dan menggunakan mod sensor yang berbeza, dan hasilnya diringkaskan dalam Jadual I dan Jadual III. Kaedah kami mencapai 13.4% peningkatan pada mIOU dengan julat 240m × 60m. Memandangkan jarak yang dirasakan melebihi atau bahkan melebihi julat pengesanan sensor, keberkesanan SDMap sebelumnya menjadi lebih ketara, sekali gus mengesahkan keberkesanan SDMap sebelumnya. Akhir sekali, kami memanfaatkan peta HD sebelum membawa lagi peningkatan prestasi dengan memperhalusi hasil ramalan awal untuk menjadikannya lebih realistik dan menghapuskan keputusan palsu.

HDMap metrik persepsi terdahulu. Modul terdahulu HDMap memetakan ramalan awal rangkaian ke pengedaran peta HD, menjadikannya lebih realistik. Untuk menilai ketulenan output modul sebelumnya HDMap, kami menggunakan LPIPS metrik persepsi (semakin rendah nilai, lebih baik prestasi) untuk penilaian. Seperti yang ditunjukkan dalam Jadual IV, penunjuk LPIPS dalam tetapan

mempunyai peningkatan yang lebih besar daripada tetapan

sahaja.

Visualisasi:

Atas ialah kandungan terperinci Pembunuh pengeluaran besar-besaran! P-Mapnet: Menggunakan peta SDMap berketepatan rendah sebelum ini, prestasi pemetaan dipertingkatkan dengan hampir 20 mata!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!