RoboFusion untuk pengesanan 3D berbilang modal yang boleh dipercayai menggunakan SAM

Pautan kertas: https://arxiv.org/pdf/2401.03907.pdf

Pengesan 3D berbilang modal direka untuk mengkaji sistem persepsi pemanduan autonomi yang selamat dan boleh dipercayai. Walaupun mereka mencapai prestasi terkini pada set data penanda aras yang bersih, kerumitan dan keadaan persekitaran dunia sebenar yang teruk sering diabaikan. Pada masa yang sama, dengan kemunculan Model Asas Visi (VFM), meningkatkan keteguhan dan keupayaan generalisasi pengesanan 3D berbilang modal menghadapi peluang dan cabaran dalam pemanduan autonomi. Oleh itu, pengarang mencadangkan rangka kerja RoboFusion, yang memanfaatkan VFM seperti SAM untuk menangani senario hingar luar pengedaran (OOD).

Pertama, kami menggunakan SAM asal pada senario pemanduan autonomi yang dipanggil SAM-AD. Untuk menjajarkan SAM atau SAMAD dengan kaedah berbilang modal, kami memperkenalkan AD-FPN untuk menambah sampel ciri imej yang diekstrak oleh SAM. Untuk mengurangkan lagi gangguan hingar dan cuaca, kami menggunakan penguraian wavelet untuk menapis imej berpandukan kedalaman. Akhir sekali, kami menggunakan mekanisme perhatian kendiri untuk menyesuaikan semula ciri yang digabungkan untuk meningkatkan ciri bermaklumat sambil menahan hingar yang berlebihan. RoboFusion meningkatkan daya tahan pengesanan objek 3D berbilang mod dengan memanfaatkan generalisasi dan keteguhan VFM untuk mengurangkan bunyi secara beransur-ansur. Hasilnya, RoboFusion mencapai prestasi terkini dalam adegan bising, menurut hasil daripada penanda aras KITTIC dan nuScenes-C.

Makalah ini mencadangkan rangka kerja teguh yang dipanggil RoboFusion, yang menggunakan VFM seperti SAM untuk menyesuaikan pengesan objek berbilang mod 3D daripada pemandangan bersih kepada adegan bising OOD. Antaranya, strategi penyesuaian SAM adalah kuncinya.

1) Gunakan ciri yang diekstrak daripada SAM dan bukannya membuat kesimpulan hasil segmentasi.

2) SAM-AD dicadangkan, iaitu SAM pra-latihan untuk senario AD.

3) AD-FPN baharu diperkenalkan untuk menyelesaikan masalah pensampelan naik ciri untuk menjajarkan VFM dengan pengesan 3D berbilang modal.

Untuk mengurangkan gangguan hingar dan mengekalkan ciri isyarat, modul Deep Guided Wavelet Attention (DGWA) diperkenalkan untuk mengurangkan bunyi frekuensi tinggi dan rendah dengan berkesan.

Selepas menggabungkan ciri awan titik dan ciri imej, timbang semula ciri melalui pelakuran suai untuk meningkatkan kekukuhan dan rintangan hingar ciri tersebut.

Struktur rangkaian RoboFusion

Rangka kerja RoboFusion ditunjukkan di bawah, dan cawangan lidarnya mengikut garis dasar [Chen et al., 2022] untuk menjana ciri lidar. Dalam cawangan kamera, algoritma SAM-AD yang sangat dioptimumkan digunakan untuk mengekstrak ciri imej yang mantap, dan digabungkan dengan AD-FPN untuk mendapatkan ciri berbilang skala. Seterusnya, titik asal digunakan untuk menjana peta kedalaman jarang S, yang dimasukkan ke dalam pengekod kedalaman untuk mendapatkan ciri kedalaman, dan digabungkan dengan ciri imej berskala untuk mendapatkan ciri imej berpandukan kedalaman. Kemudian, bunyi mutasi dikeluarkan melalui mekanisme perhatian yang berubah-ubah. Akhirnya, gabungan adaptif dicapai melalui mekanisme perhatian kendiri untuk menggabungkan ciri awan titik dengan ciri imej yang mantap dengan maklumat mendalam.

SAM-AD: Untuk menyesuaikan lagi SAM kepada senario AD (pemandu autonomi), SAM telah dilatih terlebih dahulu untuk mendapatkan SAM-AD. Khususnya, kami mengumpul sejumlah besar sampel imej daripada set data matang (iaitu, KITTI dan nuScenes) untuk membentuk set data AD asas. Selepas DMAE, SAM dilatih terlebih dahulu untuk mendapatkan SAM-AD dalam senario AD, seperti yang ditunjukkan dalam Rajah 3. Nyatakan x sebagai imej bersih daripada set data AD (iaitu KITTI dan nuScenes) dan eta sebagai imej bising yang dijana berdasarkan x. Jenis hingar dan keterukan dipilih secara rawak daripada empat keadaan cuaca (iaitu, hujan, salji, kabus dan cahaya matahari) dan lima tahap keterukan masing-masing daripada 1 hingga 5. Menggunakan SAM, pengekod imej MobileSAM sebagai pengekod kami, manakala kehilangan penyahkod dan pembinaan semula adalah sama seperti DMAE.

AD-FPN. Sebagai model segmentasi boleh kiu, SAM terdiri daripada tiga bahagian: pengekod imej, pengekod kiu dan penyahkod topeng. Secara umum, pengekod imej perlu digeneralisasikan untuk melatih VFM dan kemudian melatih penyahkod. Dalam erti kata lain, pengekod imej boleh menyediakan pembenaman imej yang berkualiti tinggi dan sangat mantap kepada model hiliran, manakala penyahkod topeng hanya direka untuk menyediakan perkhidmatan penyahkodan bagi pembahagian semantik. Tambahan pula, apa yang kita perlukan ialah ciri imej yang mantap dan bukannya pemprosesan maklumat kiu oleh pengekod kiu. Oleh itu, kami menggunakan pengekod imej SAM untuk mengekstrak ciri imej yang mantap. Walau bagaimanapun, SAM menggunakan siri ViT sebagai pengekod imejnya, yang mengecualikan ciri berbilang skala dan hanya menyediakan ciri resolusi rendah berdimensi tinggi. Untuk menjana ciri berbilang skala yang diperlukan untuk pengesanan sasaran, diilhamkan oleh [Li et al., 2022a], AD-FPN direka bentuk, yang menyediakan ciri berbilang skala berdasarkan ViT!

Walaupun keupayaan SAM-AD atau SAM untuk mengekstrak ciri imej yang mantap, jurang antara domain 2D dan domain 3D masih wujud, dan kamera yang kekurangan maklumat geometri dalam persekitaran yang rosak sering menguatkan bunyi dan menyebabkan masalah pemindahan negatif. Untuk mengurangkan masalah ini, kami mencadangkan modul Deep Guided Wavelet Attention (DGWA), yang boleh dibahagikan kepada dua langkah berikut. 1) Rangkaian panduan mendalam direka bentuk untuk menambah geometri sebelum ciri imej dengan menggabungkan ciri imej dan ciri kedalaman awan titik. 2) Gunakan transformasi wavelet Haar untuk menguraikan ciri imej kepada empat subjalur, dan kemudian mekanisme perhatian membolehkan untuk menafikan ciri maklumat dalam subjalur! Perbandingan eksperimen 8y1 KyipHeUSh5sLQZy-ng

Atas ialah kandungan terperinci RoboFusion untuk pengesanan 3D berbilang modal yang boleh dipercayai menggunakan SAM. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!