Penjajaran ciri yang tepat untuk meningkatkan pengesanan objek 3D multimodal: Aplikasi GraphAlign

Tajuk asal: GraphAlign: Meningkatkan Penjajaran Ciri Tepat melalui pemadanan Graf untuk Pengesanan Objek 3D Berbilang Modal

Kandungan yang perlu ditulis semula ialah: Pautan kertas: https://arxiv.org/pdf/2310.08261.pdf

gabungan: Beijing Jiaotong University Universiti Sains dan Teknologi Hebei Universiti Tsinghua

Idea tesis:

LiDAR dan kamera ialah penderia pelengkap untuk pengesanan sasaran 3D dalam pemanduan autonomi. Walau bagaimanapun, mengkaji interaksi luar tabii antara awan titik dan imej adalah mencabar, dan kuncinya terletak pada cara melakukan penjajaran ciri bagi modaliti heterogen. Pada masa ini, banyak kaedah hanya mencapai penjajaran ciri melalui penentukuran unjuran dan mengabaikan isu ralat ketepatan penukaran koordinat antara penderia, yang mengakibatkan prestasi suboptimum. Makalah ini mencadangkan strategi penjajaran ciri yang lebih tepat dipanggil GraphAlign untuk pengesanan objek 3D melalui pemadanan graf. Secara khusus, kertas ini menggabungkan ciri imej pengekod segmentasi semantik dalam cawangan imej dengan ciri awan titik CNN jarang 3D dalam cawangan LiDAR. Untuk mengurangkan jumlah pengiraan, kertas ini menggunakan pengiraan jarak Euclidean untuk membina hubungan jiran terdekat dalam subruang ciri awan titik. Melalui penentukuran unjuran antara imej dan awan titik, jiran terdekat ciri awan titik ditayangkan ke ciri imej. Kami kemudian mencari penjajaran ciri yang lebih sesuai dengan memadankan jiran terdekat awan titik tunggal kepada berbilang imej. Di samping itu, kertas kerja ini juga menyediakan modul perhatian kendiri untuk meningkatkan berat perhubungan penting untuk memperhalusi penjajaran ciri antara modaliti heterogen. Sebilangan besar eksperimen telah dijalankan dalam penanda aras nuScenes untuk membuktikan keberkesanan dan kecekapan GraphAlign yang dicadangkan dalam artikel ini

Sumbangan utama:

Artikel ini mencadangkan GraphAlign, rangka kerja penjajaran ciri berdasarkan padanan graf (pemadanan graf), untuk menyelesaikan masalah salah jajaran dalam pengesanan objek 3D multimodal.

Artikel ini mencadangkan modul Penjajaran Ciri Graf (GFA) dan Penjajaran Ciri Perhatian Kendiri (SAFA) untuk mencapai penjajaran tepat ciri imej dan ciri awan titik, yang boleh meningkatkan lagi awan titik dan penjajaran ciri antara modaliti imej, dengan itu meningkatkan ketepatan pengesanan .

Dengan menjalankan eksperimen menggunakan dua penanda aras, KITTI dan nuScenes, kami membuktikan bahawa GraphAlign boleh meningkatkan ketepatan pengesanan awan titik dengan berkesan, terutamanya dalam pengesanan sasaran jarak jauh

Reka bentuk rangkaian:

Figure

Perbandingan strategi penjajaran

(a) Kaedah berasaskan unjuran boleh mewujudkan perhubungan antara ciri modal dengan cepat, tetapi mungkin mengalami salah penjajaran akibat ralat penderia. (b) Kaedah berasaskan perhatian mengekalkan maklumat semantik dengan penjajaran pembelajaran, tetapi mahal dari segi pengiraan. (c) GraphAlign yang dicadangkan dalam kertas ini menggunakan penjajaran ciri berasaskan graf untuk memadankan penjajaran yang lebih munasabah antara modaliti, dengan itu mengurangkan usaha pengiraan dan meningkatkan ketepatan.

Rajah 2. Rangka kerja GraphAlign.

Ditulis semula dalam bahasa Cina seperti berikut: Ia terdiri daripada modul penjajaran ciri graf (GFA) dan modul penjajaran ciri perhatian kendiri (SAFA). Modul GFA menerima ciri awan imej dan titik sebagai input, menggunakan matriks penentukuran unjuran untuk menukar kedudukan 3D kepada kedudukan piksel 2D, membina maklumat kejiranan setempat untuk mencari jiran terdekat dan menggabungkan ciri awan imej dan titik. Modul SAFA memodelkan hubungan kontekstual antara K jiran terdekat melalui mekanisme perhatian diri untuk meningkatkan kepentingan ciri bercantum, dan akhirnya memilih ciri yang paling mewakili

Rajah 3. Aliran pemprosesan GFA

( a) Ketepatan sensor ralat menyebabkan salah jajaran. (b) GFA mewujudkan hubungan kedekatan melalui graf dalam ciri awan titik. (c) Artikel ini memproyeksikan ciri awan titik pada ciri imej dan mendapatkan K jiran terdekat bagi ciri imej. (d) Kertas kerja ini melakukan gabungan satu-ke-banyak, khususnya, dengan menggabungkan setiap ciri awan titik individu dengan ciri imej jiran K untuk mencapai penjajaran yang lebih baik. .

Hasil eksperimen:

#🎜#

#🎜#

#🎜##🎜🎜 #

#🎜 . 🎜🎜#

Song, Z., Wei, H., Bai, L., Yang, L., & Jia, C. (2023 GraphAlign: Meningkatkan Penjajaran Ciri Tepat oleh padanan Graf untuk Pengesanan Objek 3D Berbilang Modal.

ArXiv. weixin.qq.com/s/eN6THT2azHvoleT1F6MoSw

Atas ialah kandungan terperinci Penjajaran ciri yang tepat untuk meningkatkan pengesanan objek 3D multimodal: Aplikasi GraphAlign. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!