Berbilang SOTA! OV-Uni3DETR: Meningkatkan kebolehgeneralisasian pengesanan 3D merentas kategori, adegan dan modaliti (Tsinghua & HKU)

Kertas kerja ini membincangkan bidang pengesanan objek 3D, terutamanya pengesanan objek 3D untuk Perbendaharaan Kata Terbuka. Dalam tugas pengesanan objek 3D tradisional, sistem perlu meramalkan penyetempatan kotak sempadan 3D dan label kategori semantik untuk objek dalam adegan sebenar, yang biasanya bergantung pada awan titik atau imej RGB. Walaupun teknologi pengesanan objek 2D berprestasi baik kerana keluasan dan kelajuannya, penyelidikan berkaitan menunjukkan bahawa pembangunan pengesanan universal 3D ketinggalan berbanding perbandingan. Pada masa ini, kebanyakan kaedah pengesanan objek 3D masih bergantung pada pembelajaran diselia sepenuhnya dan dihadkan oleh data beranotasi sepenuhnya di bawah mod input tertentu dan hanya boleh mengecam kategori yang muncul semasa latihan, sama ada dalam adegan dalaman atau luaran.

Makalah ini menunjukkan bahawa cabaran yang dihadapi oleh pengesanan objek universal 3D terutamanya termasuk: pengesan 3D sedia ada hanya boleh berfungsi dengan pengagregatan perbendaharaan kata tertutup, dan oleh itu hanya boleh mengesan kategori yang telah dilihat. Pengesanan objek 3D Open-Vocabulary sangat diperlukan untuk mengenal pasti dan mencari contoh objek kelas baharu yang tidak diperoleh semasa latihan. Set data pengesanan 3D sedia ada adalah terhad dalam saiz dan kategori berbanding set data 2D, yang mengehadkan keupayaan generalisasi dalam mencari objek baharu. Di samping itu, kekurangan model teks imej pra-latihan dalam domain 3D memburukkan lagi cabaran pengesanan 3D Perbendaharaan Kata Terbuka. Pada masa yang sama, terdapat kekurangan seni bina bersatu untuk pengesanan 3D berbilang modal, dan pengesan 3D sedia ada kebanyakannya direka untuk modaliti input tertentu (awan titik, imej RGB atau kedua-duanya), yang menghalang penggunaan data yang berkesan daripada modaliti dan pemandangan yang berbeza (dalam atau luar), dengan itu mengehadkan keupayaan generalisasi kepada sasaran baharu.

Untuk menyelesaikan masalah di atas, kertas kerja mencadangkan pengesan 3D berbilang modal bersatu yang dipanggil OV-Uni3DETR. Pengesan dapat memanfaatkan data berbilang modal dan berbilang sumber semasa latihan, termasuk awan titik, awan titik dengan anotasi kotak 3D yang tepat dan imej pengesanan 3D sejajar awan titik dan imej pengesanan 2D yang mengandungi hanya anotasi kotak 2D. Melalui kaedah pembelajaran pelbagai mod ini, OV-Uni3DETR dapat memproses data sebarang modaliti semasa inferens, mencapai penukaran modaliti semasa ujian, dan berprestasi baik dalam mengesan kategori asas dan kategori baharu. Struktur bersatu seterusnya membolehkan OV-Uni3DETR mengesan dalam pemandangan dalam dan luar, dengan keupayaan Perbendaharaan Kata Terbuka, dengan itu meningkatkan dengan ketara kesejagatan pengesan 3D merentas kategori, adegan dan modaliti.

Selain itu, menyasarkan kepada masalah bagaimana membuat generalisasi pengesan untuk mengenal pasti kategori baharu, dan cara belajar daripada sejumlah besar imej pengesanan 2D tanpa anotasi kotak 3D, kertas itu mencadangkan kaedah yang dipanggil perambatan mod berkala—— Melalui ini pendekatan, pengetahuan disebarkan antara modaliti 2D dan 3D untuk menangani kedua-dua cabaran. Melalui pendekatan ini, pengetahuan semantik yang kaya tentang pengesan 2D boleh disebarkan ke domain 3D untuk membantu dalam menemui kotak baharu, dan pengetahuan geometri pengesan 3D boleh digunakan untuk menyetempatkan objek dalam imej pengesanan 2D dan memadankan label pengelasan. melalui padanan.

Sumbangan utama kertas kerja termasuk mencadangkan pengesan 3D Perbendaharaan Kata Terbuka bersatu OV-Uni3DETR yang boleh mengesan mana-mana kategori sasaran dalam modaliti yang berbeza dan adegan yang pelbagai mencadangkan pengesan pelbagai mod bersatu untuk seni bina pemandangan dalaman dan luaran; konsep gelung penyebaran pengetahuan antara modaliti 2D dan 3D dicadangkan. Dengan inovasi ini, OV-Uni3DETR mencapai prestasi terkini pada berbilang tugas pengesanan 3D dan dengan ketara mengatasi kaedah sebelumnya dalam tetapan Perbendaharaan Kata Terbuka. Keputusan ini menunjukkan bahawa OV-Uni3DETR telah mengambil langkah penting untuk pembangunan masa depan model asas 3D.

Penjelasan terperinci tentang kaedah OV-Uni3DETR

Pembelajaran Berbilang Modal

Artikel ini memperkenalkan data pengesanan data 3D yang menyepadukan berbilang mod secara khusus Tingkatkan prestasi pengesanan. Rangka kerja ini boleh mengendalikan modaliti sensor tertentu yang mungkin hilang semasa inferens, iaitu, ia juga mempunyai keupayaan untuk menukar mod semasa ujian. Ciri daripada dua modaliti berbeza, termasuk ciri awan titik 3D dan ciri imej 2D, diekstrak dan disepadukan melalui struktur rangkaian tertentu Selepas pemprosesan unsur dan pemetaan parameter kamera, ciri ini digabungkan untuk tugas pengesanan sasaran seterusnya.

Perkara teknikal utama termasuk menggunakan lilitan 3D dan penormalan kelompok untuk menormalkan dan menyepadukan ciri mod yang berbeza untuk mengelakkan ketidakkonsistenan pada tahap ciri daripada menyebabkan mod tertentu diabaikan. Selain itu, strategi latihan menukar mod secara rawak memastikan model boleh memproses data secara fleksibel daripada hanya satu mod, dengan itu meningkatkan keteguhan dan kebolehsuaian model.

Akhirnya, seni bina menggunakan fungsi kehilangan komposit yang menggabungkan kerugian daripada ramalan kelas, regresi kotak sempadan 2D dan 3D, dan ramalan ketidakpastian untuk kehilangan regresi wajaran untuk mengoptimumkan keseluruhan proses pengesanan. Kaedah pembelajaran pelbagai mod ini bukan sahaja meningkatkan prestasi pengesanan kategori sedia ada, tetapi juga meningkatkan keupayaan generalisasi kepada kategori baharu dengan menggabungkan pelbagai jenis data. Seni bina berbilang modal akhirnya meramalkan label kelas, kotak 4D 2D dan kotak 7D 3D untuk pengesanan objek 2D dan 3D. Untuk regresi kotak 3D, kehilangan L1 dan kehilangan IoU yang dipisahkan digunakan; untuk regresi kotak 2D, kehilangan L1 dan kehilangan GIoU digunakan. Dalam tetapan Open-Vocabulary, terdapat sampel kategori baharu, yang meningkatkan kesukaran sampel latihan. Oleh itu, ramalan ketidakpastian diperkenalkan dan digunakan untuk menimbang kehilangan regresi L1. Kehilangan pembelajaran pengesanan objek ialah:

Untuk sesetengah adegan 3D, mungkin terdapat imej berbilang paparan dan bukannya imej monokular tunggal. Bagi setiap daripadanya, ciri imej diekstrak dan ditayangkan ke dalam ruang voxel menggunakan matriks unjuran masing-masing. Ciri imej berbilang dalam ruang voxel dijumlahkan untuk mendapatkan ciri multimodal. Pendekatan ini meningkatkan keupayaan generalisasi model kepada kategori baharu dan meningkatkan kebolehsuaian di bawah keadaan input yang pelbagai dengan menggabungkan maklumat daripada modaliti yang berbeza.

Penyebaran Pengetahuan: 2D—3D

Berdasarkan pembelajaran pelbagai mod yang diperkenalkan, kaedah yang dipanggil "Penyebaran Pengetahuan: " dilaksanakan untuk pengesanan 3D Perbendaharaan Kata Terbuka. Masalah teras pembelajaran Open-Vocabulary adalah untuk mengenal pasti kategori baharu yang belum dilabel secara manual semasa proses latihan. Disebabkan kesukaran untuk mendapatkan data awan titik, model bahasa visual yang telah dilatih belum lagi dibangunkan dalam medan awan titik. Perbezaan modal antara data awan titik dan imej RGB mengehadkan prestasi model ini dalam pengesanan 3D.

Untuk menyelesaikan masalah ini, adalah dicadangkan untuk menggunakan pengetahuan semantik pengesan Perbendaharaan Kata Terbuka 2D yang telah terlatih dan menjana kotak sempadan 3D yang sepadan untuk kategori baharu. Kotak 3D yang dijana ini akan melengkapkan label kebenaran tanah 3D terhad yang tersedia semasa latihan.

Secara khusus, jana kotak sempadan 2D atau topeng contoh menggunakan pengesan 2DOpen-Vocabulary. Memandangkan data dan anotasi yang tersedia dalam domain 2D adalah lebih kaya, kotak 2D yang dijana ini boleh mencapai ketepatan kedudukan yang lebih tinggi dan merangkumi julat kategori yang lebih luas. Kemudian, kotak 2D ini ditayangkan ke ruang 3D melalui untuk mendapatkan kotak 3D yang sepadan. Operasi khusus adalah menggunakan

untuk menayangkan titik 3D ke dalam ruang 2D, mencari titik dalam kotak 2D, dan kemudian kumpulkan titik ini dalam kotak 2D untuk menghapuskan outlier untuk mendapatkan kotak 3D yang sepadan. Disebabkan kehadiran pengesan 2D yang telah terlatih, objek tidak berlabel baharu boleh ditemui dalam set kotak 3D yang dijana. Dengan cara ini, pengesanan 3DOpen-Vocabulary sangat dipermudahkan oleh pengetahuan semantik yang kaya yang disebarkan daripada domain 2D ke kotak 3D yang dijana. Untuk imej berbilang paparan, kotak 3D dijana secara berasingan dan disepadukan bersama untuk kegunaan akhir.

Semasa inferens, apabila kedua-dua awan titik dan imej tersedia, kotak 3D boleh diekstrak dengan cara yang sama. Kotak 3D yang dijana ini juga boleh dianggap sebagai satu bentuk hasil pengesanan 3DOpen-Vocabulary. Kotak 3D ini ditambahkan pada ramalan pengubah 3D multimodal untuk menambah kemungkinan objek hilang dan menapis kotak sempadan yang bertindih melalui penindasan bukan maksimum (NMS) 3D. Skor keyakinan yang diberikan oleh pengesan 2D pra-latihan dibahagikan secara sistematik dengan pemalar yang telah ditetapkan dan kemudian ditafsir semula ke dalam skor keyakinan kotak 3D yang sepadan.

Eksperimen

Jadual menunjukkan prestasi OV-Uni3DETR untuk pengesanan objek Open-Vocabulary3D pada set data SUN RGB-D dan ScanNet. Tetapan percubaan adalah betul-betul sama seperti CoDA, dan data yang digunakan datang daripada kod CoDA yang dikeluarkan secara rasmi. Metrik prestasi termasuk ketepatan purata kelas baharu , ketepatan purata kelas asas dan semua ketepatan purata kelas . Jenis input termasuk awan titik (P), imej (I), dan gabungannya (P+I).

Menganalisis keputusan ini, kita boleh melihat perkara berikut:

1. Kelebihan input berbilang modal: Apabila menggunakan gabungan awan titik dan imej sebagai input, OV-Uni3DETR berprestasi baik pada semua metrik penilaian kedua-dua set data Ia mencapai markah tertinggi dalam semua kategori, terutamanya peningkatan paling ketara dalam ketepatan purata kategori baharu . Ini menunjukkan bahawa menggabungkan awan titik dan imej boleh meningkatkan dengan ketara keupayaan model untuk mengesan kelas yang tidak kelihatan, serta prestasi pengesanan keseluruhan.
2. Perbandingan dengan kaedah lain: Berbanding dengan kaedah berasaskan awan titik lain (seperti Det-PointCLIP, Det-PointCLIPv2, Det-CLIP, 3D-CLIP dan CoDA), OV-Uni3DETR mempamerkan prestasi unggul pada semua penilaian metrik Prestasi cemerlang. Ini menunjukkan keberkesanan OV-Uni3DETR dalam mengendalikan tugas pengesanan objek Open-Vocabulary3D, terutamanya dalam memanfaatkan pembelajaran pelbagai mod dan strategi penyebaran pengetahuan.
3. Perbandingan imej dan input awan titik: Walaupun prestasi OV-Uni3DETR hanya menggunakan imej (I) sebagai input adalah lebih rendah daripada menggunakan awan titik (P) sebagai input, ia masih menunjukkan keupayaan pengesanan yang baik. Ini membuktikan fleksibiliti dan kebolehsuaian seni bina OV-Uni3DETR kepada data modal tunggal, dan juga menekankan kepentingan menggabungkan berbilang data modal untuk meningkatkan prestasi pengesanan.
4. Prestasi pada kategori baharu: Prestasi OV-Uni3DETR pada ketepatan purata kategori baharu amat perlu diberi perhatian, yang amat penting untuk pengesanan Perbendaharaan Kata Terbuka. Pada set data SUN RGB-D, mencapai 12.96% apabila menggunakan titik awan dan input imej, dan mencapai 15.21% pada set data ScanNet, yang jauh lebih tinggi daripada kaedah lain, menunjukkan bahawa ia tidak mempunyai kesan pada proses latihan pengecaman keupayaan dalam kategori yang saya lihat.

Secara amnya, OV-Uni3DETR menunjukkan prestasi cemerlang pada tugas pengesanan objek Open-Vocabulary3D melalui seni bina pembelajaran pelbagai mod yang bersatu, terutamanya apabila menggabungkan awan titik dan data imej, ia boleh meningkatkan ketepatan pengesanan yang baharu dengan berkesan kategori membuktikan keberkesanan dan kepentingan input pelbagai modal dan strategi penyebaran pengetahuan.

Jadual ini menunjukkan prestasi OV-Uni3DETR untuk pengesanan objek Open-Vocabulary3D pada set data KITTI dan nuScenes, meliputi kategori yang telah dilihat (asas) dan tidak kelihatan (novel) semasa proses latihan. Untuk set data KITTI, kategori "kereta" dan "penunggang basikal" dilihat semasa latihan, manakala kategori "pejalan kaki" adalah novel. Prestasi diukur menggunakan metrik

pada kesukaran sederhana dan menggunakan 11 kedudukan panggil semula. Untuk set data nuScenes, "kereta, treler, kenderaan pembinaan, motosikal, basikal" ialah kategori yang dilihat, dan lima lagi adalah kategori yang tidak kelihatan. Selain penunjuk AP, NDS (NuScenes Detection Score) juga dilaporkan untuk menilai secara menyeluruh prestasi pengesanan.

Menganalisis keputusan ini membawa kepada kesimpulan berikut:

1. Kelebihan ketara input berbilang modal: Berbanding dengan kes menggunakan awan titik (P) atau imej (I) sahaja sebagai input, apabila menggunakan kedua-dua awan titik dan imej (P+I) sebagai input, OV - Uni3DETR menerima markah tertinggi pada semua metrik penilaian. Keputusan ini menyerlahkan kelebihan ketara pembelajaran pelbagai mod dalam meningkatkan keupayaan pengesanan untuk kategori yang tidak kelihatan dan prestasi pengesanan keseluruhan.
2. Keberkesanan pengesanan Perbendaharaan Kata Terbuka: OV-Uni3DETR menunjukkan prestasi cemerlang dalam mengendalikan kategori ghaib, terutamanya pada kategori "pejalan kaki" bagi set data KITTI dan kategori "novel" set data nuScenes. Ini menunjukkan bahawa model tersebut mempunyai keupayaan generalisasi yang kuat kepada kategori novel dan merupakan penyelesaian pengesanan Perbendaharaan Kata Terbuka yang berkesan.
3. Perbandingan dengan kaedah lain: Berbanding dengan kaedah berasaskan awan titik lain (seperti Det-PointCLIP, Det-PointCLIPv2 dan 3D-CLIP), OV-Uni3DETR menunjukkan peningkatan prestasi yang ketara, kedua-duanya dalam Pada pengesanan yang dilihat atau tidak kelihatan kategori. Ini menunjukkan kemajuannya dalam mengendalikan tugas pengesanan objek Open-Vocabulary3D.
4. Perbandingan input imej dan input awan titik: Walaupun prestasi penggunaan input imej adalah lebih rendah sedikit daripada menggunakan input awan titik, input imej masih mampu memberikan ketepatan pengesanan yang agak tinggi, yang menunjukkan kebolehsuaian OV-Uni3DETR seni bina dan fleksibiliti.
5. Indeks penilaian komprehensif: Ia dapat dilihat daripada keputusan indeks penilaian NDS bahawa OV-Uni3DETR bukan sahaja berprestasi baik dalam ketepatan pengecaman, tetapi juga mencapai skor tinggi dalam kualiti pengesanan keseluruhan, terutamanya apabila digabungkan dengan awan titik dan imej data.

OV-Uni3DETR menunjukkan prestasi cemerlang pada pengesanan objek Open-Vocabulary3D, terutamanya dalam mengendalikan kategori ghaib dan data berbilang modal. Keputusan ini mengesahkan keberkesanan input pelbagai mod dan strategi penyebaran pengetahuan, serta potensi OV-Uni3DETR dalam meningkatkan keupayaan generalisasi tugas pengesanan objek 3D.

Perbincangan

Kertas kerja ini membawa kemajuan yang ketara kepada bidang pengesanan objek 3D Perbendaharaan Kata Terbuka dengan mencadangkan OV-Uni3DETR, pengesan 3D pelbagai mod bersatu. Kaedah ini menggunakan data berbilang mod (awan titik dan imej) untuk meningkatkan prestasi pengesanan, dan secara berkesan mengembangkan keupayaan pengecaman model untuk kategori yang tidak kelihatan melalui strategi penyebaran pengetahuan 2D hingga 3D. Keputusan percubaan pada berbilang set data awam menunjukkan prestasi cemerlang OV-Uni3DETR pada kategori baharu dan kategori asas, terutamanya apabila menggabungkan awan titik dan input imej, yang boleh meningkatkan keupayaan pengesanan kategori baharu dengan ketara pada masa yang sama Prestasi pengesanan keseluruhan juga telah mencapai ketinggian baru.

Dari segi kelebihan, OV-Uni3DETR pertama kali menunjukkan potensi pembelajaran pelbagai mod dalam meningkatkan prestasi pengesanan sasaran 3D. Dengan menyepadukan awan titik dan data imej, model ini dapat mempelajari ciri pelengkap daripada setiap modaliti, membolehkan pengesanan yang lebih tepat pada adegan kaya dan kategori sasaran yang pelbagai. Kedua, dengan memperkenalkan mekanisme pemindahan pengetahuan 2D kepada 3D, OV-Uni3DETR dapat menggunakan data imej 2D yang kaya dan model pengesanan 2D yang telah terlatih untuk mengenal pasti dan mencari kategori baharu yang belum dilihat semasa proses latihan, yang sangat meningkatkan generalisasi keupayaan model. Di samping itu, kaedah ini menunjukkan keupayaan berkuasa dalam memproses pengesanan Perbendaharaan Kata Terbuka, membawa arah penyelidikan baharu dan aplikasi yang berpotensi ke dalam bidang pengesanan 3D.

Dari segi keburukan, walaupun OV-Uni3DETR telah menunjukkan kelebihannya dalam banyak aspek, terdapat juga beberapa batasan yang berpotensi. Pertama, walaupun pembelajaran pelbagai mod boleh meningkatkan prestasi, ia juga meningkatkan kerumitan pemerolehan dan pemprosesan data Terutamanya dalam aplikasi praktikal, penyegerakan dan pendaftaran data modal yang berbeza mungkin menimbulkan cabaran. Kedua, walaupun strategi penyebaran pengetahuan boleh menggunakan data 2D secara berkesan untuk membantu pengesanan 3D, kaedah ini mungkin bergantung pada model pengesanan 2D berkualiti tinggi dan teknologi penjajaran 3D-2D yang tepat, yang mungkin sukar untuk dijamin dalam beberapa persekitaran yang kompleks. Selain itu, untuk beberapa kategori yang sangat jarang berlaku, pengesanan Perbendaharaan Kata Terbuka mungkin menghadapi cabaran ketepatan pengecaman, yang memerlukan penyelidikan lanjut untuk diselesaikan.

OV-Uni3DETR telah mencapai kemajuan yang ketara dalam pengesanan objek Open-Vocabulary3D melalui pembelajaran pelbagai mod yang inovatif dan strategi penyebaran pengetahuan. Walaupun terdapat beberapa batasan yang berpotensi, kelebihannya menunjukkan potensi besar kaedah ini dalam menggalakkan pembangunan dan pengembangan aplikasi teknologi pemeriksaan 3D. Penyelidikan masa depan boleh meneroka lebih lanjut cara untuk mengatasi batasan ini dan cara menggunakan strategi ini untuk pelbagai tugas persepsi 3D yang lebih luas.

Kesimpulan

Dalam kertas kerja ini, kami terutamanya mencadangkan OV-Uni3DETR, pengesan 3D perbendaharaan kata terbuka pelbagai mod bersatu. Dengan bantuan pembelajaran pelbagai mod dan penyebaran pengetahuan mod kitaran, OV-Uni3DETR kami boleh mengenal pasti dan mencari kelas baharu dengan baik, mencapai penyatuan ragam dan penyatuan adegan. Percubaan menunjukkan keupayaan kukuhnya dalam kedua-dua persekitaran perbendaharaan kata terbuka dan tertutup, kedua-dua adegan dalaman dan luaran, dan dalam sebarang input data modal. Dengan mensasarkan pengesanan 3D perbendaharaan kata terbuka bersatu dalam persekitaran multimodal, kami percaya kajian kami akan memacu penyelidikan seterusnya sepanjang arah visi komputer 3D umum yang menjanjikan tetapi mencabar.

Atas ialah kandungan terperinci Berbilang SOTA! OV-Uni3DETR: Meningkatkan kebolehgeneralisasian pengesanan 3D merentas kategori, adegan dan modaliti (Tsinghua & HKU). Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!