Rumah Peranti teknologi AI Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D

Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D

Apr 08, 2023 pm 09:41 PM
bingkai 3d

kertas arXiv "Menyatukan Perwakilan berasaskan Voxel dengan Transformer untuk Pengesanan Objek 3D", 22 Jun, Universiti China Hong Kong, Universiti Hong Kong, Teknologi Megvii (sebagai ingatan Dr. Sun Jian) ​​dan Teknologi Simou, dll.

Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D

Kertas kerja ini mencadangkan rangka kerja pengesanan objek 3-D berbilang mod bersatu, dipanggil UVTR. Kaedah ini bertujuan untuk menyatukan perwakilan berbilang mod ruang voxel dan membolehkan pengesanan 3-D mod tunggal atau rentas mod tunggal yang tepat dan mantap. Untuk tujuan ini, ruang khusus modaliti direka bentuk untuk mewakili input yang berbeza kepada ruang ciri voxel. Kekalkan ruang voxel tanpa pemampatan ketinggian, mengurangkan kekaburan semantik dan membolehkan interaksi spatial. Berdasarkan pendekatan bersatu ini, interaksi rentas modal dicadangkan untuk menggunakan sepenuhnya ciri-ciri sedia ada bagi penderia yang berbeza, termasuk pemindahan pengetahuan dan gabungan modal. Dengan cara ini, ekspresi awan titik yang sedar geometri dan ciri kaya konteks dalam imej boleh dieksploitasi dengan baik, menghasilkan prestasi dan keteguhan yang lebih baik.

Penyahkod pengubah digunakan untuk mencuba ciri secara cekap daripada ruang bersatu dengan lokasi yang boleh dipelajari, yang memudahkan interaksi peringkat objek. Secara umumnya, UVTR mewakili percubaan awal untuk mewakili modaliti yang berbeza dalam rangka kerja yang bersatu, mengatasi prestasi sebelumnya pada input modal tunggal dan berbilang modal, mencapai prestasi terkemuka pada set ujian nuScenes, lidar, kamera dan NDS keluaran berbilang modal. ialah 69.7%, 55.1% dan 71.1% masing-masing.

Kod:https://github.com/dvlab-research/UVTR.

Seperti yang ditunjukkan dalam rajah:

Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D

Dalam proses penyatuan perwakilan, ia boleh dibahagikan secara kasar kepada perwakilan aliran peringkat input dan aliran peringkat ciri. Untuk pendekatan pertama, data multimodal diselaraskan pada permulaan rangkaian. Khususnya, awan titik pseudo dalam (a) ditukar daripada imej bantuan kedalaman yang diramalkan, manakala imej paparan julat dalam (b) diunjurkan daripada awan titik. Disebabkan oleh ketidaktepatan kedalaman dalam awan titik pseudo dan keruntuhan geometri 3-D dalam imej paparan julat, struktur spatial data dimusnahkan, yang membawa kepada hasil yang buruk. Untuk kaedah peringkat ciri, kaedah biasa ialah menukar ciri imej kepada frustum dan kemudian memampatkannya ke dalam ruang BEV, seperti ditunjukkan dalam Rajah (c). Walau bagaimanapun, disebabkan trajektori seperti sinarnya, maklumat ketinggian (ketinggian) mampatan pada setiap kedudukan mengagregatkan ciri pelbagai sasaran, sekali gus memperkenalkan kekaburan semantik. Pada masa yang sama, pendekatan tersiratnya sukar untuk menyokong interaksi ciri eksplisit dalam ruang 3-D dan mengehadkan pemindahan pengetahuan selanjutnya. Oleh itu, perwakilan yang lebih bersatu diperlukan untuk merapatkan jurang modal dan memudahkan interaksi pelbagai rupa.

Rangka kerja yang dicadangkan dalam artikel ini menyatukan perwakilan berasaskan voxel dan pengubah. Khususnya, perwakilan ciri dan interaksi imej dan awan titik dalam ruang eksplisit berasaskan voxel. Untuk imej, ruang voxel dibina dengan ciri pensampelan dari satah imej mengikut kedalaman yang diramalkan dan kekangan geometri, seperti ditunjukkan dalam Rajah (d). Untuk awan titik, lokasi yang tepat secara semula jadi membolehkan ciri dikaitkan dengan voxel. Kemudian, pengekod voxel diperkenalkan untuk interaksi spatial untuk mewujudkan hubungan antara ciri bersebelahan. Dengan cara ini, interaksi rentas modal diteruskan secara semula jadi dengan ciri dalam setiap ruang voxel. Untuk interaksi peringkat sasaran, pengubah boleh ubah bentuk digunakan sebagai penyahkod untuk mencontohi ciri khusus pertanyaan sasaran pada setiap kedudukan (x, y, z) dalam ruang voxel bersatu, seperti yang ditunjukkan dalam Rajah (d). Pada masa yang sama, pengenalan kedudukan pertanyaan 3-D dengan berkesan mengurangkan kekaburan semantik yang disebabkan oleh mampatan maklumat ketinggian (ketinggian) dalam ruang BEV.

Seperti yang ditunjukkan dalam rajah ialah seni bina UVTR bagi input berbilang modal: diberikan bingkai tunggal atau imej berbilang bingkai dan awan titik, ia mula-mula diproses dalam tulang belakang tunggal dan ditukarkan kepada spatial VI khusus modaliti dan VP, di mana transformasi paparan digunakan untuk imej. Dalam pengekod voxel, ciri berinteraksi secara spatial, dan pemindahan pengetahuan mudah disokong semasa latihan. Bergantung pada tetapan, pilih ciri mod tunggal atau berbilang modal melalui suis modal. Akhir sekali, ciri diambil sampel daripada VU spatial bersatu dengan lokasi yang boleh dipelajari dan diramalkan menggunakan penyahkod pengubah.

Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D

Gambar menunjukkan butiran transformasi pandangan:

Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D

Gambar menunjukkan butiran pemindahan pengetahuan:

Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D

Keputusan percubaan adalah seperti berikut:

Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D

Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D

Atas ialah kandungan terperinci Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Repo: Cara menghidupkan semula rakan sepasukan
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Cara mendapatkan biji gergasi
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Bagaimana untuk menilai keberkesanan kos sokongan komersial untuk rangka kerja Java Bagaimana untuk menilai keberkesanan kos sokongan komersial untuk rangka kerja Java Jun 05, 2024 pm 05:25 PM

Menilai kos/prestasi sokongan komersial untuk rangka kerja Java melibatkan langkah-langkah berikut: Tentukan tahap jaminan yang diperlukan dan jaminan perjanjian tahap perkhidmatan (SLA). Pengalaman dan kepakaran pasukan sokongan penyelidikan. Pertimbangkan perkhidmatan tambahan seperti peningkatan, penyelesaian masalah dan pengoptimuman prestasi. Timbang kos sokongan perniagaan terhadap pengurangan risiko dan peningkatan kecekapan.

Bagaimanakah pilihan rangka kerja PHP yang ringan mempengaruhi prestasi aplikasi? Bagaimanakah pilihan rangka kerja PHP yang ringan mempengaruhi prestasi aplikasi? Jun 06, 2024 am 10:53 AM

Rangka kerja PHP yang ringan meningkatkan prestasi aplikasi melalui saiz kecil dan penggunaan sumber yang rendah. Ciri-cirinya termasuk: saiz kecil, permulaan pantas, penggunaan memori yang rendah, kelajuan dan daya tindak balas yang dipertingkatkan, dan penggunaan sumber yang dikurangkan: SlimFramework mencipta API REST, hanya 500KB, responsif yang tinggi dan daya pemprosesan yang tinggi.

Amalan terbaik dokumentasi rangka kerja Golang Amalan terbaik dokumentasi rangka kerja Golang Jun 04, 2024 pm 05:00 PM

Menulis dokumentasi yang jelas dan komprehensif adalah penting untuk rangka kerja Golang. Amalan terbaik termasuk mengikut gaya dokumentasi yang ditetapkan, seperti Panduan Gaya Pengekodan Google. Gunakan struktur organisasi yang jelas, termasuk tajuk, subtajuk dan senarai, serta sediakan navigasi. Menyediakan maklumat yang komprehensif dan tepat, termasuk panduan permulaan, rujukan API dan konsep. Gunakan contoh kod untuk menggambarkan konsep dan penggunaan. Pastikan dokumentasi dikemas kini, jejak perubahan dan dokumen ciri baharu. Sediakan sokongan dan sumber komuniti seperti isu dan forum GitHub. Buat contoh praktikal, seperti dokumentasi API.

Bagaimana untuk memilih rangka kerja golang terbaik untuk senario aplikasi yang berbeza Bagaimana untuk memilih rangka kerja golang terbaik untuk senario aplikasi yang berbeza Jun 05, 2024 pm 04:05 PM

Pilih rangka kerja Go terbaik berdasarkan senario aplikasi: pertimbangkan jenis aplikasi, ciri bahasa, keperluan prestasi dan ekosistem. Rangka kerja Common Go: Gin (aplikasi Web), Echo (Perkhidmatan Web), Fiber (daya pemprosesan tinggi), gorm (ORM), fasthttp (kelajuan). Kes praktikal: membina REST API (Fiber) dan berinteraksi dengan pangkalan data (gorm). Pilih rangka kerja: pilih fasthttp untuk prestasi utama, Gin/Echo untuk aplikasi web yang fleksibel, dan gorm untuk interaksi pangkalan data.

Bagaimanakah keluk pembelajaran rangka kerja PHP berbanding rangka kerja bahasa lain? Bagaimanakah keluk pembelajaran rangka kerja PHP berbanding rangka kerja bahasa lain? Jun 06, 2024 pm 12:41 PM

Keluk pembelajaran rangka kerja PHP bergantung pada kecekapan bahasa, kerumitan rangka kerja, kualiti dokumentasi dan sokongan komuniti. Keluk pembelajaran rangka kerja PHP adalah lebih tinggi jika dibandingkan dengan rangka kerja Python dan lebih rendah jika dibandingkan dengan rangka kerja Ruby. Berbanding dengan rangka kerja Java, rangka kerja PHP mempunyai keluk pembelajaran yang sederhana tetapi masa yang lebih singkat untuk bermula.

RedMagic Tablet 3D Explorer Edition menampilkan paparan 3D tanpa cermin mata RedMagic Tablet 3D Explorer Edition menampilkan paparan 3D tanpa cermin mata Sep 06, 2024 am 06:45 AM

RedMagic Tablet 3D Explorer Edition telah dilancarkan bersama Gaming Tablet Pro. Walau bagaimanapun, sementara yang kedua lebih kepada pemain, yang pertama lebih menjurus kepada hiburan. Tablet Android baharu mempunyai apa yang syarikat panggil sebagai "3D&qu

Penjelasan praktikal terperinci pembangunan rangka kerja golang: Soalan dan Jawapan Penjelasan praktikal terperinci pembangunan rangka kerja golang: Soalan dan Jawapan Jun 06, 2024 am 10:57 AM

Dalam pembangunan rangka kerja Go, cabaran biasa dan penyelesaiannya ialah: Pengendalian ralat: Gunakan pakej ralat untuk pengurusan dan gunakan perisian tengah untuk mengendalikan ralat secara berpusat. Pengesahan dan kebenaran: Sepadukan perpustakaan pihak ketiga dan cipta perisian tengah tersuai untuk menyemak bukti kelayakan. Pemprosesan serentak: Gunakan goroutine, mutex dan saluran untuk mengawal akses sumber. Ujian unit: Gunakan pakej, olok-olok dan stub untuk pengasingan dan alat liputan kod untuk memastikan kecukupan. Penerapan dan pemantauan: Gunakan bekas Docker untuk membungkus penggunaan, menyediakan sandaran data dan menjejak prestasi dan ralat dengan alat pengelogan dan pemantauan.

Perbandingan prestasi rangka kerja Golang: metrik untuk membuat pilihan bijak Perbandingan prestasi rangka kerja Golang: metrik untuk membuat pilihan bijak Jun 05, 2024 pm 10:02 PM

Apabila memilih rangka kerja Go, penunjuk prestasi utama (KPI) termasuk: masa tindak balas, pemprosesan, konkurensi dan penggunaan sumber. Dengan menanda aras dan membandingkan KPI rangka kerja, pembangun boleh membuat pilihan termaklum berdasarkan keperluan aplikasi, dengan mengambil kira beban yang dijangkakan, bahagian kritikal prestasi dan kekangan sumber.

See all articles