


Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D
kertas arXiv "Menyatukan Perwakilan berasaskan Voxel dengan Transformer untuk Pengesanan Objek 3D", 22 Jun, Universiti China Hong Kong, Universiti Hong Kong, Teknologi Megvii (sebagai ingatan Dr. Sun Jian) dan Teknologi Simou, dll.
Kertas kerja ini mencadangkan rangka kerja pengesanan objek 3-D berbilang mod bersatu, dipanggil UVTR. Kaedah ini bertujuan untuk menyatukan perwakilan berbilang mod ruang voxel dan membolehkan pengesanan 3-D mod tunggal atau rentas mod tunggal yang tepat dan mantap. Untuk tujuan ini, ruang khusus modaliti direka bentuk untuk mewakili input yang berbeza kepada ruang ciri voxel. Kekalkan ruang voxel tanpa pemampatan ketinggian, mengurangkan kekaburan semantik dan membolehkan interaksi spatial. Berdasarkan pendekatan bersatu ini, interaksi rentas modal dicadangkan untuk menggunakan sepenuhnya ciri-ciri sedia ada bagi penderia yang berbeza, termasuk pemindahan pengetahuan dan gabungan modal. Dengan cara ini, ekspresi awan titik yang sedar geometri dan ciri kaya konteks dalam imej boleh dieksploitasi dengan baik, menghasilkan prestasi dan keteguhan yang lebih baik.
Penyahkod pengubah digunakan untuk mencuba ciri secara cekap daripada ruang bersatu dengan lokasi yang boleh dipelajari, yang memudahkan interaksi peringkat objek. Secara umumnya, UVTR mewakili percubaan awal untuk mewakili modaliti yang berbeza dalam rangka kerja yang bersatu, mengatasi prestasi sebelumnya pada input modal tunggal dan berbilang modal, mencapai prestasi terkemuka pada set ujian nuScenes, lidar, kamera dan NDS keluaran berbilang modal. ialah 69.7%, 55.1% dan 71.1% masing-masing.
Kod:https://github.com/dvlab-research/UVTR.
Seperti yang ditunjukkan dalam rajah:
Dalam proses penyatuan perwakilan, ia boleh dibahagikan secara kasar kepada perwakilan aliran peringkat input dan aliran peringkat ciri. Untuk pendekatan pertama, data multimodal diselaraskan pada permulaan rangkaian. Khususnya, awan titik pseudo dalam (a) ditukar daripada imej bantuan kedalaman yang diramalkan, manakala imej paparan julat dalam (b) diunjurkan daripada awan titik. Disebabkan oleh ketidaktepatan kedalaman dalam awan titik pseudo dan keruntuhan geometri 3-D dalam imej paparan julat, struktur spatial data dimusnahkan, yang membawa kepada hasil yang buruk. Untuk kaedah peringkat ciri, kaedah biasa ialah menukar ciri imej kepada frustum dan kemudian memampatkannya ke dalam ruang BEV, seperti ditunjukkan dalam Rajah (c). Walau bagaimanapun, disebabkan trajektori seperti sinarnya, maklumat ketinggian (ketinggian) mampatan pada setiap kedudukan mengagregatkan ciri pelbagai sasaran, sekali gus memperkenalkan kekaburan semantik. Pada masa yang sama, pendekatan tersiratnya sukar untuk menyokong interaksi ciri eksplisit dalam ruang 3-D dan mengehadkan pemindahan pengetahuan selanjutnya. Oleh itu, perwakilan yang lebih bersatu diperlukan untuk merapatkan jurang modal dan memudahkan interaksi pelbagai rupa.
Rangka kerja yang dicadangkan dalam artikel ini menyatukan perwakilan berasaskan voxel dan pengubah. Khususnya, perwakilan ciri dan interaksi imej dan awan titik dalam ruang eksplisit berasaskan voxel. Untuk imej, ruang voxel dibina dengan ciri pensampelan dari satah imej mengikut kedalaman yang diramalkan dan kekangan geometri, seperti ditunjukkan dalam Rajah (d). Untuk awan titik, lokasi yang tepat secara semula jadi membolehkan ciri dikaitkan dengan voxel. Kemudian, pengekod voxel diperkenalkan untuk interaksi spatial untuk mewujudkan hubungan antara ciri bersebelahan. Dengan cara ini, interaksi rentas modal diteruskan secara semula jadi dengan ciri dalam setiap ruang voxel. Untuk interaksi peringkat sasaran, pengubah boleh ubah bentuk digunakan sebagai penyahkod untuk mencontohi ciri khusus pertanyaan sasaran pada setiap kedudukan (x, y, z) dalam ruang voxel bersatu, seperti yang ditunjukkan dalam Rajah (d). Pada masa yang sama, pengenalan kedudukan pertanyaan 3-D dengan berkesan mengurangkan kekaburan semantik yang disebabkan oleh mampatan maklumat ketinggian (ketinggian) dalam ruang BEV.
Seperti yang ditunjukkan dalam rajah ialah seni bina UVTR bagi input berbilang modal: diberikan bingkai tunggal atau imej berbilang bingkai dan awan titik, ia mula-mula diproses dalam tulang belakang tunggal dan ditukarkan kepada spatial VI khusus modaliti dan VP, di mana transformasi paparan digunakan untuk imej. Dalam pengekod voxel, ciri berinteraksi secara spatial, dan pemindahan pengetahuan mudah disokong semasa latihan. Bergantung pada tetapan, pilih ciri mod tunggal atau berbilang modal melalui suis modal. Akhir sekali, ciri diambil sampel daripada VU spatial bersatu dengan lokasi yang boleh dipelajari dan diramalkan menggunakan penyahkod pengubah.
Gambar menunjukkan butiran transformasi pandangan:
Gambar menunjukkan butiran pemindahan pengetahuan:
Keputusan percubaan adalah seperti berikut:
Atas ialah kandungan terperinci Transformer menyatukan perwakilan berasaskan voxel untuk pengesanan objek 3D. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Menilai kos/prestasi sokongan komersial untuk rangka kerja Java melibatkan langkah-langkah berikut: Tentukan tahap jaminan yang diperlukan dan jaminan perjanjian tahap perkhidmatan (SLA). Pengalaman dan kepakaran pasukan sokongan penyelidikan. Pertimbangkan perkhidmatan tambahan seperti peningkatan, penyelesaian masalah dan pengoptimuman prestasi. Timbang kos sokongan perniagaan terhadap pengurangan risiko dan peningkatan kecekapan.

Rangka kerja PHP yang ringan meningkatkan prestasi aplikasi melalui saiz kecil dan penggunaan sumber yang rendah. Ciri-cirinya termasuk: saiz kecil, permulaan pantas, penggunaan memori yang rendah, kelajuan dan daya tindak balas yang dipertingkatkan, dan penggunaan sumber yang dikurangkan: SlimFramework mencipta API REST, hanya 500KB, responsif yang tinggi dan daya pemprosesan yang tinggi.

Menulis dokumentasi yang jelas dan komprehensif adalah penting untuk rangka kerja Golang. Amalan terbaik termasuk mengikut gaya dokumentasi yang ditetapkan, seperti Panduan Gaya Pengekodan Google. Gunakan struktur organisasi yang jelas, termasuk tajuk, subtajuk dan senarai, serta sediakan navigasi. Menyediakan maklumat yang komprehensif dan tepat, termasuk panduan permulaan, rujukan API dan konsep. Gunakan contoh kod untuk menggambarkan konsep dan penggunaan. Pastikan dokumentasi dikemas kini, jejak perubahan dan dokumen ciri baharu. Sediakan sokongan dan sumber komuniti seperti isu dan forum GitHub. Buat contoh praktikal, seperti dokumentasi API.

Pilih rangka kerja Go terbaik berdasarkan senario aplikasi: pertimbangkan jenis aplikasi, ciri bahasa, keperluan prestasi dan ekosistem. Rangka kerja Common Go: Gin (aplikasi Web), Echo (Perkhidmatan Web), Fiber (daya pemprosesan tinggi), gorm (ORM), fasthttp (kelajuan). Kes praktikal: membina REST API (Fiber) dan berinteraksi dengan pangkalan data (gorm). Pilih rangka kerja: pilih fasthttp untuk prestasi utama, Gin/Echo untuk aplikasi web yang fleksibel, dan gorm untuk interaksi pangkalan data.

Keluk pembelajaran rangka kerja PHP bergantung pada kecekapan bahasa, kerumitan rangka kerja, kualiti dokumentasi dan sokongan komuniti. Keluk pembelajaran rangka kerja PHP adalah lebih tinggi jika dibandingkan dengan rangka kerja Python dan lebih rendah jika dibandingkan dengan rangka kerja Ruby. Berbanding dengan rangka kerja Java, rangka kerja PHP mempunyai keluk pembelajaran yang sederhana tetapi masa yang lebih singkat untuk bermula.

RedMagic Tablet 3D Explorer Edition telah dilancarkan bersama Gaming Tablet Pro. Walau bagaimanapun, sementara yang kedua lebih kepada pemain, yang pertama lebih menjurus kepada hiburan. Tablet Android baharu mempunyai apa yang syarikat panggil sebagai "3D&qu

Dalam pembangunan rangka kerja Go, cabaran biasa dan penyelesaiannya ialah: Pengendalian ralat: Gunakan pakej ralat untuk pengurusan dan gunakan perisian tengah untuk mengendalikan ralat secara berpusat. Pengesahan dan kebenaran: Sepadukan perpustakaan pihak ketiga dan cipta perisian tengah tersuai untuk menyemak bukti kelayakan. Pemprosesan serentak: Gunakan goroutine, mutex dan saluran untuk mengawal akses sumber. Ujian unit: Gunakan pakej, olok-olok dan stub untuk pengasingan dan alat liputan kod untuk memastikan kecukupan. Penerapan dan pemantauan: Gunakan bekas Docker untuk membungkus penggunaan, menyediakan sandaran data dan menjejak prestasi dan ralat dengan alat pengelogan dan pemantauan.

Apabila memilih rangka kerja Go, penunjuk prestasi utama (KPI) termasuk: masa tindak balas, pemprosesan, konkurensi dan penggunaan sumber. Dengan menanda aras dan membandingkan KPI rangka kerja, pembangun boleh membuat pilihan termaklum berdasarkan keperluan aplikasi, dengan mengambil kira beban yang dijangkakan, bahagian kritikal prestasi dan kekangan sumber.
