Jadual Kandungan
Ditulis di atas & pemahaman peribadi pengarang
Permulaan LiDAR
Penguraian Warna
Kehilangan latihan
Kesimpulan
Rumah Peranti teknologi AI Dilahirkan untuk pemanduan autonomi, Lightning NeRF: 10 kali lebih pantas

Dilahirkan untuk pemanduan autonomi, Lightning NeRF: 10 kali lebih pantas

Mar 19, 2024 pm 06:19 PM
Pemanduan autonomi laser

Ditulis di atas & pemahaman peribadi pengarang

Penyelidikan terkini telah menekankan prospek aplikasi NeRF dalam persekitaran pemanduan autonomi. Walau bagaimanapun, kerumitan persekitaran luar, ditambah dengan sudut pandangan terhad dalam adegan memandu, merumitkan tugas membina semula geometri pemandangan dengan tepat. Cabaran ini selalunya mengakibatkan kualiti pembinaan semula berkurangan dan tempoh latihan dan persembahan yang lebih lama. Untuk menangani cabaran ini, kami melancarkan Lightning NeRF. Ia menggunakan perwakilan pemandangan hibrid yang cekap yang mengeksploitasi secara berkesan geometri lidar dalam senario pemanduan autonomi. Lightning NeRF meningkatkan prestasi sintesis paparan novel NeRF dengan ketara dan mengurangkan overhed pengiraan. Melalui penilaian pada set data dunia sebenar seperti KITTI-360, Argoverse2 dan set data peribadi kami, kami menunjukkan bahawa kaedah kami bukan sahaja mengatasi mutu terkini dalam kualiti sintesis paparan baharu, tetapi juga meningkatkan kelajuan latihan Lima kali lebih pantas, dan sepuluh kali lebih pantas rendering. Pautan Kod H: https://gision-sjtu/lightning-insf

为自动驾驶而生,Lightning NeRF:速度提升10倍 Penjelasan terperinci tentang Lightning Nerf

preliminaries

为自动驾驶而生,Lightning NeRF:速度提升10倍 Penjelasan terperinci tentang Lightning Nerf

preliminaries为自动驾驶而生,Lightning NeRF:速度提升10倍

difungsikan mengikut fungsi, biasanya disyariatkan oleh fungsi yang diselaraskan oleh parameter seperti itu, biasanya disyariatkan oleh fungsi yang diselaraskan. MLP. Ia mampu mengembalikan nilai warna c dan ramalan ketumpatan volum σ titik 3D x dalam pemandangan berdasarkan arah tontonan d. 为自动驾驶而生,Lightning NeRF:速度提升10倍

Untuk memaparkan piksel, NeRF menggunakan pensampelan volum hierarki untuk menjana satu siri titik sepanjang sinar r, dan kemudian menggabungkan ciri ketumpatan dan warna yang diramalkan di lokasi ini melalui pengumpulan.

Walaupun NeRF berprestasi baik dalam sintesis perspektif baharu, masa latihannya yang panjang dan kelajuan pemaparan perlahan disebabkan terutamanya oleh ketidakcekapan strategi pensampelan. Untuk meningkatkan kecekapan model, kami mengekalkan penghunian grid kasar semasa latihan dan hanya lokasi sampel dalam jumlah yang diduduki. Strategi pensampelan ini serupa dengan kerja sedia ada dan membantu meningkatkan prestasi model dan mempercepatkan latihan.

Perwakilan Adegan Hibrid

为自动驾驶而生,Lightning NeRF:速度提升10倍Perwakilan volum hibrid telah dioptimumkan dan dipaparkan dengan cepat menggunakan model kompak. Memandangkan ini, kami menggunakan perwakilan grid voxel hibrid untuk memodelkan medan sinaran untuk meningkatkan kecekapan. Secara ringkas, kami secara eksplisit memodelkan ketumpatan isipadu dengan menyimpan σ pada bucu mesh, sambil menggunakan MLP cetek untuk secara tersirat menyahkod warna yang dibenamkan f ke dalam warna akhir c. Untuk mengendalikan sifat persekitaran luar tanpa sempadan, kami membahagikan perwakilan pemandangan kepada dua bahagian, latar depan dan latar belakang, seperti yang ditunjukkan dalam Rajah 2. Khususnya, kami memeriksa frustum kamera dalam setiap bingkai daripada jujukan trajektori dan mentakrifkan kotak sempadan latar depan supaya ia membalut rapat semua frustum dalam sistem koordinat sejajar. Kotak latar belakang diperoleh dengan menaikkan skala kotak latar depan di sepanjang setiap dimensi.

Perwakilan grid voxel. Perwakilan jaringan voxel secara eksplisit menyimpan sifat pemandangan (cth., ketumpatan, warna RGB atau ciri) dalam bucu jejaringnya untuk menyokong pertanyaan ciri yang cekap. Dengan cara ini, untuk kedudukan 3D yang diberikan, kita boleh menyahkod atribut yang sepadan melalui interpolasi trilinear:

🎜🎜🎜foreground🎜. Kami membina dua jerat ciri bebas untuk memodelkan ketumpatan dan pembenaman warna kawasan latar depan. Khususnya, pemetaan jejaring ketumpatan memetakan kedudukan ke dalam skalar ketumpatan σ untuk pemaparan isipadu. Untuk pemetaan jejaring tertanam warna, kami membuat instantitet berbilang jejaring voxel pada sandaran resolusi berbeza melalui jadual cincang untuk mendapatkan butiran yang lebih halus dengan overhed memori yang berpatutan. Benam warna akhir f diperoleh dengan menggabungkan output pada tahap resolusi L. 🎜🎜Latar Belakang Walaupun pemodelan latar depan yang dinyatakan sebelum ini berfungsi untuk medan sinaran peringkat objek, memanjangkannya kepada pemandangan luar yang tidak terhad bukanlah perkara remeh. Beberapa teknik yang berkaitan, seperti NGP, terus memanjangkan kotak sempadan adegan mereka supaya kawasan latar belakang boleh disertakan, manakala GANcraft dan URF memperkenalkan sinaran latar belakang sfera untuk menangani masalah ini. Walau bagaimanapun, percubaan bekas itu mengakibatkan pembaziran fungsinya kerana kebanyakan kawasan dalam kotak adegannya digunakan untuk adegan latar belakang. Untuk skim kedua, ia mungkin tidak dapat mengendalikan panorama kompleks dalam pemandangan bandar (cth., bangunan beralun atau landskap kompleks) kerana ia hanya menganggap bahawa sinaran latar belakang hanya bergantung pada arah pandangan. 🎜

Untuk ini, kami menyediakan model jaringan latar belakang tambahan untuk memastikan resolusi bahagian latar depan tetap. Kami menggunakan parameterisasi pemandangan dalam [9] sebagai latar belakang, yang direka bentuk dengan teliti. Pertama, tidak seperti pemodelan sfera songsang, kami menggunakan pemodelan padu songsang, dengan norma ℓ∞, kerana kami menggunakan perwakilan grid voxel. Kedua, kami tidak membuat seketika MLP tambahan untuk menanyakan warna latar belakang untuk menjimatkan memori. Khususnya, kami meledingkan titik latar belakang 3D ke dalam 4D melalui:

为自动驾驶而生,Lightning NeRF:速度提升10倍

Permulaan LiDAR

Menggunakan perwakilan pemandangan hibrid kami, ia adalah intensif secara pengiraan apabila kami bermula terus daripada perwakilan grid voxel yang cekap Model ini menjimatkan pengiraan dan memori apabila MLP nilai ketumpatan pertanyaan. Walau bagaimanapun, memandangkan sifat berskala besar dan kerumitan pemandangan bandar, perwakilan ringan ini boleh dengan mudah tersekat dalam minima tempatan semasa pengoptimuman disebabkan oleh resolusi grid ketumpatan yang terhad. Nasib baik, dalam pemanduan autonomi, kebanyakan kenderaan pandu sendiri (SDV) dilengkapi dengan penderia LiDAR, yang menyediakan prior geometri kasar untuk pembinaan semula pemandangan. Untuk tujuan ini, kami mencadangkan untuk menggunakan awan titik lidar untuk memulakan jaringan ketumpatan kami untuk mengurangkan halangan pengoptimuman bersama geometri pemandangan dan radioaktiviti.

Penguraian Warna

NeRF asal menggunakan MLP bergantung pada pandangan untuk memodelkan warna dalam medan sinaran, penyederhanaan dunia fizikal di mana sinaran terdiri daripada warna meresap (bebas pandangan) dan warna specular (berkaitan dengan paparan). gubahan. Tambahan pula, memandangkan warna keluaran akhir c terikat sepenuhnya dengan arah tontonan d, adalah sukar untuk menghasilkan imej ketepatan tinggi dalam paparan ghaib. Seperti yang ditunjukkan dalam Rajah 3, kaedah kami yang dilatih tanpa penguraian warna (CD) gagal pada sintesis paparan baharu dalam tetapan ekstrapolasi (iaitu, mengalihkan arah tontonan 2 meter ke kiri berdasarkan paparan latihan), manakala kaedah kami dalam warna The decomposed kes memberikan hasil rendering yang munasabah.

为自动驾驶而生,Lightning NeRF:速度提升10倍

为自动驾驶而生,Lightning NeRF:速度提升10倍

Warna akhir di lokasi sampel ialah jumlah dua faktor ini:

为自动驾驶而生,Lightning NeRF:速度提升10倍

Kehilangan latihan

Kami mengubah suai model fotometrik kami yang dioptimumkan untuk mengurangkan berat badan. fokus pada sampel keras untuk mencapai penumpuan yang cepat. Pekali berat ditakrifkan sebagai:

为自动驾驶而生,Lightning NeRF:速度提升10倍

为自动驾驶而生,Lightning NeRF:速度提升10倍

为自动驾驶而生,Lightning NeRF:速度提升10倍gambar

为自动驾驶而生,Lightning NeRF:速度提升10倍

为自动驾驶而生,Lightning NeRF:速度提升10倍

gambar为自动驾驶而生,Lightning NeRF:速度提升10倍为自动驾驶而生,Lightning NeRF:速度提升10倍为自动驾驶而生,Lightning NeRF:速度提升10倍为自动驾驶而生,Lightning NeRF:速度提升10倍为自动驾驶而生,Lightning NeRF:速度提升10倍为自动驾驶而生,Lightning NeRF:速度提升10倍为自动驾驶而生,Lightning NeRF:速度提升10倍为自动驾驶而生,Lightning NeRF:速度提升10倍为自动驾驶而生,Lightning NeRF:速度提升10倍

🎜🎜🎜🎜🎜🎜🎜🎜🎜 🎜🎜 🎜🎜🎜🎜🎜

Kesimpulan

Kertas kerja ini memperkenalkan Lightning NeRF, rangka kerja sintesis paparan pemandangan luar yang cekap yang menyepadukan awan titik dan imej. Kaedah yang dicadangkan memanfaatkan awan titik untuk memulakan perwakilan jarang adegan dengan cepat, mencapai prestasi ketara dan peningkatan kelajuan. Dengan memodelkan latar belakang dengan lebih cekap, kami mengurangkan ketegangan perwakilan pada latar depan. Akhir sekali, melalui penguraian warna, warna berkaitan paparan dan bebas paparan dimodelkan secara berasingan, yang meningkatkan keupayaan ekstrapolasi model. Percubaan meluas pada pelbagai set data pemanduan autonomi menunjukkan bahawa kaedah kami mengatasi teknik terkini yang terkini dari segi prestasi dan kecekapan.

Atas ialah kandungan terperinci Dilahirkan untuk pemanduan autonomi, Lightning NeRF: 10 kali lebih pantas. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Mengapakah Gaussian Splatting begitu popular dalam pemanduan autonomi sehingga NeRF mula ditinggalkan? Mengapakah Gaussian Splatting begitu popular dalam pemanduan autonomi sehingga NeRF mula ditinggalkan? Jan 17, 2024 pm 02:57 PM

Ditulis di atas & pemahaman peribadi pengarang Gaussiansplatting tiga dimensi (3DGS) ialah teknologi transformatif yang telah muncul dalam bidang medan sinaran eksplisit dan grafik komputer dalam beberapa tahun kebelakangan ini. Kaedah inovatif ini dicirikan oleh penggunaan berjuta-juta Gaussians 3D, yang sangat berbeza daripada kaedah medan sinaran saraf (NeRF), yang terutamanya menggunakan model berasaskan koordinat tersirat untuk memetakan koordinat spatial kepada nilai piksel. Dengan perwakilan adegan yang eksplisit dan algoritma pemaparan yang boleh dibezakan, 3DGS bukan sahaja menjamin keupayaan pemaparan masa nyata, tetapi juga memperkenalkan tahap kawalan dan pengeditan adegan yang tidak pernah berlaku sebelum ini. Ini meletakkan 3DGS sebagai penukar permainan yang berpotensi untuk pembinaan semula dan perwakilan 3D generasi akan datang. Untuk tujuan ini, kami menyediakan gambaran keseluruhan sistematik tentang perkembangan dan kebimbangan terkini dalam bidang 3DGS buat kali pertama.

Bagaimana untuk menyelesaikan masalah ekor panjang dalam senario pemanduan autonomi? Bagaimana untuk menyelesaikan masalah ekor panjang dalam senario pemanduan autonomi? Jun 02, 2024 pm 02:44 PM

Semalam semasa temu bual, saya telah ditanya sama ada saya telah membuat sebarang soalan berkaitan ekor panjang, jadi saya fikir saya akan memberikan ringkasan ringkas. Masalah ekor panjang pemanduan autonomi merujuk kepada kes tepi dalam kenderaan autonomi, iaitu, kemungkinan senario dengan kebarangkalian yang rendah untuk berlaku. Masalah ekor panjang yang dirasakan adalah salah satu sebab utama yang kini mengehadkan domain reka bentuk pengendalian kenderaan autonomi pintar satu kenderaan. Seni bina asas dan kebanyakan isu teknikal pemanduan autonomi telah diselesaikan, dan baki 5% masalah ekor panjang secara beransur-ansur menjadi kunci untuk menyekat pembangunan pemanduan autonomi. Masalah ini termasuk pelbagai senario yang berpecah-belah, situasi yang melampau dan tingkah laku manusia yang tidak dapat diramalkan. "Ekor panjang" senario tepi dalam pemanduan autonomi merujuk kepada kes tepi dalam kenderaan autonomi (AVs) kes Edge adalah senario yang mungkin dengan kebarangkalian yang rendah untuk berlaku. kejadian yang jarang berlaku ini

Pilih kamera atau lidar? Kajian terbaru tentang mencapai pengesanan objek 3D yang mantap Pilih kamera atau lidar? Kajian terbaru tentang mencapai pengesanan objek 3D yang mantap Jan 26, 2024 am 11:18 AM

0. Ditulis di hadapan&& Pemahaman peribadi bahawa sistem pemanduan autonomi bergantung pada persepsi lanjutan, membuat keputusan dan teknologi kawalan, dengan menggunakan pelbagai penderia (seperti kamera, lidar, radar, dll.) untuk melihat persekitaran sekeliling dan menggunakan algoritma dan model untuk analisis masa nyata dan membuat keputusan. Ini membolehkan kenderaan mengenali papan tanda jalan, mengesan dan menjejaki kenderaan lain, meramalkan tingkah laku pejalan kaki, dsb., dengan itu selamat beroperasi dan menyesuaikan diri dengan persekitaran trafik yang kompleks. Teknologi ini kini menarik perhatian meluas dan dianggap sebagai kawasan pembangunan penting dalam pengangkutan masa depan satu. Tetapi apa yang menyukarkan pemanduan autonomi ialah memikirkan cara membuat kereta itu memahami perkara yang berlaku di sekelilingnya. Ini memerlukan algoritma pengesanan objek tiga dimensi dalam sistem pemanduan autonomi boleh melihat dan menerangkan dengan tepat objek dalam persekitaran sekeliling, termasuk lokasinya,

Adakah anda benar-benar menguasai penukaran sistem koordinat? Isu berbilang sensor yang tidak dapat dipisahkan daripada pemanduan autonomi Adakah anda benar-benar menguasai penukaran sistem koordinat? Isu berbilang sensor yang tidak dapat dipisahkan daripada pemanduan autonomi Oct 12, 2023 am 11:21 AM

Artikel perintis dan utama pertama terutamanya memperkenalkan beberapa sistem koordinat yang biasa digunakan dalam teknologi pemanduan autonomi, dan cara melengkapkan korelasi dan penukaran antara mereka, dan akhirnya membina model persekitaran bersatu. Fokus di sini adalah untuk memahami penukaran daripada kenderaan kepada badan tegar kamera (parameter luaran), penukaran kamera kepada imej (parameter dalaman) dan penukaran unit imej kepada piksel. Penukaran daripada 3D kepada 2D akan mempunyai herotan, terjemahan, dsb. Perkara utama: Sistem koordinat kenderaan dan sistem koordinat badan kamera perlu ditulis semula: sistem koordinat satah dan sistem koordinat piksel Kesukaran: herotan imej mesti dipertimbangkan Kedua-dua penyahherotan dan penambahan herotan diberi pampasan pada satah imej. 2. Pengenalan Terdapat empat sistem penglihatan secara keseluruhannya: sistem koordinat satah piksel (u, v), sistem koordinat imej (x, y), sistem koordinat kamera () dan sistem koordinat dunia (). Terdapat hubungan antara setiap sistem koordinat,

Artikel ini sudah cukup untuk anda membaca tentang pemanduan autonomi dan ramalan trajektori! Artikel ini sudah cukup untuk anda membaca tentang pemanduan autonomi dan ramalan trajektori! Feb 28, 2024 pm 07:20 PM

Ramalan trajektori memainkan peranan penting dalam pemanduan autonomi Ramalan trajektori pemanduan autonomi merujuk kepada meramalkan trajektori pemanduan masa hadapan kenderaan dengan menganalisis pelbagai data semasa proses pemanduan kenderaan. Sebagai modul teras pemanduan autonomi, kualiti ramalan trajektori adalah penting untuk kawalan perancangan hiliran. Tugas ramalan trajektori mempunyai timbunan teknologi yang kaya dan memerlukan kebiasaan dengan persepsi dinamik/statik pemanduan autonomi, peta ketepatan tinggi, garisan lorong, kemahiran seni bina rangkaian saraf (CNN&GNN&Transformer), dll. Sangat sukar untuk bermula! Ramai peminat berharap untuk memulakan ramalan trajektori secepat mungkin dan mengelakkan perangkap Hari ini saya akan mengambil kira beberapa masalah biasa dan kaedah pembelajaran pengenalan untuk ramalan trajektori! Pengetahuan berkaitan pengenalan 1. Adakah kertas pratonton teratur? A: Tengok survey dulu, hlm

SIMPL: Penanda aras ramalan gerakan berbilang ejen yang mudah dan cekap untuk pemanduan autonomi SIMPL: Penanda aras ramalan gerakan berbilang ejen yang mudah dan cekap untuk pemanduan autonomi Feb 20, 2024 am 11:48 AM

Tajuk asal: SIMPL: ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving Paper pautan: https://arxiv.org/pdf/2402.02519.pdf Pautan kod: https://github.com/HKUST-Aerial-Robotics/SIMPL Unit pengarang: Universiti Sains Hong Kong dan Teknologi Idea Kertas DJI: Kertas kerja ini mencadangkan garis dasar ramalan pergerakan (SIMPL) yang mudah dan cekap untuk kenderaan autonomi. Berbanding dengan agen-sen tradisional

SOTA terbaharu nuScenes |. SparseAD: Pertanyaan jarang membantu pemanduan autonomi hujung ke hujung yang cekap! SOTA terbaharu nuScenes |. SparseAD: Pertanyaan jarang membantu pemanduan autonomi hujung ke hujung yang cekap! Apr 17, 2024 pm 06:22 PM

Ditulis di hadapan & titik permulaan Paradigma hujung ke hujung menggunakan rangka kerja bersatu untuk mencapai pelbagai tugas dalam sistem pemanduan autonomi. Walaupun kesederhanaan dan kejelasan paradigma ini, prestasi kaedah pemanduan autonomi hujung ke hujung pada subtugas masih jauh ketinggalan berbanding kaedah tugasan tunggal. Pada masa yang sama, ciri pandangan mata burung (BEV) padat yang digunakan secara meluas dalam kaedah hujung ke hujung sebelum ini menyukarkan untuk membuat skala kepada lebih banyak modaliti atau tugasan. Paradigma pemanduan autonomi hujung ke hujung (SparseAD) tertumpu carian jarang dicadangkan di sini, di mana carian jarang mewakili sepenuhnya keseluruhan senario pemanduan, termasuk ruang, masa dan tugas, tanpa sebarang perwakilan BEV yang padat. Khususnya, seni bina jarang bersatu direka bentuk untuk kesedaran tugas termasuk pengesanan, penjejakan dan pemetaan dalam talian. Di samping itu, berat

Mari kita bincangkan tentang sistem pemanduan autonomi hujung ke hujung dan generasi seterusnya, serta beberapa salah faham tentang pemanduan autonomi hujung ke hujung? Mari kita bincangkan tentang sistem pemanduan autonomi hujung ke hujung dan generasi seterusnya, serta beberapa salah faham tentang pemanduan autonomi hujung ke hujung? Apr 15, 2024 pm 04:13 PM

Pada bulan lalu, atas sebab-sebab yang diketahui umum, saya telah mengadakan pertukaran yang sangat intensif dengan pelbagai guru dan rakan sekelas dalam industri. Topik yang tidak dapat dielakkan dalam pertukaran secara semula jadi adalah hujung ke hujung dan Tesla FSDV12 yang popular. Saya ingin mengambil kesempatan ini untuk menyelesaikan beberapa buah fikiran dan pendapat saya pada masa ini untuk rujukan dan perbincangan anda. Bagaimana untuk mentakrifkan sistem pemanduan autonomi hujung ke hujung, dan apakah masalah yang sepatutnya dijangka diselesaikan hujung ke hujung? Menurut definisi yang paling tradisional, sistem hujung ke hujung merujuk kepada sistem yang memasukkan maklumat mentah daripada penderia dan secara langsung mengeluarkan pembolehubah yang membimbangkan tugas. Sebagai contoh, dalam pengecaman imej, CNN boleh dipanggil hujung-ke-hujung berbanding kaedah pengekstrak ciri + pengelas tradisional. Dalam tugas pemanduan autonomi, masukkan data daripada pelbagai penderia (kamera/LiDAR

See all articles