Dilahirkan untuk pemanduan autonomi, Lightning NeRF: 10 kali lebih pantas

Ditulis di atas & pemahaman peribadi pengarang

Penyelidikan terkini telah menekankan prospek aplikasi NeRF dalam persekitaran pemanduan autonomi. Walau bagaimanapun, kerumitan persekitaran luar, ditambah dengan sudut pandangan terhad dalam adegan memandu, merumitkan tugas membina semula geometri pemandangan dengan tepat. Cabaran ini selalunya mengakibatkan kualiti pembinaan semula berkurangan dan tempoh latihan dan persembahan yang lebih lama. Untuk menangani cabaran ini, kami melancarkan Lightning NeRF. Ia menggunakan perwakilan pemandangan hibrid yang cekap yang mengeksploitasi secara berkesan geometri lidar dalam senario pemanduan autonomi. Lightning NeRF meningkatkan prestasi sintesis paparan novel NeRF dengan ketara dan mengurangkan overhed pengiraan. Melalui penilaian pada set data dunia sebenar seperti KITTI-360, Argoverse2 dan set data peribadi kami, kami menunjukkan bahawa kaedah kami bukan sahaja mengatasi mutu terkini dalam kualiti sintesis paparan baharu, tetapi juga meningkatkan kelajuan latihan Lima kali lebih pantas, dan sepuluh kali lebih pantas rendering. Pautan Kod H: https://gision-sjtu/lightning-insf

Penjelasan terperinci tentang Lightning Nerf

preliminaries

Penjelasan terperinci tentang Lightning Nerf

preliminaries

difungsikan mengikut fungsi, biasanya disyariatkan oleh fungsi yang diselaraskan oleh parameter seperti itu, biasanya disyariatkan oleh fungsi yang diselaraskan. MLP. Ia mampu mengembalikan nilai warna c dan ramalan ketumpatan volum σ titik 3D x dalam pemandangan berdasarkan arah tontonan d.

Untuk memaparkan piksel, NeRF menggunakan pensampelan volum hierarki untuk menjana satu siri titik sepanjang sinar r, dan kemudian menggabungkan ciri ketumpatan dan warna yang diramalkan di lokasi ini melalui pengumpulan.

Walaupun NeRF berprestasi baik dalam sintesis perspektif baharu, masa latihannya yang panjang dan kelajuan pemaparan perlahan disebabkan terutamanya oleh ketidakcekapan strategi pensampelan. Untuk meningkatkan kecekapan model, kami mengekalkan penghunian grid kasar semasa latihan dan hanya lokasi sampel dalam jumlah yang diduduki. Strategi pensampelan ini serupa dengan kerja sedia ada dan membantu meningkatkan prestasi model dan mempercepatkan latihan.

Perwakilan Adegan Hibrid

Perwakilan volum hibrid telah dioptimumkan dan dipaparkan dengan cepat menggunakan model kompak. Memandangkan ini, kami menggunakan perwakilan grid voxel hibrid untuk memodelkan medan sinaran untuk meningkatkan kecekapan. Secara ringkas, kami secara eksplisit memodelkan ketumpatan isipadu dengan menyimpan σ pada bucu mesh, sambil menggunakan MLP cetek untuk secara tersirat menyahkod warna yang dibenamkan f ke dalam warna akhir c. Untuk mengendalikan sifat persekitaran luar tanpa sempadan, kami membahagikan perwakilan pemandangan kepada dua bahagian, latar depan dan latar belakang, seperti yang ditunjukkan dalam Rajah 2. Khususnya, kami memeriksa frustum kamera dalam setiap bingkai daripada jujukan trajektori dan mentakrifkan kotak sempadan latar depan supaya ia membalut rapat semua frustum dalam sistem koordinat sejajar. Kotak latar belakang diperoleh dengan menaikkan skala kotak latar depan di sepanjang setiap dimensi.

Perwakilan grid voxel. Perwakilan jaringan voxel secara eksplisit menyimpan sifat pemandangan (cth., ketumpatan, warna RGB atau ciri) dalam bucu jejaringnya untuk menyokong pertanyaan ciri yang cekap. Dengan cara ini, untuk kedudukan 3D yang diberikan, kita boleh menyahkod atribut yang sepadan melalui interpolasi trilinear:

🎜🎜🎜foreground🎜. Kami membina dua jerat ciri bebas untuk memodelkan ketumpatan dan pembenaman warna kawasan latar depan. Khususnya, pemetaan jejaring ketumpatan memetakan kedudukan ke dalam skalar ketumpatan σ untuk pemaparan isipadu. Untuk pemetaan jejaring tertanam warna, kami membuat instantitet berbilang jejaring voxel pada sandaran resolusi berbeza melalui jadual cincang untuk mendapatkan butiran yang lebih halus dengan overhed memori yang berpatutan. Benam warna akhir f diperoleh dengan menggabungkan output pada tahap resolusi L. 🎜🎜Latar Belakang Walaupun pemodelan latar depan yang dinyatakan sebelum ini berfungsi untuk medan sinaran peringkat objek, memanjangkannya kepada pemandangan luar yang tidak terhad bukanlah perkara remeh. Beberapa teknik yang berkaitan, seperti NGP, terus memanjangkan kotak sempadan adegan mereka supaya kawasan latar belakang boleh disertakan, manakala GANcraft dan URF memperkenalkan sinaran latar belakang sfera untuk menangani masalah ini. Walau bagaimanapun, percubaan bekas itu mengakibatkan pembaziran fungsinya kerana kebanyakan kawasan dalam kotak adegannya digunakan untuk adegan latar belakang. Untuk skim kedua, ia mungkin tidak dapat mengendalikan panorama kompleks dalam pemandangan bandar (cth., bangunan beralun atau landskap kompleks) kerana ia hanya menganggap bahawa sinaran latar belakang hanya bergantung pada arah pandangan. 🎜

Untuk ini, kami menyediakan model jaringan latar belakang tambahan untuk memastikan resolusi bahagian latar depan tetap. Kami menggunakan parameterisasi pemandangan dalam [9] sebagai latar belakang, yang direka bentuk dengan teliti. Pertama, tidak seperti pemodelan sfera songsang, kami menggunakan pemodelan padu songsang, dengan norma ℓ∞, kerana kami menggunakan perwakilan grid voxel. Kedua, kami tidak membuat seketika MLP tambahan untuk menanyakan warna latar belakang untuk menjimatkan memori. Khususnya, kami meledingkan titik latar belakang 3D ke dalam 4D melalui:

Permulaan LiDAR

Menggunakan perwakilan pemandangan hibrid kami, ia adalah intensif secara pengiraan apabila kami bermula terus daripada perwakilan grid voxel yang cekap Model ini menjimatkan pengiraan dan memori apabila MLP nilai ketumpatan pertanyaan. Walau bagaimanapun, memandangkan sifat berskala besar dan kerumitan pemandangan bandar, perwakilan ringan ini boleh dengan mudah tersekat dalam minima tempatan semasa pengoptimuman disebabkan oleh resolusi grid ketumpatan yang terhad. Nasib baik, dalam pemanduan autonomi, kebanyakan kenderaan pandu sendiri (SDV) dilengkapi dengan penderia LiDAR, yang menyediakan prior geometri kasar untuk pembinaan semula pemandangan. Untuk tujuan ini, kami mencadangkan untuk menggunakan awan titik lidar untuk memulakan jaringan ketumpatan kami untuk mengurangkan halangan pengoptimuman bersama geometri pemandangan dan radioaktiviti.

Penguraian Warna

NeRF asal menggunakan MLP bergantung pada pandangan untuk memodelkan warna dalam medan sinaran, penyederhanaan dunia fizikal di mana sinaran terdiri daripada warna meresap (bebas pandangan) dan warna specular (berkaitan dengan paparan). gubahan. Tambahan pula, memandangkan warna keluaran akhir c terikat sepenuhnya dengan arah tontonan d, adalah sukar untuk menghasilkan imej ketepatan tinggi dalam paparan ghaib. Seperti yang ditunjukkan dalam Rajah 3, kaedah kami yang dilatih tanpa penguraian warna (CD) gagal pada sintesis paparan baharu dalam tetapan ekstrapolasi (iaitu, mengalihkan arah tontonan 2 meter ke kiri berdasarkan paparan latihan), manakala kaedah kami dalam warna The decomposed kes memberikan hasil rendering yang munasabah.

Warna akhir di lokasi sampel ialah jumlah dua faktor ini:

Kehilangan latihan

Kami mengubah suai model fotometrik kami yang dioptimumkan untuk mengurangkan berat badan. fokus pada sampel keras untuk mencapai penumpuan yang cepat. Pekali berat ditakrifkan sebagai:

gambar

gambar

🎜🎜🎜🎜🎜🎜🎜🎜🎜 🎜🎜 🎜🎜🎜🎜🎜

Kesimpulan

Kertas kerja ini memperkenalkan Lightning NeRF, rangka kerja sintesis paparan pemandangan luar yang cekap yang menyepadukan awan titik dan imej. Kaedah yang dicadangkan memanfaatkan awan titik untuk memulakan perwakilan jarang adegan dengan cepat, mencapai prestasi ketara dan peningkatan kelajuan. Dengan memodelkan latar belakang dengan lebih cekap, kami mengurangkan ketegangan perwakilan pada latar depan. Akhir sekali, melalui penguraian warna, warna berkaitan paparan dan bebas paparan dimodelkan secara berasingan, yang meningkatkan keupayaan ekstrapolasi model. Percubaan meluas pada pelbagai set data pemanduan autonomi menunjukkan bahawa kaedah kami mengatasi teknik terkini yang terkini dari segi prestasi dan kecekapan.

Atas ialah kandungan terperinci Dilahirkan untuk pemanduan autonomi, Lightning NeRF: 10 kali lebih pantas. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!