Jadual Kandungan
Apakah sebenarnya medan sinaran saraf?
Rumah Peranti teknologi AI Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Dec 26, 2023 pm 01:05 PM
teknologi Pemanduan autonomi

Apakah sebenarnya medan sinaran saraf?

Medan sinaran: Pengagihan tenaga yang terbentuk semasa perambatan dan pantulan cahaya yang dipancarkan oleh sumber cahaya di tempat kejadian. Dalam istilah orang awam, ia adalah fungsi yang merekodkan maklumat sinaran dalam arah tertentu di lokasi tertentu dalam ruang Maklumat sinaran (atau pengedaran tenaga) sebenarnya adalah warna, kecerahan, bayang-bayang dan maklumat lain. Arah di sini memerlukan perhatian tambahan, ia adalah salah satu faktor penting untuk NeRF mencapai pembinaan semula sebenar!

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Ini membawa kepada konsep medan sinaran saraf.
Medan sinaran saraf: Gunakan rangkaian saraf untuk menyimpan ruangkedudukanradiasi dalam sebarang arah. Penerangan dalam artikel asal adalah seperti berikut:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Formula yang lebih piawai dinyatakan seperti berikut:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Masukkan kedudukan 3D (x, y, z) dan arah tontonan 2D (), dan outputnya ialah ketumpatan warna dan volum

NeRF Keputusan rangkaian khusus merujuk kepada teks asal seperti berikut:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

  • Input x koordinat 3D ke dalam rangkaian pertama fσ, termasuk 8 lapisan bersambung sepenuhnya, 256 neuron setiap lapisan, pengaktifan ReLU;
  • Rangkaian fσ mengeluarkan ketumpatan volum σ dan A vektor 256 dimensi, yang dihantar ke fc (satu lapisan, 128 saluran, pengaktifan ReLU) dengan arah tontonan d untuk meramalkan RGB

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Seperti yang dapat dilihat; daripada di atas, NeRF dimodelkan secara tersirat kerana model disimpan dalam MLP Inside, model adalah parameter MLP, yang berbeza daripada awan titik sebelumnya dan pemodelan mesh (awan titik/jaringan boleh terus melihat model). NeRF mesti menanyakan titik tiga dimensi satu demi satu dan kemudian menjadikannya imej.

kaedah tontonanatau kaedah rendering ini dipanggil rendering volum.

Sebelum melihat pemaparan volum. Mari kita lihat dahulu kesan rangkaian:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Dapat dilihat bahawa warna berbeza di bawah sudut tontonan yang berbeza! Ini adalah salah satu kelebihan NeRF yang sangat penting berbanding pembinaan semula tradisional ~

Teras NeRF: pemaparan volum

Mari kita masukkan titik teras kedua NeRF - pemaparan volum. Penyampaian volum ialah kaedah yang digunakan untuk menjadikan warna dan ketumpatan kepada imej 2D!

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Rajah skema adalah seperti berikut: Rajah a menunjukkan sinar yang dipancarkan dari kedudukan tengah optik kamera Terdapat titik pensampelan pada sinaran Titik pensampelan dan arahan dihantar ke MLP untuk mendapatkan warna dan ketumpatan isipadu. Rajah c menunjukkan lengkung taburan ketumpatan isipadu sepanjang sinar, yang diperolehi melalui pensampelan Warna piksel boleh diperolehi dengan menyepadukan lengkung. Proses ini ialah pemaparan volum

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Untuk meringkaskan langkah pemaparan volum:

    Pancarkan sinar yang menembusi setiap piksel dari pusat optik kamera, dan ambil titik pensampelan tiga dimensi pada sinar
  • Hantar titik pensampelan; koordinat dan arah sudut pandangan ke dalam MLP mengira ketumpatan warna dan kelantangan;
  • menyepadukan (tindanan) maklumat warna mengikut ketumpatan volum untuk membentuk imej 2D

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Formula untuk pemaparan volum adalah seperti berikut:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya! sudah tentu, versi diskret formula sebenarnya digunakan:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Proses pembinaan semula tersirat

Selepas bercakap tentang medan sinaran saraf dan rendering volum, kini kami memulakan proses pembinaan semula yang lengkap~

Sebelum selesai, membentuk saluran paip masih terdapat dua masalah yang perlu diselesaikan:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!Untuk menyelesaikan dua masalah di atas, NeRF mencadangkan pengekodan kedudukan dan proses persampelan berstrata

Pengekodan kedudukan:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!Kertas secara intuitif menunjukkan perbandingan kesan pengekodan kedudukan:

Dapat dilihat bahawa tanpa pengekodan kedudukan, model tidak dapat menyatakan maklumat geometri dan tekstur frekuensi tinggi~

Penggunaan berbilang lapisan:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Proses latihan adalah seperti berikut:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

eksperimen dan ringkasan

Petunjuk penilaian:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Tetapan eksperimen:

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Hasil eksperimen dapat dilihat bahawa astigmatisme pada bola pelbagai bahan juga boleh diungkapkan dengan baik~

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Percubaan ablasi : Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

Ringkasan

Medan sinaran saraf yang dicadangkan dalam artikel ini memancarkan sinar pensampelan melalui piksel dari pusat optik kamera, memilih titik pada sinar, menggunakan MLP untuk memetakan kedudukan tiga dimensinya dan melihat arah kepada ketumpatan volum dan warna, dan kemudian tindanan pemaparan volum mensampel ketumpatan volum dan warna pada sinar untuk mendapatkan nilai piksel. Ralat antara nilai piksel dan imej GT dikira dan kemudian disebarkan kembali untuk mengoptimumkan parameter MLP. Makalah ini menggunakan kaedah pembinaan semula tersirat untuk mencapai pembinaan semula model fotorealistik dan rendering.

    Kecacatan:
  • Perlahan rendering dan kelajuan latihan;
  • keperluan tinggi pada bilangan dan pengedaran tontonan
sukar untuk dikembangkan ke latar belakang atau adegan yang lebih besar.

Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!

🎜Pautan asal: https://mp.weixin.qq.com/s/ctDBTaLWuHTM9MONrAor4g🎜

Atas ialah kandungan terperinci Nota kajian NeRF yang mesti dimiliki oleh pemula memberikan pandangan tentang segala-galanya!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Mengapakah Gaussian Splatting begitu popular dalam pemanduan autonomi sehingga NeRF mula ditinggalkan? Mengapakah Gaussian Splatting begitu popular dalam pemanduan autonomi sehingga NeRF mula ditinggalkan? Jan 17, 2024 pm 02:57 PM

Ditulis di atas & pemahaman peribadi pengarang Gaussiansplatting tiga dimensi (3DGS) ialah teknologi transformatif yang telah muncul dalam bidang medan sinaran eksplisit dan grafik komputer dalam beberapa tahun kebelakangan ini. Kaedah inovatif ini dicirikan oleh penggunaan berjuta-juta Gaussians 3D, yang sangat berbeza daripada kaedah medan sinaran saraf (NeRF), yang terutamanya menggunakan model berasaskan koordinat tersirat untuk memetakan koordinat spatial kepada nilai piksel. Dengan perwakilan adegan yang eksplisit dan algoritma pemaparan yang boleh dibezakan, 3DGS bukan sahaja menjamin keupayaan pemaparan masa nyata, tetapi juga memperkenalkan tahap kawalan dan pengeditan adegan yang tidak pernah berlaku sebelum ini. Ini meletakkan 3DGS sebagai penukar permainan yang berpotensi untuk pembinaan semula dan perwakilan 3D generasi akan datang. Untuk tujuan ini, kami menyediakan gambaran keseluruhan sistematik tentang perkembangan dan kebimbangan terkini dalam bidang 3DGS buat kali pertama.

Bagaimana untuk menyelesaikan masalah ekor panjang dalam senario pemanduan autonomi? Bagaimana untuk menyelesaikan masalah ekor panjang dalam senario pemanduan autonomi? Jun 02, 2024 pm 02:44 PM

Semalam semasa temu bual, saya telah ditanya sama ada saya telah membuat sebarang soalan berkaitan ekor panjang, jadi saya fikir saya akan memberikan ringkasan ringkas. Masalah ekor panjang pemanduan autonomi merujuk kepada kes tepi dalam kenderaan autonomi, iaitu, kemungkinan senario dengan kebarangkalian yang rendah untuk berlaku. Masalah ekor panjang yang dirasakan adalah salah satu sebab utama yang kini mengehadkan domain reka bentuk pengendalian kenderaan autonomi pintar satu kenderaan. Seni bina asas dan kebanyakan isu teknikal pemanduan autonomi telah diselesaikan, dan baki 5% masalah ekor panjang secara beransur-ansur menjadi kunci untuk menyekat pembangunan pemanduan autonomi. Masalah ini termasuk pelbagai senario yang berpecah-belah, situasi yang melampau dan tingkah laku manusia yang tidak dapat diramalkan. "Ekor panjang" senario tepi dalam pemanduan autonomi merujuk kepada kes tepi dalam kenderaan autonomi (AVs) kes Edge adalah senario yang mungkin dengan kebarangkalian yang rendah untuk berlaku. kejadian yang jarang berlaku ini

Pilih kamera atau lidar? Kajian terbaru tentang mencapai pengesanan objek 3D yang mantap Pilih kamera atau lidar? Kajian terbaru tentang mencapai pengesanan objek 3D yang mantap Jan 26, 2024 am 11:18 AM

0. Ditulis di hadapan&& Pemahaman peribadi bahawa sistem pemanduan autonomi bergantung pada persepsi lanjutan, membuat keputusan dan teknologi kawalan, dengan menggunakan pelbagai penderia (seperti kamera, lidar, radar, dll.) untuk melihat persekitaran sekeliling dan menggunakan algoritma dan model untuk analisis masa nyata dan membuat keputusan. Ini membolehkan kenderaan mengenali papan tanda jalan, mengesan dan menjejaki kenderaan lain, meramalkan tingkah laku pejalan kaki, dsb., dengan itu selamat beroperasi dan menyesuaikan diri dengan persekitaran trafik yang kompleks. Teknologi ini kini menarik perhatian meluas dan dianggap sebagai kawasan pembangunan penting dalam pengangkutan masa depan satu. Tetapi apa yang menyukarkan pemanduan autonomi ialah memikirkan cara membuat kereta itu memahami perkara yang berlaku di sekelilingnya. Ini memerlukan algoritma pengesanan objek tiga dimensi dalam sistem pemanduan autonomi boleh melihat dan menerangkan dengan tepat objek dalam persekitaran sekeliling, termasuk lokasinya,

Kertas Stable Diffusion 3 akhirnya telah dikeluarkan, dan butiran seni bina didedahkan Adakah ia akan membantu untuk menghasilkan semula Sora? Kertas Stable Diffusion 3 akhirnya telah dikeluarkan, dan butiran seni bina didedahkan Adakah ia akan membantu untuk menghasilkan semula Sora? Mar 06, 2024 pm 05:34 PM

Kertas StableDiffusion3 akhirnya di sini! Model ini dikeluarkan dua minggu lalu dan menggunakan seni bina DiT (DiffusionTransformer) yang sama seperti Sora. Ia menimbulkan kekecohan apabila ia dikeluarkan. Berbanding dengan versi sebelumnya, kualiti imej yang dijana oleh StableDiffusion3 telah dipertingkatkan dengan ketara Ia kini menyokong gesaan berbilang tema, dan kesan penulisan teks juga telah dipertingkatkan, dan aksara bercelaru tidak lagi muncul. StabilityAI menegaskan bahawa StableDiffusion3 ialah satu siri model dengan saiz parameter antara 800M hingga 8B. Julat parameter ini bermakna model boleh dijalankan terus pada banyak peranti mudah alih, dengan ketara mengurangkan penggunaan AI

Artikel ini sudah cukup untuk anda membaca tentang pemanduan autonomi dan ramalan trajektori! Artikel ini sudah cukup untuk anda membaca tentang pemanduan autonomi dan ramalan trajektori! Feb 28, 2024 pm 07:20 PM

Ramalan trajektori memainkan peranan penting dalam pemanduan autonomi Ramalan trajektori pemanduan autonomi merujuk kepada meramalkan trajektori pemanduan masa hadapan kenderaan dengan menganalisis pelbagai data semasa proses pemanduan kenderaan. Sebagai modul teras pemanduan autonomi, kualiti ramalan trajektori adalah penting untuk kawalan perancangan hiliran. Tugas ramalan trajektori mempunyai timbunan teknologi yang kaya dan memerlukan kebiasaan dengan persepsi dinamik/statik pemanduan autonomi, peta ketepatan tinggi, garisan lorong, kemahiran seni bina rangkaian saraf (CNN&GNN&Transformer), dll. Sangat sukar untuk bermula! Ramai peminat berharap untuk memulakan ramalan trajektori secepat mungkin dan mengelakkan perangkap Hari ini saya akan mengambil kira beberapa masalah biasa dan kaedah pembelajaran pengenalan untuk ramalan trajektori! Pengetahuan berkaitan pengenalan 1. Adakah kertas pratonton teratur? A: Tengok survey dulu, hlm

SIMPL: Penanda aras ramalan gerakan berbilang ejen yang mudah dan cekap untuk pemanduan autonomi SIMPL: Penanda aras ramalan gerakan berbilang ejen yang mudah dan cekap untuk pemanduan autonomi Feb 20, 2024 am 11:48 AM

Tajuk asal: SIMPL: ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving Paper pautan: https://arxiv.org/pdf/2402.02519.pdf Pautan kod: https://github.com/HKUST-Aerial-Robotics/SIMPL Unit pengarang: Universiti Sains Hong Kong dan Teknologi Idea Kertas DJI: Kertas kerja ini mencadangkan garis dasar ramalan pergerakan (SIMPL) yang mudah dan cekap untuk kenderaan autonomi. Berbanding dengan agen-sen tradisional

SOTA terbaharu nuScenes |. SparseAD: Pertanyaan jarang membantu pemanduan autonomi hujung ke hujung yang cekap! SOTA terbaharu nuScenes |. SparseAD: Pertanyaan jarang membantu pemanduan autonomi hujung ke hujung yang cekap! Apr 17, 2024 pm 06:22 PM

Ditulis di hadapan & titik permulaan Paradigma hujung ke hujung menggunakan rangka kerja bersatu untuk mencapai pelbagai tugas dalam sistem pemanduan autonomi. Walaupun kesederhanaan dan kejelasan paradigma ini, prestasi kaedah pemanduan autonomi hujung ke hujung pada subtugas masih jauh ketinggalan berbanding kaedah tugasan tunggal. Pada masa yang sama, ciri pandangan mata burung (BEV) padat yang digunakan secara meluas dalam kaedah hujung ke hujung sebelum ini menyukarkan untuk membuat skala kepada lebih banyak modaliti atau tugasan. Paradigma pemanduan autonomi hujung ke hujung (SparseAD) tertumpu carian jarang dicadangkan di sini, di mana carian jarang mewakili sepenuhnya keseluruhan senario pemanduan, termasuk ruang, masa dan tugas, tanpa sebarang perwakilan BEV yang padat. Khususnya, seni bina jarang bersatu direka bentuk untuk kesedaran tugas termasuk pengesanan, penjejakan dan pemetaan dalam talian. Di samping itu, berat

Mari kita bincangkan tentang sistem pemanduan autonomi hujung ke hujung dan generasi seterusnya, serta beberapa salah faham tentang pemanduan autonomi hujung ke hujung? Mari kita bincangkan tentang sistem pemanduan autonomi hujung ke hujung dan generasi seterusnya, serta beberapa salah faham tentang pemanduan autonomi hujung ke hujung? Apr 15, 2024 pm 04:13 PM

Pada bulan lalu, atas sebab-sebab yang diketahui umum, saya telah mengadakan pertukaran yang sangat intensif dengan pelbagai guru dan rakan sekelas dalam industri. Topik yang tidak dapat dielakkan dalam pertukaran secara semula jadi adalah hujung ke hujung dan Tesla FSDV12 yang popular. Saya ingin mengambil kesempatan ini untuk menyelesaikan beberapa buah fikiran dan pendapat saya pada masa ini untuk rujukan dan perbincangan anda. Bagaimana untuk mentakrifkan sistem pemanduan autonomi hujung ke hujung, dan apakah masalah yang sepatutnya dijangka diselesaikan hujung ke hujung? Menurut definisi yang paling tradisional, sistem hujung ke hujung merujuk kepada sistem yang memasukkan maklumat mentah daripada penderia dan secara langsung mengeluarkan pembolehubah yang membimbangkan tugas. Sebagai contoh, dalam pengecaman imej, CNN boleh dipanggil hujung-ke-hujung berbanding kaedah pengekstrak ciri + pengelas tradisional. Dalam tugas pemanduan autonomi, masukkan data daripada pelbagai penderia (kamera/LiDAR

See all articles