Jadual Kandungan
Pengenalan kaedah
Eksperimen
Rumah Peranti teknologi AI Mencapai pemaparan bandar berskala ultra-besar yang cekap dan realistik: menggabungkan teknologi NeRF dan grid ciri

Mencapai pemaparan bandar berskala ultra-besar yang cekap dan realistik: menggabungkan teknologi NeRF dan grid ciri

May 06, 2023 pm 05:04 PM
Penyelidikan permohonan

Medan Sinaran Neural (NeRF) berasaskan MLP semata-mata sering mengalami kekurangan padanan dalam pemaparan kabur pemandangan berskala besar disebabkan kapasiti model yang terhad. Baru-baru ini, beberapa penyelidik telah mencadangkan untuk membahagikan adegan secara geografi dan menggunakan berbilang sub-NeRF untuk memodelkan setiap kawasan secara berasingan Walau bagaimanapun, masalah yang disebabkan oleh ini ialah apabila adegan berkembang secara beransur-ansur, kos latihan menjadi linear dengan bilangan sub-NeRF. .

Penyelesaian lain ialah menggunakan perwakilan grid ciri voxel, yang cekap dari segi pengiraan dan menskalakan secara semula jadi kepada adegan besar dengan peleraian grid yang semakin meningkat. Walau bagaimanapun, jejaring ciri selalunya hanya mencapai penyelesaian suboptimum kerana kekangan yang lebih sedikit, menghasilkan beberapa artifak hingar dalam pemaparan, terutamanya di kawasan yang mempunyai geometri dan tekstur yang kompleks.

Dalam artikel ini, penyelidik dari Universiti China Hong Kong, Makmal Kepintaran Buatan Shanghai dan institusi lain mencadangkan rangka kerja baharu untuk mencapai pemaparan ketelitian tinggi bagi adegan bandar (Ubran). mengambil kira kecekapan pengiraan pada masa yang sama, ia dipilih untuk CVPR 2023. Kajian ini menggunakan perwakilan satah ciri tanah berbilang resolusi padat untuk menangkap pemandangan secara kasar dan menambahnya dengan input berkod kedudukan melalui rangkaian cawangan NeRF untuk memaparkan secara dipelajari bersama. Pendekatan ini menyepadukan kelebihan kedua-dua pendekatan: di bawah bimbingan perwakilan grid ciri, NeRF berwajaran ringan mencukupi untuk mempersembahkan perspektif baharu yang realistik dengan butiran satah ciri tanah yang dioptimumkan bersama boleh diperhalusi lagi untuk membentuk yang lebih tepat dan lebih terperinci Ruang ciri padat, menghasilkan hasil pemaparan yang lebih semula jadi.

Mencapai pemaparan bandar berskala ultra-besar yang cekap dan realistik: menggabungkan teknologi NeRF dan grid ciri

  • Alamat kertas: https://arxiv.org/ pdf/2303.14001.pdf
  • Laman utama projek: https://city-super.github.io/gridnerf/

Gambar di bawah ialah contoh hasil kaedah penyelidikan tentang pemandangan Ubran dunia sebenar, memberikan pengalaman perayauan bandar yang mengasyikkan:

Mencapai pemaparan bandar berskala ultra-besar yang cekap dan realistik: menggabungkan teknologi NeRF dan grid ciri

Pengenalan kaedah

Untuk menggunakan perwakilan neural tersirat secara berkesan untuk membina semula pemandangan bandar yang besar, kajian ini mencadangkan seni bina model dwi-cawangan yang menggunakan perwakilan pemandangan bersatu dan menyepadukan berasaskan grid voxel eksplisit dan kaedah NeRF berasaskan tersirat, kedua-dua jenis perwakilan ini boleh saling melengkapi.

Adegan sasaran mula-mula dimodelkan menggunakan jaringan ciri dalam peringkat pra-latihan untuk menangkap secara kasar geometri dan rupa pemandangan itu. Grid ciri kasar kemudiannya digunakan untuk 1) membimbing pensampelan titik NeRF supaya ia tertumpu di sekitar permukaan tempat kejadian dan 2) menyediakan pengekodan kedudukan NeRF dengan ciri tambahan tentang geometri pemandangan dan rupa di lokasi sampel. Dengan panduan sedemikian, NeRF boleh memperoleh butiran yang lebih halus dengan cekap dalam ruang pensampelan yang sangat termampat. Tambahan pula, memandangkan geometri aras kasar dan maklumat rupa dibekalkan secara eksplisit kepada NeRF, MLP ringan sudah memadai untuk mempelajari pemetaan daripada koordinat global kepada ketumpatan volum dan nilai warna. Dalam peringkat pembelajaran bersama kedua, jejaring ciri kasar dioptimumkan lagi melalui kecerunan daripada cawangan NeRF dan dinormalkan, menghasilkan hasil pemaparan yang lebih tepat dan semula jadi apabila digunakan secara bersendirian.

Teras penyelidikan ini ialah struktur dwi-cawangan baharu, iaitu cawangan grid dan cawangan NeRF. 1) Para penyelidik mula-mula merakam pemandangan piramid pesawat ciri dalam peringkat pra-latihan, dan secara kasar mengambil sampel mata sinar melalui pemapar MLP cetek (cawangan grid) dan meramalkan nilai sinaran mereka mengikut MSE bersepadu volum pada piksel penyeliaan kehilangan warna. Langkah ini menjana set pesawat ciri ketumpatan/penampilan berbilang resolusi yang kaya dengan maklumat. 2) Seterusnya, penyelidik memasuki peringkat pembelajaran bersama dan melakukan persampelan yang lebih halus. Para penyelidik menggunakan grid ciri yang dipelajari untuk membimbing pensampelan cawangan NeRF untuk memfokus pada permukaan pemandangan. Ciri-ciri grid bagi titik pensampelan diperoleh melalui interpolasi dwilinear pada satah ciri. Ciri-ciri ini kemudiannya digabungkan dengan pengekodan kedudukan dan dimasukkan ke dalam cawangan NeRF untuk meramalkan ketumpatan isipadu dan warna. Ambil perhatian bahawa semasa latihan bersama, output cawangan grid masih diselia menggunakan imej kebenaran tanah serta hasil pemaparan halus daripada cawangan NeRF.

Mencapai pemaparan bandar berskala ultra-besar yang cekap dan realistik: menggabungkan teknologi NeRF dan grid ciri

Senario Sasaran: Dalam kerja ini, kajian menggunakan medan sinaran saraf berpandukan grid novel untuk melaksanakan skala besar rendering Pemandangan bandar. Bahagian kiri imej di bawah menunjukkan contoh pemandangan bandar besar yang merangkumi kawasan tanah 2.7km^2 yang ditangkap oleh lebih 5k imej dron. Kajian telah menunjukkan bahawa kaedah berasaskan NeRF menghasilkan hasil yang kabur dan terlalu licin serta mempunyai kapasiti model yang terhad, manakala kaedah berasaskan eigengrid cenderung untuk menunjukkan artifak yang bising apabila menyesuaikan diri dengan adegan berskala besar dengan eigengrid resolusi tinggi. Model dwi-cawangan yang dicadangkan dalam kajian ini menggabungkan kelebihan kedua-dua kaedah dan mencapai pemaparan paparan novel yang realistik melalui penambahbaikan yang ketara berbanding kaedah sedia ada. Kedua-dua cawangan memperoleh peningkatan yang ketara ke atas garis dasar masing-masing.

Mencapai pemaparan bandar berskala ultra-besar yang cekap dan realistik: menggabungkan teknologi NeRF dan grid ciri

Eksperimen

Penyelidik melaporkan prestasi garis dasar dan kaedah penyelidik untuk perbandingan. Baik secara kualitatif mahupun kuantitatif. Penambahbaikan yang ketara boleh diperhatikan dari segi kualiti visual dan semua metrik. Pendekatan penyelidik mendedahkan geometri yang lebih tajam dan butiran yang lebih halus daripada kaedah berasaskan MLP semata-mata (NeRF dan Mega-NeRF). Khususnya, disebabkan kapasiti terhad dan bias spektrum NeRF, ia sentiasa tidak dapat mensimulasikan perubahan pantas dalam geometri dan warna, seperti tumbuh-tumbuhan dan jalur di taman permainan. Walaupun secara geografi membahagikan pemandangan kepada kawasan kecil, seperti yang ditunjukkan dalam garis dasar Mega-NeRF, membantu sedikit, hasil yang dibentangkan masih kelihatan terlalu lancar. Sebaliknya, berpandukan grid ciri yang dipelajari, ruang pensampelan NeRF dimampatkan dengan berkesan dan hebat berhampiran permukaan tempat kejadian. Ciri ketumpatan dan rupa yang disampel daripada satah ciri tanah secara eksplisit mewakili kandungan pemandangan, seperti yang ditunjukkan dalam Rajah 3. Walaupun kurang tepat, ia sudah menyediakan geometri dan tekstur tempatan yang bermaklumat dan menggalakkan pengekodan kedudukan NeRF untuk mengumpulkan butiran pemandangan yang hilang.

Mencapai pemaparan bandar berskala ultra-besar yang cekap dan realistik: menggabungkan teknologi NeRF dan grid ciri

Jadual 1 di bawah menunjukkan keputusan kuantitatif:

Mencapai pemaparan bandar berskala ultra-besar yang cekap dan realistik: menggabungkan teknologi NeRF dan grid ciri

Rajah 6 Peningkatan pesat dalam memberikan kesetiaan boleh diperhatikan:

Mencapai pemaparan bandar berskala ultra-besar yang cekap dan realistik: menggabungkan teknologi NeRF dan grid ciri

Untuk maklumat lanjut, sila rujuk kertas asal.

Atas ialah kandungan terperinci Mencapai pemaparan bandar berskala ultra-besar yang cekap dan realistik: menggabungkan teknologi NeRF dan grid ciri. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Bagaimana untuk membuat asal Padam dari Skrin Utama dalam iPhone Bagaimana untuk membuat asal Padam dari Skrin Utama dalam iPhone Apr 17, 2024 pm 07:37 PM

Memadamkan sesuatu yang penting daripada skrin utama anda dan cuba mendapatkannya semula? Anda boleh meletakkan ikon apl kembali pada skrin dalam pelbagai cara. Kami telah membincangkan semua kaedah yang boleh anda ikuti dan meletakkan semula ikon aplikasi pada skrin utama Cara Buat Asal Alih Keluar dari Skrin Utama dalam iPhone Seperti yang kami nyatakan sebelum ini, terdapat beberapa cara untuk memulihkan perubahan ini pada iPhone. Kaedah 1 – Gantikan Ikon Apl dalam Pustaka Apl Anda boleh meletakkan ikon apl pada skrin utama anda terus daripada Pustaka Apl. Langkah 1 – Leret ke sisi untuk mencari semua apl dalam pustaka apl. Langkah 2 – Cari ikon apl yang anda padamkan sebelum ini. Langkah 3 – Hanya seret ikon apl dari pustaka utama ke lokasi yang betul pada skrin utama. Ini adalah gambar rajah aplikasi

Peranan dan aplikasi praktikal simbol anak panah dalam PHP Peranan dan aplikasi praktikal simbol anak panah dalam PHP Mar 22, 2024 am 11:30 AM

Peranan dan aplikasi praktikal simbol anak panah dalam PHP Dalam PHP, simbol anak panah (->) biasanya digunakan untuk mengakses sifat dan kaedah objek. Objek adalah salah satu konsep asas pengaturcaraan berorientasikan objek (OOP) dalam PHP Dalam pembangunan sebenar, simbol anak panah memainkan peranan penting dalam mengendalikan objek. Artikel ini akan memperkenalkan peranan dan aplikasi praktikal simbol anak panah, dan menyediakan contoh kod khusus untuk membantu pembaca memahami dengan lebih baik. 1. Peranan simbol anak panah untuk mengakses sifat sesuatu objek Simbol anak panah boleh digunakan untuk mengakses sifat objek. Apabila kita instantiate sepasang

Daripada pemula hingga mahir: Terokai pelbagai senario aplikasi arahan tee Linux Daripada pemula hingga mahir: Terokai pelbagai senario aplikasi arahan tee Linux Mar 20, 2024 am 10:00 AM

Perintah Linuxtee ialah alat baris arahan yang sangat berguna yang boleh menulis output ke fail atau menghantar output ke arahan lain tanpa menjejaskan output sedia ada. Dalam artikel ini, kami akan meneroka secara mendalam pelbagai senario aplikasi arahan Linuxtee, daripada kemasukan kepada kemahiran. 1. Penggunaan asas Mula-mula, mari kita lihat pada penggunaan asas arahan tee. Sintaks arahan tee adalah seperti berikut: tee[OPTION]...[FAIL]...Arahan ini akan membaca data daripada input standard dan menyimpan data ke

Terokai kelebihan dan senario aplikasi bahasa Go Terokai kelebihan dan senario aplikasi bahasa Go Mar 27, 2024 pm 03:48 PM

Bahasa Go ialah bahasa pengaturcaraan sumber terbuka yang dibangunkan oleh Google dan pertama kali dikeluarkan pada tahun 2007. Ia direka bentuk untuk menjadi bahasa yang mudah, mudah dipelajari, cekap dan sangat bersesuaian, serta digemari oleh semakin ramai pembangun. Artikel ini akan meneroka kelebihan bahasa Go, memperkenalkan beberapa senario aplikasi yang sesuai untuk bahasa Go dan memberikan contoh kod khusus. Kelebihan: Konkurensi yang kuat: Bahasa Go mempunyai sokongan terbina dalam untuk benang-goroutine ringan, yang boleh melaksanakan pengaturcaraan serentak dengan mudah. Goroutin boleh dimulakan dengan menggunakan kata kunci go

Aplikasi luas Linux dalam bidang pengkomputeran awan Aplikasi luas Linux dalam bidang pengkomputeran awan Mar 20, 2024 pm 04:51 PM

Aplikasi Linux yang luas dalam bidang pengkomputeran awan Dengan perkembangan berterusan dan mempopularkan teknologi pengkomputeran awan, Linux, sebagai sistem pengendalian sumber terbuka, memainkan peranan penting dalam bidang pengkomputeran awan. Disebabkan oleh kestabilan, keselamatan dan fleksibilitinya, sistem Linux digunakan secara meluas dalam pelbagai platform dan perkhidmatan pengkomputeran awan, menyediakan asas yang kukuh untuk pembangunan teknologi pengkomputeran awan. Artikel ini akan memperkenalkan rangkaian luas aplikasi Linux dalam bidang pengkomputeran awan dan memberikan contoh kod khusus. 1. Aplikasi teknologi virtualisasi Linux dalam platform pengkomputeran awan Teknologi Virtualisasi

Memahami cap masa MySQL: fungsi, ciri dan senario aplikasi Memahami cap masa MySQL: fungsi, ciri dan senario aplikasi Mar 15, 2024 pm 04:36 PM

Cap waktu MySQL ialah jenis data yang sangat penting, yang boleh menyimpan tarikh, masa atau tarikh tambah masa. Dalam proses pembangunan sebenar, penggunaan cap masa yang rasional boleh meningkatkan kecekapan operasi pangkalan data dan memudahkan pertanyaan dan pengiraan berkaitan masa. Artikel ini akan membincangkan fungsi, ciri dan senario aplikasi cap waktu MySQL, dan menerangkannya dengan contoh kod khusus. 1. Fungsi dan ciri cap waktu MySQL Terdapat dua jenis cap masa dalam MySQL, satu ialah TIMESTAMP

Tutorial Apple tentang cara menutup aplikasi yang sedang berjalan Tutorial Apple tentang cara menutup aplikasi yang sedang berjalan Mar 22, 2024 pm 10:00 PM

1. Mula-mula kita klik pada titik putih kecil. 2. Klik pada peranti. 3. Klik Lagi. 4. Klik Penukar Aplikasi. 5. Tutup sahaja latar belakang aplikasi.

Memahami mekanisme dan aplikasi pengurusan tindanan Golang Memahami mekanisme dan aplikasi pengurusan tindanan Golang Mar 13, 2024 am 11:21 AM

Golang ialah bahasa pengaturcaraan sumber terbuka yang dibangunkan oleh Google yang mempunyai banyak ciri unik dalam pengaturcaraan serentak dan pengurusan memori. Antaranya, mekanisme pengurusan tindanan Golang merupakan ciri penting Artikel ini akan menumpukan pada mekanisme dan aplikasi pengurusan tindanan Golang, dan memberikan contoh kod khusus. 1. Pengurusan tindanan di Golang Di Golang, setiap goroutine mempunyai timbunan sendiri. Tindanan digunakan untuk menyimpan maklumat seperti parameter, pembolehubah setempat, dan alamat pemulangan fungsi bagi panggilan fungsi.

See all articles