Penamat reflektif berkilat tinggi? Google NeRF-Casting: Pengesanan sinar boleh melakukannya!

NeRF tidak lagi "takut" kepada pantulan spekular yang hampir

Varian NeRF terdahulu menggunakan perceptron berbilang lapisan (MLP) untuk memetakan daripada koordinat 3D kepada ketumpatan volum dan warna bergantung pada sudut pandangan, tetapi mewakili geometri dan warna 3D terperinci yang diperlukan besar MLP sangat lambat untuk dilatih dan dinilai. Kerja baru-baru ini telah memfokuskan untuk menjadikan NeRF lebih cekap dengan menggantikan MLP besar dengan struktur data seperti grid voxel atau gabungan grid dan MLP kecil. Walaupun boleh berskala untuk mewakili pemandangan berskala besar yang terperinci, kelebihannya terhad kepada geometri 3D dan kebanyakannya warna meresap .

Meluaskan keupayaan NeRF untuk memodelkan penampilan yang bergantung pada sudut pandangan yang realistik kekal sebagai cabaran. Model terkini untuk sintesis paparan objek berkilat dihadkan dalam dua cara: mereka hanya boleh mensintesis pantulan tepat pencahayaan ambien jauh dan berprestasi buruk dalam menghasilkan pantulan realistik kandungan pemandangan berhampiran. Pergantungan pada MLP besar untuk mewakili sinaran keluar yang bergantung pada sudut pandangan pada bila-bila masa adalah sukar untuk skala kepada adegan realistik yang lebih besar dengan pantulan terperinci.

• NeRF-Casting ialah kaedah untuk menyelesaikan masalah ini dengan memperkenalkan pengesanan sinar ke dalam model pemaparan NeRF. Ia terutamanya melibatkan 3 bidang:

Pemodelan Refleksi

: Kaedah pemodelan pantulan tradisional menggunakan undang-undang fizikal dan teknik berasaskan imej untuk mewakili sifat pantulan permukaan. Dalam beberapa tahun kebelakangan ini, rangkaian saraf telah digunakan untuk mempelajari sifat pantulan, terutamanya di bawah bahan yang kompleks dan keadaan pencahayaan.

• Ray Tracing: Ray tracing ialah teknik grafik komputer yang digunakan secara meluas yang menghasilkan imej realistik dengan mensimulasikan interaksi cahaya dengan permukaan objek. Teknik pengesanan sinar telah digunakan untuk menghasilkan kesan pantulan dan pembiasan berkualiti tinggi, tetapi dengan kerumitan pengiraan yang tinggi.
• Pengimejan 3D: Teknologi pengimejan 3D melibatkan penjanaan perwakilan tiga dimensi daripada data berbilang paparan. NeRF dan kaedah rangkaian saraf yang lain telah mencapai kemajuan yang ketara dalam bidang pengimejan 3D dengan mempelajari geometri 3D dan taburan warna pemandangan untuk menjana pandangan baharu.
Daripada menanyakan MLP yang mahal pada titik setiap sinar kamera untuk mendapatkan penampilan yang bergantung pada sudut pandangan, NeRF-Casting memancarkan garis pantulan dari titik ini ke dalam geometri NeRF, mensampel pantulan anti-alias dengan betul dalam pemandangan ciri kandungan dan gunakan MLP kecil untuk menyahkod ciri ini kepada warna pantulan. Memancarkan sinar ke dalam NeRF yang dipulihkan secara semula jadi mensintesis pantulan konsisten kandungan dalaman dekat dan jauh. Penampilan pengkomputeran melalui pengesanan sinar mengurangkan beban untuk mewakili fungsi berkaitan sudut pandang yang sangat terperinci dengan MLP yang besar pada setiap titik di tempat kejadian.

Rakan-rakan yang berminat boleh menonton kesan video: https://nerf-casting.github.io

Butiran model

Tiga matlamat utama NeRF-Casting

: amaun untuk melakukannya tanpa berharap semula

Model pantulan yang tepat dan terperinci tanpa penilaian MLP yang besar.

Ingin memancarkan hanya sedikit cahaya yang dipantulkan.

Ingin meminimumkan jumlah pengiraan yang diperlukan untuk mencari perwakilan kami pada setiap titik sinar pantulan ini.

• Berdasarkan Zip-NeRF[2]: menggunakan grid cincang berbilang skala untuk menyimpan ciri 3D, MLP kecil (1 lapisan, lebar 64) untuk menyahkod ciri ini kepada ketumpatan, MLP yang lebih besar (3 lapisan, lebar 256 ) Nyahkod ciri ini kepada warna. Ini bermakna agak murah untuk menanyakan ketumpatan dan ciri-ciri sampel sepanjang sinar. Memandangkan kekangan ini, proses berikut diikuti untuk menghasilkan penampilan spekular:
• Soal ketumpatan volum sepanjang setiap sinar kamera untuk mengira jangkaan titik akhir sinar dan permukaan normal.

Membuat kon pantulan melalui titik akhir yang diingini ke arah pantulan.

Gunakan MLP kecil untuk menggabungkan ciri pantulan terkumpul dengan kuantiti sampel lain (seperti ciri warna meresap dan pemberat campuran untuk setiap sampel) untuk menjana nilai warna bagi setiap sampel sepanjang sinar.

• Alpha menggabungkan sampel dan ketumpatan ini untuk mendapatkan warna akhir.
• Surian Kon Pantulan

Kemudian bina arah cahaya pantulan baharu dengan memantulkan sinar awal mengenai permukaan normal

. kepada warna yang dipantulkan. Ciri jangkaan ini boleh ditulis sebagai:

Anggaran kamiran ke atas sinar sampel rawak menggunakan kaedah Monte Carlo adalah sangat mahal kerana setiap sampel memerlukan pemaparan isipadu sepanjang sinar. Diilhamkan oleh Zip-NeRF, kamiran ini dianggarkan menggunakan set kecil sampel perwakilan digabungkan dengan penolakan ciri. Walau bagaimanapun, tidak seperti Zip-NeRF, kami melakukan kedua-dua operasi dalam domain arah dua dimensi dan bukannya dalam ruang Euclidean tiga dimensi.

Pensampelan berarah

Penurunan pemberat ciri refleksi

Persampelan arah yang diterangkan di atas membantu memilih set sinaran yang mewakili kecil. Walau bagaimanapun, untuk permukaan yang mempunyai kekasaran yang tinggi, sinaran sampel mungkin berjauhan berbanding sel grid 3D yang mendasari. Ini bermakna ciri-ciri dalam Persamaan 9 mungkin tertakluk kepada artifak, dan perubahan kecil dalam arah sinar pantulan boleh menyebabkan perubahan besar dalam rupa.

Untuk mengelakkan perkara ini berlaku, laraskan teknologi "pemberatan ciri" dalam Zip-NeRF kepada tetapan orientasi. Ini dicapai dengan mendarab ciri yang sepadan dengan voxel yang lebih kecil berbanding dengan kon vMF dengan pengganda kecil, mengurangkan kesannya pada warna yang diberikan. Mengikut pendekatan Zip-NeRF, tentukan ciri pengurangan berat pada titik Titik pensampelan diberikan warna menggunakan gabungan cembung dua komponen warna:

Komponen warna pertama Cv adalah serupa dengan bergantung pada paparan NeRF biasa model penampilan:

Komponen kedua Cr bertujuan untuk Mensimulasikan penampilan berkilat, dikira seperti berikut:

Perwakilan geometri dan penyelarasan

Apresiasi terhadap kesannya RF).

Kaedah

: Kon pantulan dipantulkan dari permukaan di tempat kejadian dan dijejaki melalui NeRF, digabungkan dengan set teknik baru untuk anti-alias pantulan ini, membolehkan sintesis pantulan terperinci dengan tepat untuk kandungan jauh dan dekat medan. Pantulan bergerak secara konsisten dan lancar merentasi permukaan.

Perbincangan

: Secara kuantitatif mengatasi teknik sintesis pandangan sedia ada, terutamanya untuk permukaan licin yang menunjukkan pantulan spekular terperinci. Penambahbaikan visual kualitatif jauh melebihi peningkatan kuantitatif dalam metrik imej. Nota khusus ialah gerakan pantulan yang lancar dan konsisten yang disintesis oleh kaedah ini, yang lebih realistik daripada penampilan bergantung pada pandangan yang dibentangkan oleh kaedah garis dasar. Ini menunjukkan bahawa metrik ralat imej standard (PSNR, SSIM, dll.) tidak mencukupi untuk menilai kualiti penampilan bergantung kepada paparan

.

Atas ialah kandungan terperinci Penamat reflektif berkilat tinggi? Google NeRF-Casting: Pengesanan sinar boleh melakukannya!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!