OpenSVBRDF dikeluarkan: pangkalan data tangkapan nyata bahan 6 dimensi berskala besar di peringkat ImageNet dalam dunia material

Dalam bidang grafik pengiraan, penampilan bahan menggambarkan interaksi fizikal yang kompleks antara objek sebenar dan cahaya. Perihalan ini sering dipanggil Fungsi Pengedaran Refleksi Dwi Arah Berubah-Ruang (SVBRDF). Dalam pengkomputeran visual, ia merupakan komponen penting dan digunakan secara meluas dalam bidang seperti warisan budaya, e-dagang, permainan video dan kesan visual

Dalam dua dekad yang lalu, terutamanya selepas populariti pembelajaran mendalam, Terdapat peningkatan permintaan dalam akademik dan industri untuk ketepatan tinggi, penampilan bahan digital yang pelbagai. Walau bagaimanapun, disebabkan oleh cabaran teknikal, mengumpul pangkalan data yang besar masih menjadi tugas yang sangat sukar Pada masa ini, bilangan pangkalan data tangkapan sebenar bagi penampilan bahan adalah sangat terhad. bersama-sama mencadangkan sistem bersepadu baharu untuk pemerolehan bahan anisotropik planar yang mantap, berkualiti tinggi dan cekap. Menggunakan sistem ini, pasukan penyelidik membina pangkalan data bahan awam OpenSVBRDF

.

Berikut ialah paparan beberapa sampel bahan dalam pangkalan data OpenSVBRDF, seperti ditunjukkan dalam Rajah 1. Setiap baris tergolong dalam kategori bahan yang sama

Ini ialah pangkalan data terukur berskala besar pertama SVBRDF 6 dimensi, dengan sejumlah 1,000 sampel satah berkualiti tinggi dan resolusi spatial 1,024 × 1,024, yang bersamaan dengan lebih daripada 1 bilion BRDF

yang diukur meliputi 9 kategori termasuk kayu, fabrik dan logam.

Laman utama pangkalan data: https://opensvbrdf.github.io/Pada masa ini, pangkalan data adalah percuma sepenuhnya untuk aplikasi bukan komersial. Anda hanya perlu menyerahkan maklumat asas di tapak web untuk memohon akaun Selepas semakan, anda boleh memuat turun terus data dan kod yang berkaitan termasuk peta tekstur GGX. Kertas penyelidikan berkaitan "OpenSVBRDF: Pangkalan data yang mengandungi pemantulan spatial yang berbeza-beza terukur" telah diterima oleh persidangan antarabangsa teratas mengenai grafik komputer ACM SIGGRAPH ASIA 2023 (kertas jurnal)

Sila klik pautan berikut untuk melihat kertas kerja laman utama: https: //svbrdf.github.io/

Cabaran Teknikal

Tanpa mengubah maksud asal, apa yang perlu ditulis semula ialah: Menurut [Lawrence et al 2006], kaedah persampelan langsung ialah di bawah keadaan pencahayaan yang berbeza Lakukan pengukuran intensif bahan fizikal pada sudut pandangan yang berbeza. Walaupun kaedah ini boleh memperoleh hasil pemerolehan yang berkualiti tinggi dan stabil, ia kurang cekap dan memerlukan banyak masa dan kos penyimpanan. Pilihan lain ialah kaedah pembinaan semula berdasarkan pengetahuan sedia ada, yang boleh membina semula bahan daripada data sampel yang jarang. Walaupun kaedah ini meningkatkan kecekapan, kualiti pembinaan semula mungkin tidak memuaskan apabila syarat sebelum ini tidak dipenuhi [Nam et al 2018]. Selain itu, walaupun teknologi pemultipleksan laluan optik semasa telah mencapai kecekapan pemerolehan dan kualiti pembinaan semula yang tinggi, keteguhan algoritma masih perlu dipertingkatkan dalam memproses bahan yang sangat kompleks, seperti logam berus dan venir yang digilap [Kang et al 2018]

Rajah 2: Kerja perwakilan penyelidikan koleksi bahan sedia ada. Dari kiri ke kanan mereka adalah [Lawrence et al 2006], [Nam et al 2018] dan [Kang et al. Antaranya [Kang et al 2018] ialah kerja awal pasukan yang diterbitkan dalam ACM SIGGRAPH pada 2018.

Perkakasan

Untuk mengimbas penampilan bahan dengan cekap, pasukan penyelidik membina peranti pemultipleksan pencahayaan hampir separuh kubus dengan dimensi kira-kira 70sm×70sm×40sm. Sampel diletakkan pada plat akrilik jernih dan boleh digelongsor masuk/keluar dengan cepat melalui slaid laci untuk mencapai kadar pemprosesan yang tinggi. Peranti ini terdiri daripada 2 kamera penglihatan mesin dan 16,384 LED kecerahan tinggi Kedua-dua kamera ini menangkap sampel dari sudut kira-kira 90 darjah (sudut tontonan utama) dan 45 darjah (sudut tontonan kedua LED diedarkan pada 6 sisi peranti). . Litar kawalan prestasi tinggi yang dibangunkan sendiri bertanggungjawab untuk kawalan kecerahan bebas bagi setiap LED dan mencapai penyegerakan ketepatan tinggi unjuran sumber cahaya dan pendedahan kamera pada peringkat perkakasan.

Sila lihat Rajah 3: Kemunculan peralatan pemerolehan dan foto yang diambil dari dua sudut berbeza

Pemerolehan dan pembinaan semula

Sistem ini menggabungkan secara unik kedua-dua kaedah yang popular pada masa ini berdasarkan ramalan rangkaian dan halus Untuk meningkatkan kecekapan pengumpulan fizikal. Pengoptimuman corak pencahayaan yang boleh dibezakan sambil meningkatkan lagi kualiti hasil melalui penalaan halus. Ini adalah kali pertama untuk mencapai pemerolehan dan pembinaan semula planar SVBRDF

yang sangat mantap, berkualiti tinggi dan cekap, khususnya, untuk membina semula sampel fizikal, para penyelidik mula-mula menubuhkan dua struktur dengan memadankan ciri SIFT padat di bawah pencahayaan seragam surat-menyurat ketepatan antara sudut kamera. Untuk pemerolehan fizikal, corak pencahayaan mula-mula dioptimumkan sebagai sebahagian daripada pengekod automatik untuk mencapai pemerolehan yang cekap. Pengekod auto secara automatik belajar cara membina semula penampilan kompleks berdasarkan pengukuran daripada dua pandangan dan mewakili keputusan sebagai perwakilan saraf pertengahan. Selepas itu, ekspresi saraf telah diperhalusi dengan merancang ralat imej untuk meningkatkan kualiti dan keteguhan hasil akhir, berdasarkan foto yang diambil oleh kamera pandangan utama di bawah 63 sumber cahaya linear yang setara. Rajah 3 menunjukkan aliran pemprosesan keseluruhan sistem. Untuk butiran, sila rujuk kertas asal

Rajah 4: Proses pemerolehan dan pembinaan semula keseluruhan sistem.

Keputusan

Pasukan penyelidik mengumpul data penampilan dan mengumpul sejumlah 1,000 sampel dibahagikan kepada 9 kategori. Untuk memudahkan penggunaan saluran paip pemaparan berasaskan fizik (PBR), kajian itu turut menyesuaikan ungkapan saraf kepada parameter model GGX BRDF anisotropik standard industri. Rajah 5 menunjukkan sub-parameter dan sifat hasil pembinaan semula bahan. Setiap sampel mengandungi 193 foto HDR asal (jumlah saiz 15GB), ekspresi saraf perantaraan (290MB) dan 6 peta, termasuk peta tekstur dan peta ketelusan yang mewakili parameter GGX (jumlah saiz 55MB). Resolusi spatial bagi ekspresi neural dan peta tekstur ialah 1,024×1,024

Kandungan ditulis semula: Rajah 5: Atribut sub-item hasil bahan yang dibina semula (termasuk ekspresi neural, pemantulan resap kekasaran, kepekaan pemantulan kekasaran, kepekaan dsb.)

Untuk membuktikan ketepatan keputusan pembinaan semula, penyelidik membandingkan foto dari perspektif utama (baris pertama rajah di bawah) dan hasil pemetaan ekspresi saraf (baris kedua rajah di bawah). Ralat kuantitatif (dinyatakan sebagai SSIM/PSNR) dicatatkan di bahagian bawah plot. Seperti yang dapat dilihat daripada keputusan dalam rajah di bawah, sistem ini mencapai pembinaan semula bahan berkualiti tinggi (SSIM>=0.97, PSNR>=34db).

Rajah 6: Perbandingan foto sebenar dan hasil pemetaan ekspresi saraf daripada perspektif utama.

Untuk membuktikan lagi kebolehgeneralisasian keputusan pembinaan semula dalam domain sudut tontonan, para penyelidik membandingkan foto yang diambil dari dua sudut pandangan di bawah pencahayaan sumber cahaya titik dengan keputusan yang dilukis menggunakan parameter pemasangan GGX, mengesahkan bahawa keputusan pembinaan semula merangkumi ketepatan Perspektif.

Gambar 7: Perbandingan foto sebenar yang diambil dan hasil yang dilakar menggunakan parameter pemasangan GGX anisotropik dalam dua sudut pandangan

Para penyelidik juga menunjukkan penggunaan pangkalan data dalam penjanaan bahan dan bahan. aplikasi dalam pembinaan semula bahan. Sila rujuk kertas asal untuk butiran khusus. .

Kandungan yang ditulis semula adalah seperti berikut: Gambar 10: Menggunakan OpenSVBRDF untuk meningkatkan kualiti pembinaan semula BRDF berdasarkan pensampelan titik tunggal (kiri) dan pemultipleksan laluan optik (kanan)

Outlook

Outlook

akan bekerja keras Kembangkan pangkalan data sedia ada untuk menambah sampel bahan yang menunjukkan rupa yang pelbagai. Pada masa hadapan, mereka juga merancang untuk membina pangkalan data objek terukur berskala besar dan berketepatan tinggi yang merangkumi kedua-dua rupa bahan dan bentuk geometri. Di samping itu, penyelidik akan mereka bentuk penanda aras awam ke arah anggaran bahan, klasifikasi dan penjanaan berdasarkan OpenSVBRDF, dan menyediakan jaminan data yang kukuh untuk menggalakkan pembangunan masa depan penyelidikan berkaitan melalui ujian standard objektif dan kuantitatif.

Atas ialah kandungan terperinci OpenSVBRDF dikeluarkan: pangkalan data tangkapan nyata bahan 6 dimensi berskala besar di peringkat ImageNet dalam dunia material. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!