ImageNet dalam dunia material, pangkalan data tangkapan nyata bahan 6 dimensi berskala besar OpenSVBRDF dikeluarkan｜SIGGRAPH Asia

Dalam bidang grafik pengiraan, penampilan bahan menggambarkan interaksi fizikal yang kompleks antara objek sebenar dan cahaya, yang biasanya boleh dinyatakan sebagai fungsi pengedaran pantulan dua arah (SVBRDF) yang berubah mengikut kedudukan ruang. Ia merupakan komponen penting pengkomputeran visual dan mempunyai aplikasi yang meluas dalam bidang seperti warisan budaya, e-dagang, permainan video dan kesan visual.

Dalam dua dekad yang lalu, terutamanya selepas populariti pembelajaran mendalam, permintaan untuk penampilan bahan digital ketepatan tinggi dan pelbagai telah meningkat dalam akademik dan industri. Walau bagaimanapun, disebabkan oleh cabaran teknikal, masih sangat sukar untuk mengumpul pangkalan data yang besar, dan bilangan pangkalan data tangkapan nyata yang tersedia secara terbuka bagi penampilan bahan pada masa ini sangat terhad.

Untuk tujuan ini, pasukan penyelidik Makmal Utama Kebangsaan bagi Sistem Reka Bentuk dan Grafik Berbantukan Komputer Universiti Zhejiang dan Hangzhou Xiangxin Technology Co., Ltd. bersama-sama mencadangkan sistem bersepadu baharu untuk kukuh, berkualiti tinggi dan reka bentuk yang cekap. Menggunakan sistem ini, pasukan penyelidik membina pangkalan data bahan awam OpenSVBRDF. Rajah 1: Paparan beberapa sampel bahan dalam pangkalan data OpenSVBRDF. Setiap baris tergolong dalam kategori bahan yang sama.

Ini ialah pangkalan data terukur berskala besar pertama bagi SVBRDF 6-dimensi, dengan sejumlah 1,000 sampel satah berkualiti tinggi dan resolusi spatial 1,024×1,024, ^{ekuivalen lebih daripada BRDFekuivalen} , meliputi 9 kategori termasuk kayu, fabrik dan logam.

Laman utama pangkalan data: https://opensvbrdf.github.io/

Pada masa ini, pangkalan data adalah percuma sepenuhnya untuk aplikasi bukan komersial. Anda hanya perlu menyerahkan maklumat asas untuk memohon akaun di tapak web Selepas lulus semakan, anda boleh memuat turun terus data dan kod yang berkaitan termasuk peta tekstur GGX. Kertas penyelidikan berkaitan "OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance" telah diterima sebagai rencana panjang oleh ACM SIGGRAPH ASIA 2023 (Journal Track), persidangan antarabangsa teratas mengenai grafik komputer.

Laman utama kertas: https://svbrdf.github.io/

Cabaran Teknikal

kaedah pensampelan cahaya yang berbeza dan pensampelan fizikal yang berbeza [Lawrence et al. 2006]. Walaupun ini boleh memperoleh hasil pemerolehan yang berkualiti tinggi dan mantap, ia tidak cekap dan memerlukan masa dan kos penyimpanan yang tinggi. Pilihan lain ialah kaedah pembinaan semula berasaskan pengetahuan terdahulu yang boleh membina semula bahan daripada data sampel yang jarang. Walaupun ini meningkatkan kecekapan, kualitinya tidak memuaskan apabila syarat a priori tidak dipenuhi [Nam et al 2018]. Selain itu, walaupun teknologi pemultipleksan laluan optik SOTA semasa telah mencapai kecekapan pemerolehan dan kualiti pembinaan semula yang tinggi, algoritma ini tidak cukup mantap apabila berurusan dengan bahan yang sangat kompleks seperti logam berus dan venir yang digilap [Kang et al 2018].

Rajah 2: Kerja perwakilan penyelidikan koleksi bahan sedia ada. Dari kiri ke kanan mereka adalah [Lawrence et al 2006], [Nam et al 2018] dan [Kang et al. Antaranya [Kang et al 2018] ialah kerja awal pasukan yang diterbitkan dalam ACM SIGGRAPH pada 2018.

^Perkakasan

Untuk mengimbas penampilan bahan dengan cekap, pasukan penyelidik membina peranti pemultipleksan pencahayaan dekat medan hampir separuh kubus berukuran 70cm × 70cm . Sampel diletakkan pada plat akrilik jernih dan boleh digelongsor masuk/keluar dengan cepat melalui slaid laci untuk mencapai kadar pemprosesan yang tinggi. Peranti ini terdiri daripada 2 kamera penglihatan mesin dan 16,384 LED kecerahan tinggi Kedua-dua kamera ini menangkap sampel dari sudut kira-kira 90 darjah (sudut tontonan utama) dan 45 darjah (sudut tontonan kedua LED diedarkan pada 6 sisi peranti). . Litar kawalan prestasi tinggi yang dibangunkan sendiri bertanggungjawab untuk kawalan kecerahan bebas bagi setiap LED dan mencapai penyegerakan ketepatan tinggi unjuran sumber cahaya dan pendedahan kamera pada peringkat perkakasan.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                   ^{Rajah 3: Penampilan peralatan pengumpulan dan foto dari dua sudut tontonan.}

Pemerolehan dan pembinaan semula

Sistem ini secara inovatif menggabungkan kelebihan dua kaedah popular yang kini berdasarkan ramalan rangkaian dan penalaan halus melalui pengoptimuman fizikal, dan boleh kedua-duanya dan boleh meningkatkan lagi kualiti hasil akhir melalui penalaan halus, sekali gus mencapai kekukuhan tinggi, pemerolehan berkualiti tinggi dan cekap serta pembinaan semula planar SVBRDF buat kali pertama.

Secara khusus, untuk membina semula sampel fizikal, para penyelidik mula-mula mewujudkan korespondensi berketepatan tinggi antara kedua-dua paparan kamera dengan memadankan ciri SIFT padat di bawah pencahayaan seragam. Untuk pemerolehan fizikal, corak pencahayaan mula-mula dioptimumkan sebagai sebahagian daripada pengekod automatik untuk mencapai pemerolehan yang cekap. Pengekod auto secara automatik belajar cara membina semula penampilan kompleks berdasarkan pengukuran daripada dua pandangan dan mewakili keputusan sebagai perwakilan saraf pertengahan. Selepas itu, ekspresi saraf telah diperhalusi dengan merancang ralat imej berdasarkan foto yang diambil oleh kamera paparan utama di bawah 63 sumber cahaya linear setara untuk meningkatkan kualiti dan keteguhan hasil akhir. Rajah 3 menunjukkan aliran pemprosesan keseluruhan sistem. Sila lihat kertas asal untuk butiran lanjut. Rajah 4: Proses pemerolehan dan pembinaan semula keseluruhan sistem.

Keputusan

Para penyelidik mengumpul dan membina semula penampilan sejumlah 1,000 sampel dalam 9 kategori penggunaan terus fizik (BR) yang digunakan secara langsung. , kajian itu juga akan Ekspresi Neural telah dipasang pada parameter model GGX BRDF anisotropik standard industri. Rajah 5 menunjukkan sub-parameter/sifat hasil pembinaan semula bahan. Setiap sampel menyimpan 193 foto HDR mentah (jumlah saiz 15GB), perwakilan saraf pertengahan (290MB) dan 6 peta, termasuk peta tekstur dan ketelusan yang mewakili parameter GGX (jumlah saiz 55MB). Resolusi spatial bagi kedua-dua ekspresi neural dan peta tekstur ialah 1,024×1,024.

                                                                                                                                                                                 .

Untuk membuktikan ketepatan keputusan pembinaan semula, penyelidik membandingkan foto dari perspektif utama (baris pertama rajah di bawah) dan hasil pemetaan ekspresi saraf (baris kedua rajah di bawah). Ralat kuantitatif (dinyatakan sebagai SSIM/PSNR) dicatatkan di bahagian bawah plot. Seperti yang dapat dilihat daripada keputusan dalam rajah di bawah, sistem ini mencapai pembinaan semula bahan berkualiti tinggi (SSIM>=0.97, PSNR>=34db).和 Rajah 6: Perbandingan gambar sebenar dan hasil lukisan ekspresi saraf di bawah sudut perspektif utama.

Untuk membuktikan lagi generalisasi hasil pembinaan semula dalam domain sudut tontonan, penyelidik membandingkan foto yang diambil dari dua sudut pandangan di bawah sumber cahaya titik dan keputusan yang dilukis menggunakan parameter pemasangan GGX untuk mengesahkan pembinaan semula .

                                                                                                                                                                                           .

Para penyelidik juga menunjukkan aplikasi pangkalan data dalam tiga aspek: penjanaan bahan, pengelasan bahan dan pembinaan semula bahan. Sila rujuk kertas asal untuk butiran khusus.

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                ^{. Rajah 9: Menggunakan OpenSVBRDF untuk melatih pencahayaan aktif untuk meningkatkan ketepatan pengelasan bahan. Rajah 10: Menggunakan OpenSVBRDF untuk meningkatkan kualiti pembinaan semula BRDF berdasarkan pensampelan titik tunggal (kiri) dan pemultipleksan laluan optik (kanan).}

Outlook

Penyelidik akan bekerja keras untuk mengembangkan pangkalan data sedia ada dan menambah sampel bahan yang menunjukkan rupa yang pelbagai. Pada masa hadapan, mereka juga merancang untuk membina pangkalan data objek terukur berskala besar dan berketepatan tinggi yang merangkumi kedua-dua rupa bahan dan bentuk geometri. Di samping itu, penyelidik akan mereka bentuk penanda aras awam ke arah anggaran bahan, klasifikasi dan penjanaan berdasarkan OpenSVBRDF, dan menyediakan jaminan data yang kukuh untuk menggalakkan pembangunan masa depan penyelidikan berkaitan melalui ujian standard objektif dan kuantitatif.

Atas ialah kandungan terperinci ImageNet dalam dunia material, pangkalan data tangkapan nyata bahan 6 dimensi berskala besar OpenSVBRDF dikeluarkan｜SIGGRAPH Asia. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!