材質界的ImageNet，大規模6維材質實拍資料庫OpenSVBRDF發布｜SIGGRAPH Asia

在計算圖形學領域，材質外觀刻畫了真實物體與光線之間的複雜物理交互，通常可表達為隨空間位置變化的雙向反射分佈函數（Spatially-Varying Bidirectional Reflectance Distribution Function，縮寫為SVBRDF） 。它是視覺運算中不可或缺的一部分，在文化遺產、電​​子商務、電子遊戲和視覺特效等領域中有著廣泛的應用。

在過去的二十年裡，特別是深度學習流行後，學術界與工業界對高精度、多樣化數位材質外觀的需求不斷增加。但由於技術上的挑戰，採集大型資料庫仍然十分困難，目前公開可用的材質外觀實拍資料庫的數量非常有限。

為此，浙江大學電腦輔助設計與圖形系統全國重點實驗室和杭州相芯科技有限公司的研究團隊聯合提出了一種新型整合系統，使用於魯棒、高品質和高效地採集平面各向異性材質外觀。利用該系統，研究團隊建構了 OpenSVBRDF 公開材質資料庫。

                               ^{圖 1：OpenSVBRDF 資料庫中進行中的局部範例展示中展示。每一行同屬一個材質類別。}

這是第一個大規模6 維SVBRDF 的實測資料庫，共有1,000 個高品質平面樣本，空間解析度為1,024×1,024 ，等效為超過10 億個實測BRDF，涵蓋了包括木材、織物和金屬在內的9 個類別。

資料庫首頁：https://opensvbrdf.github.io/

目前，資料庫對非商業應用完全免費。只需要提交基本資料在網站上申請帳號，通過審核後，即可直接下載包括 GGX 紋理貼圖在內的相關資料和代碼。相關研究論文《OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance》已被電腦圖形學頂級國際會議 ACM SIGGRAPH ASIA 2023 (Journal Track) 長文接收。

論文首頁：https://svbrdf.github.io/

技術挑戰

直接取樣方法在不同的光照和觀察角度的組合下對物理材質進行密集測量 [Lawrence et al. 2006]。這麼做雖然能夠獲得高品質且穩健的採集結果，但其效率很低，需要高昂的時間和儲存成本。還有一種選擇是基於先驗知識的重建方法，可以從稀疏的採樣資料中重建材質。這樣雖然提高了效率，但當先驗條件不滿足時，其品質不盡人意 [Nam et al. 2018]。此外，目前SOTA光路復用技術，雖然達到了較高的採集效率和重建質量，但在處理如拉絲金屬和拋光木皮等高度複雜材質時，演算法還不夠魯棒 [Kang et al. 2018]。

^{圖 2：現有材質採集研究的代表工作。由左至右分別是 [Lawrence et al. 2006]，[Nam et al. 2018] 以及 [Kang et al. 2018]。其中 [Kang et al. 2018] 為該團隊在 2018 年發表於 ACM SIGGRAPH 的早期工作。}

硬體

#為高效能掃描材質外觀，研究團隊搭建了一個接近半立方體的近場光照多工設備，其尺寸約為70cm×70cm×40cm。樣本被放置在一塊透明的壓克力板上，可以透過抽屜滑軌快速滑入 / 滑出，來實現高吞吐率。該設備由 2 台機器視覺相機和 16,384 個高亮度 LED 組成，兩台相機分別從大約 90 度（主視角）和 45 度（次視角）的角度拍攝樣本，LED 分佈在設備的 6 個面上。自主研發的高效能控制電路負責對每個 LED 進行獨立亮度控制，並在硬體層面實現了光源投射和相機曝光的高精度同步。

                                ^{圖 3：擷取裝置外觀中所使用的資料。}

#採集重建

本系統創新地結合了目前基於網路預測和基於微調兩大類流行方法的優點，既能透過可微分光照圖案優化來增加物理採集效率，又能透過微調來進一步提升最終結果質量，從而首次實現了對於平面SVBRDF 的高魯棒性、高品質以及高效率的採集重建。

具體來說，為了重建物理樣本，研究者首先透過在均勻照明下匹配密集 SIFT 特徵來建立兩個相機視角之間的高精度對應關係。對於物理採集，首先將光照圖案作為自編碼器的一部分進行最佳化，實現高效採集。這個自編碼器自動學習如何基於兩個視角的測量值來重建複雜外觀，並將結果表示為中間神經表達。隨後，根據主視角相機在 63 個等效線性光源下拍攝的照片，透過繪製影像誤差對神經表達進行微調，以提高最終結果的品質和穩健性。圖 3 展示了整個系統的處理流程。更多詳細資訊請參閱原文論文。

                               ^{圖 4中建立系統中。}

結果

#研究者共採集重建了9個類別，共計1,000 個樣本的外觀，為了方便基於物理的標準繪製管線（PBR）直接使用，該研究還將神經表達擬合到了業界標準的各向異性GGX BRDF 模型參數。圖 5 展示了材質重建結果的分項參數 / 屬性。每個樣本儲存了 193 張原始 HDR 照片（總大小 15GB）、中間神經表現（290MB），以及 6 張張貼圖，包括表示 GGX 參數的紋理貼圖和透明度貼圖（總大小 55MB）。神經表現和紋理貼圖的空間解析度均為 1,024×1,024。

                                 ^{時中排位圖 5：材料粗化結果中分項特性（含神經反射與漫射率、高表現率）。}

為了證明重建結果的正確性，研究者將主視角下的照片（下圖第一行）和神經表達繪製結果（下圖第二行）進行了比較。定量誤差（以 SSIM/PSNR 表達）標註在繪製圖片的底部。由下圖結果可見，本系統實現了高品質材質重建（SSIM>=0.97, PSNR>=34db）。

                                 ^{之後中擷取中上的結果所顯示結果。}

為了進一步證明重建結果的視角域泛化性，研究者將點光源照射下、兩個視角所拍攝的照片和使用GGX 擬合參數繪製的結果進行了比較，驗證了重建結果的跨視角正確性。

                                ^{圖上繪製在兩個中對視圖與各向異性 GGX 擬合參數的結果繪製結果。}

研究人員也展示了資料庫在材質生成、材質分類、材質重建三方面的應用。具體細節請參考原始論文。

                                    ^配備作用

                                   ^{圖 9中使用中對式培養 9：利用 OpenBR            圖 9：利用 系統訓練 9：利用 OpenBR 分類精確分類。}

                                ^{圖10：利用以OpenSVBRDF時為基礎來提升基於單點取樣與基於單點取樣（基於複路和單點取樣）以提高單點方法的BRDF 重建品質。}

展望

研究人員將努力擴展現有資料庫，增加展現多樣性外觀的材質樣本。未來，他們也計劃建立同時包含材質外觀和幾何形狀的大規模高精度實測物體資料庫。此外，研究人員將基於 OpenSVBRDF 設計在材質估計、分類和生成等方向上的公開 Benchmark，透過客觀定量的標準測試，為推動相關研究的未來發展提供堅實的數據保障。

以上是材質界的ImageNet，大規模6維材質實拍資料庫OpenSVBRDF發布｜SIGGRAPH Asia的詳細內容。更多資訊請關注PHP中文網其他相關文章！