ImageNet in der materiellen Welt, eine groß angelegte 6-dimensionale Material-Real-Shot-Datenbank OpenSVBRDF veröffentlicht｜SIGGRAPH Asia

Im Bereich der Computergrafik stellt die Materialerscheinung die komplexe physikalische Wechselwirkung zwischen realen Objekten und Licht dar, die normalerweise als bidirektionale Reflexionsverteilungsfunktion (SVBRDF) ausgedrückt werden kann, die sich mit der räumlichen Position ändert. Es ist ein integraler Bestandteil des Visual Computing und findet umfangreiche Anwendungsmöglichkeiten in Bereichen wie Kulturerbe, E-Commerce, Videospiele und visuelle Effekte.

In den letzten zwei Jahrzehnten, insbesondere nach der Popularität von Deep Learning, ist in Wissenschaft und Industrie die Nachfrage nach hochpräzisen und vielfältigen digitalen Materialauftritten gestiegen. Aufgrund technischer Herausforderungen ist es jedoch immer noch sehr schwierig, große Datenbanken zu sammeln, und die Anzahl öffentlich verfügbarer, realer Datenbanken zum Materialauftritt ist derzeit sehr begrenzt.

Zu diesem Zweck schlug das Forschungsteam des National Key Laboratory of Computer-Aided Design and Graphics Systems der Zhejiang University und Hangzhou Xiangxin Technology Co., Ltd. gemeinsam ein neues integriertes System für robust und hochwertig vor und effizientes Design. Sammeln Sie das Erscheinungsbild planarer anisotroper Materialien. Mit diesem System baute das Forschungsteam die „öffentliche Materialdatenbank OpenSVBRDF“ auf. Abbildung 1: Anzeige einiger Materialproben in der OpenSVBRDF-Datenbank. Jede Zeile gehört zur gleichen Materialkategorie.

Dies ist die erste groß angelegte gemessene Datenbank von 6-dimensionalem SVBRDF mit insgesamt 1.000 hochwertigen planaren Proben und einer räumlichen Auflösung von 1.024×1.024,

entspricht mehr als 1 Milliarde gemessenem BRDF , deckt 9 Kategorien ab, darunter Holz, Stoff und Metall.

Datenbank-Homepage: https://opensvbrdf.github.io/

Derzeit ist die Datenbank für nichtkommerzielle Anwendungen völlig kostenlos. Sie müssen nur grundlegende Informationen übermitteln, um ein Konto auf der Website zu beantragen. Nach bestandener Prüfung können Sie relevante Daten und Codes, einschließlich GGX-Texturkarten, direkt herunterladen. Das zugehörige Forschungspapier „OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance“ wurde als Langartikel von ACM SIGGRAPH ASIA 2023 (Journal Track), der führenden internationalen Konferenz für Computergrafik, angenommen.

Paper-Homepage: https://svbrdf.github.io/

Technische Herausforderungen

Direkte Probenahmemethode verdichtet physikalische Materialien dicht unter verschiedenen Kombinationen von Beleuchtung und Betrachtungswinkeln. Messung [Lawrence et al. 2006]. Obwohl dadurch qualitativ hochwertige und robuste Erfassungsergebnisse erzielt werden können, ist dies ineffizient und erfordert hohe Zeit- und Speicherkosten. Eine weitere Option ist eine vorab wissensbasierte Rekonstruktionsmethode, mit der Materialien aus spärlich erfassten Daten rekonstruiert werden können. Obwohl dies die Effizienz verbessert, ist die Qualität unbefriedigend, wenn die a priori-Bedingungen nicht erfüllt sind [Nam et al. 2018]. Darüber hinaus hat die aktuelle SOTA-Multiplexing-Technologie zwar eine hohe Erfassungseffizienz und Rekonstruktionsqualität erreicht, der Algorithmus ist jedoch nicht robust genug, wenn es um hochkomplexe Materialien wie gebürstetes Metall und poliertes Furnier geht [Kang et al.

Abbildung 2: Repräsentative Arbeit der bestehenden Materialsammlungsforschung. Von links nach rechts sind es [Lawrence et al. 2018] und [Kang et al. Darunter [Kang et al. 2018] ist die frühe Arbeit des Teams, die 2018 in ACM SIGGRAPH veröffentlicht wurde.

Hardware

Um das Materialerscheinungsbild effizient zu scannen, baute das Forschungsteam ein nahezu halbkubisches Nahfeldbeleuchtungs-Multiplexgerät mit einer Größe von etwa 70 cm × 70 cm × 40 cm . Die Probe wird auf einer durchsichtigen Acrylplatte platziert und kann über Schubladenführungen schnell hinein- und herausgeschoben werden, um hohe Durchsatzraten zu erzielen. Das Gerät besteht aus 2 Bildverarbeitungskameras und 16.384 Hochleistungs-LEDs. Die beiden Kameras erfassen Proben aus Winkeln von etwa 90 Grad (primärer Betrachtungswinkel) und 45 Grad (sekundärer Betrachtungswinkel). . Die selbstentwickelte Hochleistungssteuerschaltung ist für die unabhängige Helligkeitssteuerung jeder LED verantwortlich und erreicht eine hochpräzise Synchronisierung von Lichtquellenprojektion und Kamerabelichtung auf Hardwareebene.

                                                                                                                                                                                                                                            ^{Abbildung 3: Erscheinungsbild der Sammelausrüstung und Fotos aus zwei Blickwinkeln.} ? und kann durch Feinabstimmung die Qualität des Endergebnisses weiter verbessern und so erstmals eine hohe Robustheit, hohe Qualität und effiziente Erfassung und Rekonstruktion von planarem SVBRDF erreichen.

Um die physische Probe zu rekonstruieren, stellten die Forscher zunächst eine hochpräzise Übereinstimmung zwischen den beiden Kameraansichten her, indem sie dichte SIFT-Merkmale unter gleichmäßiger Beleuchtung anpassten. Für die physische Erfassung wird das Beleuchtungsmuster zunächst als Teil des Autoencoders optimiert, um eine effiziente Erfassung zu erreichen. Der Autoencoder lernt automatisch, komplexe Erscheinungsbilder anhand von Messungen aus zwei Ansichten zu rekonstruieren und stellt die Ergebnisse als neuronale Zwischendarstellungen dar. Anschließend wurde der neuronale Ausdruck verfeinert, indem Bildfehler auf der Grundlage von Fotos aufgezeichnet wurden, die von der Hauptkamera unter 63 äquivalenten linearen Lichtquellen aufgenommen wurden, um die Qualität und Robustheit der Endergebnisse zu verbessern. Abbildung 3 zeigt den Verarbeitungsablauf des gesamten Systems. Weitere Einzelheiten finden Sie im Originalpapier. Abbildung 4: Erfassungs- und Rekonstruktionsprozess des gesamten Systems.

Ergebnisse

Die Forscher sammelten und rekonstruierten das Erscheinungsbild von insgesamt 1.000 Proben in 9 Kategorien, um die direkte Nutzung der physikbasierten Standard-Rendering-Pipeline (PBR) zu erleichtern. In der Studie wurde auch die neuronale Expression an anisotrope GGX BRDF-Modellparameter nach Industriestandard angepasst. Abbildung 5 zeigt die Unterparameter/Eigenschaften der Ergebnisse der Materialrekonstruktion. Jedes Beispiel speichert 193 HDR-Rohfotos (Gesamtgröße 15 GB), neuronale Zwischendarstellungen (290 MB) und 6 Karten, einschließlich Textur- und Transparenzkarten, die GGX-Parameter darstellen (Gesamtgröße 55 MB). Die räumliche Auflösung sowohl neuronaler Ausdrücke als auch Texturkarten beträgt 1.024 x 1.024.

                                                                                                                                                        .

Um die Richtigkeit der Rekonstruktionsergebnisse zu beweisen, verglichen die Forscher die Fotos aus der Hauptperspektive (erste Zeile der Abbildung unten) und die Ergebnisse der neuronalen Ausdruckszuordnung (zweite Zeile der Abbildung unten). ). Quantitative Fehler (ausgedrückt als SSIM/PSNR) werden unten im Diagramm vermerkt. Wie aus den Ergebnissen in der folgenden Abbildung ersichtlich ist, erreicht dieses System eine qualitativ hochwertige Materialrekonstruktion (SSIM>=0,97, PSNR>=34 dB).和 Abbildung 6: Vergleich der tatsächlichen Fotos und Ergebnisse der Nervenausdruckszeichnung unter der Ecke der Hauptperspektive.

Um die Verallgemeinerung der Rekonstruktionsergebnisse im Betrachtungswinkelbereich weiter zu beweisen, verglichen die Forscher die aus zwei Betrachtungswinkeln unter Punktlichtquelle aufgenommenen Fotos und die mithilfe von GGX-Anpassungsparametern erstellten Ergebnisse, um die Rekonstruktion zu verifizieren Übergreifende Korrektheit der Ergebnisse.

                                                                                                                                                      .

Die Forscher demonstrierten außerdem die Anwendung der Datenbank in drei Aspekten: Materialgenerierung, Materialklassifizierung und Materialrekonstruktion. Einzelheiten entnehmen Sie bitte dem Originalpapier.

P Abbildung 8: Verwenden Sie OpenSVBRDF, um Materialgan zu trainieren, um Materialgenerierung und -interpolation zu erreichen.

                                         . Abbildung 10: Verwendung von OpenSVBRDF zur Verbesserung der Qualität der BRDF-Rekonstruktion basierend auf Einzelpunktabtastung (links) und optischem Pfadmultiplex (rechts).

Ausblick

Die Forscher werden hart daran arbeiten, die bestehende Datenbank zu erweitern und Materialproben hinzuzufügen, die unterschiedliche Erscheinungen zeigen. In Zukunft planen sie außerdem den Aufbau einer groß angelegten, hochpräzisen Messobjektdatenbank, die sowohl das Aussehen des Materials als auch die geometrische Form umfasst. Darüber hinaus werden Forscher einen öffentlichen Benchmark in Richtung Materialschätzung, -klassifizierung und -generierung auf Basis von OpenSVBRDF entwerfen und eine solide Datengarantie bieten, um die zukünftige Entwicklung verwandter Forschung durch objektive und quantitative Standardtests zu fördern.

Das obige ist der detaillierte Inhalt vonImageNet in der materiellen Welt, eine groß angelegte 6-dimensionale Material-Real-Shot-Datenbank OpenSVBRDF veröffentlicht｜SIGGRAPH Asia. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!