ImageNet dans le monde matériel, une base de données réelle de matériaux en 6 dimensions à grande échelle OpenSVBRDF publiée｜SIGGRAPH Asia

Dans le domaine du graphisme informatique, l'apparence matérielle décrit l'interaction physique complexe entre les objets réels et la lumière, qui peut généralement être exprimée comme une fonction de distribution de réflexion bidirectionnelle (SVBRDF) qui change avec la position spatiale. Il fait partie intégrante de l'informatique visuelle et a de nombreuses applications dans des domaines tels que le patrimoine culturel, le commerce électronique, les jeux vidéo et les effets visuels.

Au cours des deux dernières décennies, surtout après la popularité de l'apprentissage profond, la demande d'apparences de matériaux numériques de haute précision et diversifiées a augmenté dans le monde universitaire et l'industrie. Cependant, en raison de défis techniques, il est encore très difficile de collecter de grandes bases de données, et le nombre de bases de données d'apparence matérielle accessibles au public est actuellement très limité.

À cette fin, l'équipe de recherche du Laboratoire national clé de conception et de systèmes graphiques assistés par ordinateur de l'Université du Zhejiang et de Hangzhou Xiangxin Technology Co., Ltd. ont proposé conjointement un nouveau système intégré pour robuste et de haute qualité et une conception efficace. Recueillez l'apparence de matériaux anisotropes planaires. À l’aide de ce système, l’équipe de recherche a construit la Base de données de matériaux publics OpenSVBRDF. Figure 1 : Affichage de quelques échantillons de matériaux dans la base de données OpenSVBRDF. Chaque ligne appartient à la même catégorie de matériaux.

^{Il s'agit de la première base de données mesurée à grande échelle de SVBRDF en 6 dimensions, avec un total de 1 000 échantillons planaires de haute qualité et une résolution spatiale de 1 024 × 1 024,} équivalent à plus d'un milliard de BRDF mesurés. , couvrant 9 catégories dont le bois, le tissu et le métal.

Page d'accueil de la base de données : https://opensvbrdf.github.io/

Actuellement, la base de données est entièrement gratuite pour les applications non commerciales. Il vous suffit de soumettre des informations de base pour demander un compte sur le site Web. Après avoir réussi l'examen, vous pouvez directement télécharger les données et les codes pertinents, y compris les cartes de texture GGX. Le document de recherche connexe « OpenSVBRDF : A Database of Measured Spatally-Varying Reflectance » a été accepté comme article long par ACM SIGGRAPH ASIA 2023 (Journal Track), la plus grande conférence internationale sur l'infographie.

Page d'accueil du papier : https://svbrdf.github.io/

Défis techniques

La méthode d'échantillonnage direct densifie de manière dense les matériaux physiques sous différentes combinaisons d'éclairage et d'angles de vision. Mesure [Lawrence et coll. Bien que cela permette d’obtenir des résultats d’acquisition robustes et de haute qualité, cela est inefficace et nécessite beaucoup de temps et de coûts de stockage. Une autre option est une méthode de reconstruction basée sur des connaissances antérieures, qui permet de reconstruire des matériaux à partir de données échantillonnées clairsemées. Bien que cela améliore l’efficacité, sa qualité n’est pas satisfaisante lorsque les conditions a priori ne sont pas remplies [Nam et al. De plus, bien que la technologie actuelle de multiplexage du chemin optique SOTA ait atteint une efficacité d'acquisition et une qualité de reconstruction élevées, l'algorithme n'est pas suffisamment robuste lorsqu'il s'agit de matériaux très complexes tels que le métal brossé et le placage poli [Kang et al.

Figure 2 : Travail représentatif de la recherche sur les collections de matériaux existantes. De gauche à droite, ce sont [Lawrence et al. 2006], [Nam et al. 2018] et [Kang et al. Parmi eux [Kang et al. 2018] figurent les premiers travaux de l'équipe publiés dans ACM SIGGRAPH en 2018.

Matériel

Afin de numériser efficacement l'apparence du matériau, l'équipe de recherche a construit un dispositif de multiplexage d'éclairage en champ proche d'un demi-cube d'une taille d'environ 70 cm × 70 cm × 40 cm. . L'échantillon est placé sur une plaque acrylique transparente et peut être rapidement glissé vers l'intérieur ou l'extérieur via les glissières du tiroir pour atteindre des débits élevés. L'appareil se compose de 2 caméras de vision industrielle et de 16 384 LED haute luminosité. Les deux caméras capturent des échantillons sous des angles d'environ 90 degrés (angle de vision principal) et 45 degrés (angle de vision secondaire). Les LED sont réparties sur 6 côtés de l'appareil. . Le circuit de contrôle haute performance auto-développé est responsable du contrôle indépendant de la luminosité de chaque LED et réalise une synchronisation de haute précision de la projection de la source lumineuse et de l'exposition de la caméra au niveau matériel.

                                                                                                                                                                                                                                                             ^{Figure 3 : Aspect du matériel de collecte et photos sous deux angles de vue.}

Acquisition et reconstruction

Ce système combine de manière innovante les avantages de deux méthodes populaires actuellement basées sur la prédiction et le réglage fin du réseau, et peut toutes deux augmenter l'acquisition physique grâce à une efficacité d'optimisation du modèle d'éclairage différenciable, et peut encore améliorer la qualité du résultat final grâce à un réglage fin, obtenant ainsi pour la première fois une robustesse élevée, une haute qualité et une acquisition et une reconstruction efficaces du SVBRDF planaire.

Plus précisément, afin de reconstruire l'échantillon physique, les chercheurs ont d'abord établi une correspondance de haute précision entre les deux vues de la caméra en faisant correspondre les caractéristiques SIFT denses sous un éclairage uniforme. Pour l'acquisition physique, le modèle d'éclairage est d'abord optimisé dans le cadre de l'auto-encodeur pour obtenir une acquisition efficace. L'auto-encodeur apprend automatiquement à reconstruire des apparences complexes sur la base de mesures provenant de deux vues et représente les résultats sous forme de représentations neuronales intermédiaires. Par la suite, l’expression neuronale a été affinée en traçant les erreurs d’image sur la base de photos prises par la caméra principale sous 63 sources de lumière linéaires équivalentes afin d’améliorer la qualité et la robustesse des résultats finaux. La figure 3 montre le flux de traitement de l'ensemble du système. Veuillez consulter le document original pour plus de détails. Figure 4 : Processus d’acquisition et de reconstruction de l’ensemble du système.

Résultats

Les chercheurs ont collecté et reconstruit l'apparence de 1 000 échantillons dans 9 catégories afin de faciliter l'utilisation directe du pipeline de rendu standard (PBR) basé sur la physique, l'étude. L'expression neuronale a également été adaptée aux paramètres du modèle anisotrope GGX BRDF standard de l'industrie. La figure 5 montre les sous-paramètres/propriétés des résultats de la reconstruction matérielle. Chaque échantillon stocke 193 photos HDR brutes (taille totale 15 Go), des représentations neuronales intermédiaires (290 Mo) et 6 cartes, y compris des cartes de texture et de transparence représentant les paramètres GGX (taille totale 55 Mo). La résolution spatiale des expressions neuronales et des cartes de texture est de 1 024 × 1 024.

                                                                                                                                      .

^{Pour prouver l'exactitude des résultats de reconstruction, les chercheurs ont comparé les photos de la perspective principale (la première rangée de la figure ci-dessous) et les résultats de la cartographie de l'expression neuronale (la deuxième rangée de la figure ci-dessous). L'erreur quantitative (exprimée en SSIM/PSNR) est notée au bas du graphique. Comme le montrent les résultats de la figure ci-dessous, ce système permet une reconstruction matérielle de haute qualité (SSIM>=0,97, PSNR>=34dB).和 Figure 6 : Comparaison des photos réelles et des résultats du dessin d'expression nerveuse sous le coin de la perspective principale.}

Afin de prouver davantage la généralisation des résultats de reconstruction dans le domaine de l'angle de vue, les chercheurs ont comparé les photos prises sous deux angles de vue sous une source de lumière ponctuelle et les résultats tirés à l'aide des paramètres d'ajustement GGX pour vérifier la reconstruction. . Exactitude des résultats en mode croisé.

                                                                                                                                                                                      ^.

Les chercheurs ont également démontré l'application de la base de données sous trois aspects : la génération de matériaux, la classification des matériaux et la reconstruction des matériaux. Veuillez vous référer au document original pour plus de détails.

                                                                                                                                                                                                                                                                              ^{. Figure 9 : Utilisation d'OpenSVBRDF pour entraîner l'éclairage actif afin d'améliorer la précision de la classification des matériaux. Figure 10 : Utilisation d'OpenSVBRDF pour améliorer la qualité de la reconstruction BRDF basée sur l'échantillonnage d'un point unique (à gauche) et le multiplexage du chemin optique (à droite).}

Outlook

Les chercheurs travailleront dur pour élargir la base de données existante et ajouter des échantillons de matériaux présentant diverses apparences. À l’avenir, ils prévoient également de créer une base de données d’objets mesurés à grande échelle et de haute précision, incluant à la fois l’apparence des matériaux et la forme géométrique. En outre, les chercheurs concevront une référence publique dans le sens de l'estimation, de la classification et de la génération des matériaux basée sur OpenSVBRDF, et fourniront une garantie de données solides pour promouvoir le développement futur de la recherche connexe grâce à des tests standards objectifs et quantitatifs.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!