David est ressuscité ! NVIDIA recrée 'Neurolangelo', reconstruit en 3D la texture musculaire visible à l'œil nu

Aujourd'hui, NVIDIA a recréé le « Neuralangelo » de Michel-Ange du XVIe siècle.

Regardez, Neuralangelo a "reproduit" une version 3D de la célèbre statue de David, avec des détails en marbre et des textures réalistes.

Il faut savoir que la statue de David collectionnée à l'Académie des Beaux-Arts de Florence ne mesure que 3,96 mètres de haut et 5,5 mètres socle compris.

Il peut même reconstruire la structure interne et externe d'un bâtiment, avec des tuiles, des vitres et divers détails reproduits un par un.

Tout cela est la magie de "Neuralangelo".

Un nouveau modèle d'IA proposé par des chercheurs de NVIDIA et de l'Université Johns Hopkins utilise des réseaux de neurones pour reconstruire des objets 3D.

La dernière recherche a été acceptée par le CVPR 2023.

Adresse papier : https://research.nvidia.com/labs/dir/neuralangelo/paper.pdf

En particulier, Neuralangelo peut capturer des vidéos à partir de téléphones mobiles, des drones reconstruisent "haut -scènes de fidélité à grande échelle".

N'est-ce pas l'avenir, où vous pourrez facilement transformer des vidéos d'une ville ou même de l'espace en un monde immersif, puis les transformer en jeux à expérimenter ?

Les internautes se sont exclamés que NVIDIA avait piraté le monde "Matrix" !

Certaines personnes disent même que la technologie XR d'Apple, couplée à Neuralangelo, peut créer de « nouveaux mondes ».

Démonstration d'effet

Siège social de NVIDIA

Camion Shabby

Statue d'Ignace

Reconstruire des scènes 3D

Les modèles d'IA précédents avaient souvent du mal à capturer avec précision des motifs de texture répétés, des couleurs uniformes et de forts changements de couleur lors de la reconstruction de scènes 3D.

À cette fin, l'équipe a proposé une nouvelle méthode qui combine les capacités de représentation des grilles de hachage 3D multi-résolution avec le rendu de la surface neuronale - Neuralangelo.

L'année dernière, les chercheurs de Nvidia ont créé un nouvel outil, 3D MoMa, qui permet de transformer facilement des photos en objets 3D.

NeuralAngelo s'appuie sur ce concept, permettant l'importation d'espaces et d'objets plus grands et plus détaillés. Ce qui le rend spécial, c'est qu'il peut capturer avec précision des motifs de texture répétitifs, des couleurs homogènes et de forts changements de couleur.

En utilisant des « primitives neurographiques instantanées », qui sont au cœur de la technologie NVIDIA Instant NeRF, Neuralangelo peut capturer des détails plus fins.

L'approche de l'équipe s'appuie sur 2 éléments clés :

(1) pour calculer le la dérivée sert de gradient numérique de l'opération de lissage ;

(2) Effectuer une optimisation grossière à fine sur des grilles de hachage qui contrôlent différents niveaux de détail.

Même sans profondeur auxiliaire, Neuralangelo récupère efficacement les structures de surface 3D denses à partir d'images multi-vues avec une fidélité qui dépasse considérablement les méthodes précédentes, permettant de reconstruire des scènes détaillées à grande échelle. à partir de captures vidéo RVB.

Building NeuralAngelo

Le modèle NeuralAngelo est construit sur un codage de hachage multi-résolution et un rendu de volume basé sur SDF.

Étape 1 : Utiliser des gradients numériques pour calculer des dérivées d'ordre supérieur#🎜 🎜#

Il est possible d'optimiser au-delà des cellules locales en utilisant des gradients numériques avec des étapes qui correspondent à la résolution spatiale de la grille de hachage. Par rapport au gradient analytique, le gradient numérique joue une opération de lissage sur SDF.

Étape 2 : Pas à pas Optimisez le niveau de détail en réduisant progressivement la taille du pas du gradient numérique et en permettant une grille de hachage à haut débit de résolution plus élevée, l'effet optimisé permet de mieux récupérer de grandes zones de surfaces lisses et de détails géométriques fins. Ce processus d'apprentissage permet d'améliorer progressivement le niveau de détail. # 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 # Étape trois: Optimiser # 🎜🎜 ## 🎜🎜 ## 🎜 🎜#NeuralAngelo utilise trois objectifs d'optimisation :

#🎜 🎜#

RGB synthese loss

: Reconstruction RGB entre l'image d'entrée et la perte d'image synthétisée. Perte Eikonale

: au sous-jacent SDF Effectue un traitement de régularisation pour rendre l'unité des normales de surface régulière.

Perte de courbure

: pour le sous-jacent La régularisation SDF est effectuée de manière à ce que la courbure moyenne ne devienne pas arbitrairement grande.

"Neurolangelo" est construit, alors comment ça marche ?

On peut dire que Neuralangelo a restauré tout le processus de représentation de David par Michel-Ange :

· Tout d'abord, le modèle sélectionnera plusieurs images d'objets/scènes filmées sous différents angles à partir de la vidéo 2D. de l'image et ainsi "voir" sa profondeur, sa taille et sa forme. Le processus est similaire à la façon dont un artiste sculpteur composerait initialement une composition sous plusieurs angles.

· Le modèle crée ensuite une représentation 3D approximative de la scène, au moment même où l'artiste commence à ciseler la forme du sujet.

· Enfin, le modèle est optimisé pour le rendu afin d'améliorer la clarté des détails, tout comme un artiste embellit méticuleusement pour imiter la texture d'un tissu ou d'une forme humaine.

Dans une comparaison qualitative des benchmarks DPU, Neuralangelo produit des surfaces plus précises et plus fidèles.

Voici les résultats quantitatifs de Neuralangelo dans l'ensemble de données DTU. Le modèle a obtenu une bonne précision de reconstruction et une bonne qualité de synthèse d'image.

Dans la comparaison qualitative de différents schémas d'optimisation grossier à fin, lors de l'utilisation des gradients analytiques AG et AG+P, il existe des artefacts sur la surface rugueuse de l'objet.

Lors de l'utilisation du dégradé numérique (NG), une meilleure surface rugueuse peut être reconstruite et les détails sont lissés.

Et la solution de NVIDIA (NG+P) peut produire des surfaces lisses et des détails fins.

Le résultat final est un objet 3D ou une scène à grande échelle qui peut être utilisé dans des applications de réalité virtuelle, des jumeaux numériques ou le développement de la robotique.

NVIDIA a déclaré que la capacité de Neuralangelo à convertir les textures de matériaux complexes, y compris la rugosité des tuiles et la douceur du marbre, de vidéos 2D en objets 3D dépasse considérablement les méthodes précédentes.

Ming-Yu Liu, directeur principal de NVIDIA Research et auteur de l'article, a donné une idée de l'importance de cette recherche :

"Les capacités de reconstruction 3D fournies par Neuralangelo apporteront d'énormes avantages aux créateurs et les aider à recréer le monde réel dans le monde numérique. Cet outil permettra enfin aux développeurs d'importer des objets détaillés - qu'il s'agisse de petites statues ou de grands bâtiments - dans des environnements virtuels de jeux vidéo ou de jumeaux numériques industriels

Professionnel de la créativité. . Les gens peuvent importer ces objets 3D dans des applications de conception et les modifier davantage pour les utiliser dans des domaines tels que l'art, le développement de jeux vidéo, la robotique et les jumeaux numériques industriels

Présenté par l'auteur

Zhaoshuo Li (.李 Zhaoshuo).

Li Zhaoshuo est actuellement doctorant en informatique à l'Université Johns Hopkins. Ses superviseurs sont le professeur Mathias Unberath et le professeur Russell H Taylor .

Il s'intéresse beaucoup à la vision par ordinateur, à l'infographie et à l'apprentissage profond. Ses recherches portent sur la reproduction du mouvement et de la structure à partir d'images.

De plus, il a également de nombreux passe-temps, notamment être vidéaste, promoteur de la santé mentale, amoureux des chiens de compagnie, surfeur, parachutiste, snowboarder...

Chen-Hsuan Lin

Chen-Hsuan Lin est chercheur scientifique chez NVIDIA Research, travaillant dans les domaines de la vision par ordinateur, de l'infographie et de l'intelligence artificielle.

Il a obtenu son doctorat en robotique de l'Université Carnegie Mellon et a reçu une bourse d'études supérieures NVIDIA. Auparavant, il a également effectué un stage chez Facebook AI Research et Adobe Research.

Lin est très intéressé par la résolution de problèmes de reconstruction 3D, de synthèse de vues et de production de contenu 3D. Ses recherches visent à doter les systèmes d’intelligence artificielle de capacités de perception et d’imagination 3D à l’échelle humaine en apprenant à partir de données visuelles à l’échelle d’Internet, évoluant ainsi vers une véritable intelligence spatiale 3D.

Commentaires chauds des internautes

Le scientifique de NVIDIA, Jim Fan, a déclaré :

Pour vous donner une idée de la vitesse de développement de l'intelligence artificielle dans la modélisation 3D : le champ est passé de la gauche (maille reconstruit NeRF original) à en 3 ans (Neuralangelo de Nvidia).

Transporter la réalité dans des simulations haute fidélité n'est plus un rêve.

Le nouveau modèle Neuralangelo est une bête et NVIDIA a décidé de nous tuer, le logiciel de photogrammétrie R.I.P.

est tout simplement comme le « Michel-Ange » du monde numérique.

Certains internautes voulaient également savoir, combien ça coûte ?

Nous pouvons utiliser des drones dans l'usine puis envoyer la vidéo à ce modèle, créer un jumeau numérique et l'utiliser pour optimiser notre processus.

Concernant l'importance de cette technologie, les internautes estiment que son impact sur l'industrie du jeu vidéo sera énorme.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!