Terminateur réfléchissant ultra brillant ? Google NeRF-Casting : le lancer de rayons peut le faire !

NeRF n'a plus "peur" des réflexions quasi spéculaires

Les variantes antérieures de NeRF utilisaient des perceptrons multicouches (MLP) pour cartographier les coordonnées 3D à la densité de volume et aux couleurs dépendantes du point de vue, mais représentaient une géométrie et une couleur 3D détaillées. Les MLP sont extrêmement lents à former et à évaluer. Des travaux récents se sont concentrés sur l'amélioration de l'efficacité du NeRF en remplaçant les grands MLP par des structures de données de type grille voxel ou une combinaison de grilles et de petits MLP. Bien qu'évolutif pour représenter des scènes détaillées à grande échelle, ses avantages se limitent à la géométrie 3D et à la couleur principalement diffuse .

Élargir la capacité de NeRF à modéliser une apparence réaliste en fonction du point de vue reste un défi. Les modèles de pointe actuels pour la synthèse de vues d'objets brillants sont limités de deux manières : ils ne peuvent synthétiser que des réflexions précises de l'éclairage ambiant distant et ne parviennent pas à rendre des réflexions réalistes du contenu d'une scène proche. Le recours à de grands MLP pour représenter le rayonnement sortant dépendant du point de vue à tout moment est difficile à adapter à des scènes réalistes plus grandes avec des réflexions détaillées.

• NeRF-Casting est une méthode pour résoudre ces problèmes en introduisant le lancer de rayons dans le modèle de rendu NeRF. Cela implique principalement 3 domaines :

Modélisation de la réflexion

 : Les méthodes traditionnelles de modélisation de la réflexion utilisent des lois physiques et des techniques basées sur l'image pour représenter les propriétés de réflexion de la surface. Ces dernières années, les réseaux de neurones ont été utilisés pour apprendre les propriétés de réflexion, en particulier dans des conditions de matériaux et d'éclairage complexes.

• Ray Tracing : Le traçage de rayons est une technique d'infographie largement utilisée qui produit des images réalistes en simulant l'interaction de la lumière avec les surfaces des objets. Des techniques de lancer de rayons ont été utilisées pour générer des effets de réflexion et de réfraction de haute qualité, mais avec une grande complexité informatique.
• Imagerie 3D : la technologie d'imagerie 3D consiste à générer des représentations tridimensionnelles à partir de données multi-vues. NeRF et d'autres méthodes de réseaux neuronaux ont fait des progrès significatifs dans le domaine de l'imagerie 3D en apprenant la géométrie 3D et la distribution des couleurs d'une scène pour générer de nouvelles vues.
Au lieu d'interroger un MLP coûteux aux points de chaque rayon de caméra pour obtenir une apparence dépendante du point de vue, NeRF-Casting projette des lignes de réflexion à partir de ces points dans la géométrie NeRF, échantillonnant correctement les réflexions anticrénelées dans la scène. fonctionnalités de contenu et utilisez un petit MLP pour décoder ces fonctionnalités en couleurs de réflexion. La projection de rayons dans le NeRF récupéré synthétise naturellement des réflexions cohérentes du contenu intérieur proche et lointain. Le calcul de l'apparence via le lancer de rayons réduit la charge liée à la représentation de fonctions très détaillées liées aux points de vue avec de grands MLP à chaque point de la scène.

Les amis intéressés peuvent regarder l'effet vidéo : https://nerf-casting.github.io

Détails du modèle

NeRF-Casting

Trois objectifs principaux :

J'espère pouvoir le faire sans compter sur le montant du calcul Modélisez des réflexions précises et détaillées sans grandes évaluations MLP. Vous souhaitez projeter seulement une petite quantité de lumière réfléchie.

Vous souhaitez minimiser la quantité de calcul nécessaire pour rechercher notre représentation en chaque point de ces rayons réfléchis.
• Basé sur Zip-NeRF[2] : utilisation d'une grille de hachage multi-échelle pour stocker les caractéristiques 3D, un petit MLP (1 couche, largeur 64) pour décoder ces caractéristiques en densités, un plus grand MLP (3 couches, largeur 256 ) Décodez ces caractéristiques en couleurs. Cela signifie qu’il est relativement peu coûteux d’interroger la densité et les caractéristiques d’un échantillon le long d’un rayon. Compte tenu de ces contraintes, le processus suivant est suivi pour rendre une apparence spéculaire :
• Interrogez la densité volumique le long de chaque rayon de caméra pour calculer le point final attendu du rayon et la normale à la surface.

Projete un cône de réflexion à travers le point final souhaité dans la direction de la réflexion.

Utilisez un petit MLP pour combiner les caractéristiques de réflexion accumulées avec d'autres quantités échantillonnées (telles que les caractéristiques de couleur diffuse et les poids de mélange pour chaque échantillon) afin de générer une valeur de couleur pour chaque échantillon le long du rayon.
• Alpha compose ces échantillons et densités pour obtenir la couleur finale. "Traçage du cône de réflexion"

  

  

  

  

  Caractéristiques de réflexion conique

  Maintenant qu'une distribution vMF a été définie couvrant les rayons de réflexion, le but est d'estimer les caractéristiques de rendu volumique attendues sur la distribution vMF puis de décoder à la couleur réfléchie. Cette fonctionnalité attendue peut s'écrire comme suit :

  

  L'estimation intégrale sur des rayons échantillonnés aléatoirement à l'aide des méthodes de Monte Carlo est très coûteuse puisque chaque échantillon nécessite un rendu de volume le long du rayon. Inspirée de Zip-NeRF, cette intégrale est approximée à l'aide d'un petit ensemble d'échantillons représentatifs combinés à une soustraction de caractéristiques. Cependant, contrairement à Zip-NeRF, nous effectuons les deux opérations dans le domaine directionnel bidimensionnel plutôt que dans l’espace euclidien tridimensionnel.

  Échantillonnage directionnel

  

  

  Réduction de pondération de la fonction de réflexion

  L'échantillonnage directionnel décrit ci-dessus permet de sélectionner un petit ensemble représentatif de rayons pour la moyenne. Cependant, pour les surfaces présentant une rugosité élevée, les rayons échantillonnés peuvent être très éloignés les uns des autres par rapport aux cellules de la grille 3D sous-jacente. Cela signifie que les caractéristiques de l'équation 9 peuvent être sujettes à des artefacts et que de petits changements dans la direction du rayon réfléchi peuvent entraîner d'importants changements d'apparence.

  Pour éviter que cela ne se produise, ajustez la technologie « Feature Downweighting » de Zip-NeRF aux paramètres d'orientation. Ceci est obtenu en multipliant les caractéristiques correspondant aux voxels plus petits par rapport au cône vMF par un petit multiplicateur, réduisant ainsi leur impact sur la couleur rendue. En suivant l'approche Zip-NeRF, définissez la caractéristique de poids réduit au point. Les points d'échantillonnage se voient attribuer une couleur en utilisant une combinaison convexe de deux composantes de couleur :

  

  La première composante de couleur Cv est similaire à la composante de couleur typique NeRF, dépendant de la vue. modèle d'apparence :

  

  Le deuxième composant Cr est destiné à simuler un aspect brillant, calculé comme suit :

  

  Représentation géométrique et régularisation

  

  

  Appréciation de l'effet

  

  

  

  

  Pour résumer

  NeRF-Casting est une méthode de rendu de scènes contenant des objets en surbrillance à l'aide de champs de rayonnement neuronal (NeRF).

  Méthode : Les cônes de réflexion sont réfléchis par les surfaces de la scène et suivis via NeRF, combinés à un nouvel ensemble de techniques pour anti-aliaser ces réflexions, permettant la synthèse de réflexions détaillées avec précision pour le contenu en champ lointain et proche. Les reflets se déplacent de manière cohérente et fluide sur la surface.

  Discussion : Surclasse quantitativement les techniques de synthèse de vues existantes, en particulier pour les surfaces lisses présentant des réflexions spéculaires détaillées. Les améliorations visuelles qualitatives sont largement contrebalancées par les améliorations quantitatives des métriques d’image. Il convient de noter en particulier le mouvement fluide et cohérent des réflexions synthétisées par cette méthode, qui est plus réaliste que l'apparence dépendante de la vue présentée par les méthodes de base. Cela montre que les mesures d'erreur d'image standard (PSNR, SSIM, etc.) sont insuffisantes pour évaluer la qualité de l'apparence dépendante de la vue.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!