Table des matières
Représentation de la scène basée sur le champ de réflexion neuronale
Modèle de rendu basé sur la physique
Modélisation des ombres
Optimisation de scène
Résultats expérimentaux
Résumé
Maison Périphériques technologiques IA L'algorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

L'algorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Apr 13, 2023 am 10:58 AM
信息 3d

Les travaux actuels de reconstruction d'images 3D utilisent généralement une méthode de reconstruction stéréo multi-vues (Multi-view Stereo) qui capture la scène cible à partir de plusieurs points de vue (multi-vues) dans des conditions d'éclairage naturel constantes. Cependant, ces méthodes supposent généralement des surfaces lambertiennes et ont des difficultés à récupérer les détails haute fréquence.

Une autre méthode de reconstruction de scène consiste à utiliser des images capturées à partir d'un point de vue fixe mais de points lumineux différents. Les méthodes photométriques stéréo, par exemple, prennent cette configuration et utilisent ses informations d'ombrage pour reconstruire les détails de surface d'objets non lambertiens. Cependant, les méthodes existantes à vue unique utilisent généralement des cartes normales ou des cartes de profondeur pour représenter les surfaces visibles, ce qui les rend incapables de décrire l'arrière des objets et les zones obstruées, et ne peuvent reconstruire que la géométrie de la scène en 2,5D. De plus, les cartes normales ne peuvent pas gérer les discontinuités de profondeur.

Dans une étude récente, des chercheurs de l'Université de Hong Kong, de l'Université chinoise de Hong Kong (Shenzhen), de l'Université technologique de Nanyang et du MIT-IBM Watson AI Lab ont proposé d'utiliser plusieurs sources de lumière à vue unique (une seule source lumineuse). vue, multi-lumières) pour reconstruire une scène 3D complète.

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.


  • Lien papier : https://arxiv.org/abs/2210.08936
  • Page d'accueil du papier : https://ywq.github.io/s3nerf/
  • Lien de code : https://github.com/ywq/s3nerf

Contrairement aux méthodes à vue unique existantes basées sur des cartes normales ou des cartes de profondeur, S3-NeRF est basé sur des scènes neuronales Représentation neuronale de la scène, tout en utilisant les informations d'ombrage et d'ombre dans la scène pour reconstruire l'intégralité de la scène 3D (y compris les zones visibles/invisibles). Les méthodes de représentation de scène neuronale utilisent des perceptrons multicouches (MLP) pour modéliser un espace 3D continu, en mappant des points 3D sur des attributs de scène tels que la densité, la couleur, etc. Bien que la représentation de scènes neuronales ait fait des progrès significatifs dans la reconstruction multi-vues et la synthèse de nouvelles vues, elle a été moins explorée dans la modélisation de scènes à vue unique. Contrairement aux méthodes existantes basées sur la représentation de scènes neuronales qui reposent sur la cohérence des photos multi-vues, S3-NeRF optimise principalement le champ neuronal en utilisant les informations d'ombrage et d'ombre sous une seule vue.

Nous avons constaté que le simple fait d'introduire des informations sur la position de la source lumineuse directement dans NeRF en entrée ne permet pas de reconstruire la géométrie et l'apparence de la scène. Pour mieux utiliser les images stéréo photométriques capturées, nous modélisons explicitement la géométrie de la surface et le BRDF à l'aide d'un champ de réflexion, et utilisons un rendu basé sur la physique pour calculer la couleur des points 3D de la scène, obtenue via le rendu stéréo. pixel bidimensionnel correspondant au rayon. Parallèlement, nous effectuons une modélisation différentiable de la visibilité de la scène et calculons la visibilité du point en traçant les rayons entre le point 3D et la source lumineuse. Cependant, étant donné que la visibilité de tous les points d'échantillonnage sur un rayon est coûteuse en calcul, nous optimisons la modélisation des ombres en calculant la visibilité des points de surface obtenus par lancer de rayons.

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Représentation de la scène basée sur le champ de réflexion neuronale

Nous utilisons un champ d'occupation similaire à UNISURF pour caractériser la géométrie de la scène. UNISURF mappe les coordonnées du point 3D et la direction de la ligne de visée à la valeur d'occupation et à la couleur du point via MLP, et obtient la couleur du pixel grâce au rendu stéréo,

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Nv suréchantillons chaque rayon Le nombre de points.

Pour utiliser efficacement les informations d'ombrage dans les images stéréo photométriques, S3-NeRF modélise explicitement le BRDF de la scène et utilise un rendu basé sur la physique pour obtenir la couleur des points 3D. Dans le même temps, nous modélisons la visibilité lumineuse des points 3D de la scène pour tirer parti des riches ombres de l'image et obtenons la valeur finale du pixel grâce à l'équation suivante.

Modèle de rendu basé sur la physique

Notre approche prend en compte les surfaces non lambertiennes et les BRDF spatialement variables. La valeur du point x observé depuis la direction de la ligne de visée d sous la source lumineuse du point en champ proche (pl, Le) peut être exprimée par

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Parmi eux, nous considérons le problème d'atténuation de la lumière du point. source de lumière, à travers le point source de lumière. La distance calcule l'intensité de la lumière incidente sur ce point. Nous utilisons un modèle BRDF qui prend en compte la réflexion diffuse et spéculaire

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

pour représenter la réflectance spéculaire à travers une combinaison pondérée de base gaussienne sphère

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Modélisation des ombres

Ombres dans la géométrie de la scène L'un des indices cruciaux dans la reconstruction. Les trois objets sur la photo ont la même forme et la même apparence vue de face, mais ont des formes différentes au dos. Grâce aux ombres produites sous différents éclairages, nous pouvons observer que les formes des ombres sont différentes, ce qui reflète les informations géométriques des zones invisibles dans la vue de face. La lumière crée certaines contraintes sur le contour arrière de l'objet à travers les ombres réfléchies dans l'arrière-plan.

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Nous reflétons la visibilité lumineuse du point en calculant la valeur d'occupation entre le point 3D - la source lumineuse

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

où, NL est le point - le segment de ligne de source lumineuse Nombre de points échantillonnés.

En raison du coût de calcul important du calcul de la visibilité de tous les points Nv échantillonnés par points de pixels le long de la lumière (O (NvNL)), l'existant les méthodes sont Utiliser MLP pour régresser directement la visibilité des points (O (Nv)), ou pré-extraire les points de surface après avoir obtenu la géométrie de la scène (O (NL)). S3-NeRF calcule la visibilité lumineuse du pixel en ligne à travers les points de surface localisés par recherche de racine et exprime la valeur du pixel à l'aide de la formule suivante.

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Optimisation de scène

Notre méthode ne nécessite pas de supervision des ombres, mais s'appuie sur la perte de reconstruction de l'image pour l'optimisation. Étant donné qu'il n'y a pas de contraintes supplémentaires apportées par d'autres perspectives dans une seule perspective, si une stratégie d'échantillonnage comme UNISURF est adoptée pour réduire progressivement la plage d'échantillonnage, le modèle commencera à se dégrader après la réduction de l'intervalle d'échantillonnage. Par conséquent, nous adoptons une stratégie de rendu stéréo et de rendu de surface conjoints, en utilisant la recherche de racine pour localiser les points de surface afin de restituer la couleur et de calculer la perte L1.

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Résultats expérimentaux

Comparaison avec la méthode du champ de rayonnement neuronal

Nous comparons d'abord avec deux méthodes de base basées sur les champs de rayonnement neuronal (en raison de tâches différentes, nous introduisons les informations sur la source lumineuse dans leur couleur MLP). Vous pouvez voir qu’ils sont incapables de reconstruire la géométrie de la scène ou de générer avec précision des ombres sous un nouvel éclairage.

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Comparaison avec les méthodes d'estimation de forme à vue unique

Dans la comparaison avec les méthodes d'estimation normale/profondeur à vue unique existantes, on peut voir que notre méthode a de meilleures performances en estimation normale et en profondeur Les deux méthodes ont obtenu les meilleurs résultats et ont pu reconstruire simultanément les zones visibles et invisibles de la scène.

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Reconstruction de scènes avec différents arrière-plans

Notre méthode convient à une variété de scènes avec différentes conditions d'arrière-plan.

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Nouveau rendu de vue, changement d'éclairage et édition de matériaux

Sur la base de la modélisation de scène par champ de réflexion neuronale, nous avons réussi à découpler la géométrie/matériau/éclairage de la scène, etc., afin qu'elle puisse être appliqué au nouveau rendu de vue, au changement d'éclairage de scène, à l'édition de matériaux et à d'autres applications.

Lalgorithme NeRF à vue unique S^3-NeRF utilise des informations multi-éclairage pour restaurer la géométrie de la scène et les informations sur les matériaux.

Reconstruction de scènes de tournage réelles

Nous avons tourné trois scènes réelles pour explorer son aspect pratique. Nous avons corrigé la position de la caméra, utilisé la lampe de poche du téléphone portable comme source de lumière ponctuelle (la source de lumière ambiante était éteinte) et déplacé la lampe de poche de manière aléatoire pour capturer des images sous différentes sources de lumière. Cette configuration ne nécessite pas d'étalonnage de la source lumineuse, nous appliquons SDPS-Net pour obtenir une estimation approximative de la direction de la source lumineuse et initialisons la position de la source lumineuse en estimant approximativement les distances relatives caméra-objet et source lumineuse-objet. Les positions des sources lumineuses sont optimisées conjointement avec la géométrie de la scène et BRDF pendant la formation. On peut voir que même avec un réglage de capture de données plus décontracté (sans calibrage de la source lumineuse), notre méthode peut toujours bien reconstruire la géométrie de la scène 3D.

Résumé

  • S3-NeRF optimise les champs de réflexion neuronale pour reconstruire la géométrie de la scène 3D et les informations matérielles en utilisant des images prises sous plusieurs points lumineux dans une seule vue.
  • En utilisant des indices d'ombrage et d'ombre, S3-NeRF peut restaurer efficacement la géométrie des zones visibles/invisibles de la scène, réalisant ainsi la reconstruction de la géométrie complète de la scène/BRDF d'un point de vue monoculaire.
  • Diverses expériences montrent que notre méthode peut reconstruire des scènes avec diverses géométries/matériaux complexes, et peut gérer des arrière-plans de différentes géométries/matériaux et différentes quantités de lumière/distributions de sources lumineuses.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Pourquoi le Gaussian Splatting est-il si populaire dans la conduite autonome que le NeRF commence à être abandonné ? Pourquoi le Gaussian Splatting est-il si populaire dans la conduite autonome que le NeRF commence à être abandonné ? Jan 17, 2024 pm 02:57 PM

Écrit ci-dessus et compréhension personnelle de l'auteur Le Gaussiansplatting tridimensionnel (3DGS) est une technologie transformatrice qui a émergé dans les domaines des champs de rayonnement explicites et de l'infographie ces dernières années. Cette méthode innovante se caractérise par l’utilisation de millions de gaussiennes 3D, ce qui est très différent de la méthode du champ de rayonnement neuronal (NeRF), qui utilise principalement un modèle implicite basé sur les coordonnées pour mapper les coordonnées spatiales aux valeurs des pixels. Avec sa représentation explicite de scènes et ses algorithmes de rendu différenciables, 3DGS garantit non seulement des capacités de rendu en temps réel, mais introduit également un niveau de contrôle et d'édition de scène sans précédent. Cela positionne 3DGS comme un révolutionnaire potentiel pour la reconstruction et la représentation 3D de nouvelle génération. À cette fin, nous fournissons pour la première fois un aperçu systématique des derniers développements et préoccupations dans le domaine du 3DGS.

Comment supprimer les informations sur l'auteur et la dernière modification dans Microsoft Word Comment supprimer les informations sur l'auteur et la dernière modification dans Microsoft Word Apr 15, 2023 am 11:43 AM

Les documents Microsoft Word contiennent certaines métadonnées lors de leur enregistrement. Ces détails sont utilisés pour l'identification du document, comme la date de création, l'auteur, la date de modification, etc. Il contient également d'autres informations telles que le nombre de caractères, le nombre de mots, le nombre de paragraphes, etc. Si vous souhaitez supprimer l'auteur ou les dernières informations modifiées ou toute autre information afin que d'autres personnes ne connaissent pas les valeurs, il existe un moyen. Dans cet article, voyons comment supprimer les informations sur l'auteur et la dernière modification d'un document. Supprimer les informations sur l'auteur et la dernière modification du document Microsoft Word Étape 1 – Accédez à

En savoir plus sur les emojis 3D Fluent dans Microsoft Teams En savoir plus sur les emojis 3D Fluent dans Microsoft Teams Apr 24, 2023 pm 10:28 PM

N'oubliez pas, surtout si vous êtes un utilisateur de Teams, que Microsoft a ajouté un nouveau lot d'émojis 3DFluent à son application de visioconférence axée sur le travail. Après que Microsoft a annoncé des emojis 3D pour Teams et Windows l'année dernière, le processus a en fait permis de mettre à jour plus de 1 800 emojis existants pour la plate-forme. Cette grande idée et le lancement de la mise à jour des emoji 3DFluent pour les équipes ont été promus pour la première fois via un article de blog officiel. La dernière mise à jour de Teams apporte FluentEmojis à l'application. Microsoft affirme que les 1 800 emojis mis à jour seront disponibles chaque jour.

CLIP-BEVFormer : superviser explicitement la structure BEVFormer pour améliorer les performances de détection à longue traîne CLIP-BEVFormer : superviser explicitement la structure BEVFormer pour améliorer les performances de détection à longue traîne Mar 26, 2024 pm 12:41 PM

Écrit ci-dessus et compréhension personnelle de l'auteur : À l'heure actuelle, dans l'ensemble du système de conduite autonome, le module de perception joue un rôle essentiel. Le véhicule autonome roulant sur la route ne peut obtenir des résultats de perception précis que via le module de perception en aval. dans le système de conduite autonome, prend des jugements et des décisions comportementales opportuns et corrects. Actuellement, les voitures dotées de fonctions de conduite autonome sont généralement équipées d'une variété de capteurs d'informations de données, notamment des capteurs de caméra à vision panoramique, des capteurs lidar et des capteurs radar à ondes millimétriques pour collecter des informations selon différentes modalités afin d'accomplir des tâches de perception précises. L'algorithme de perception BEV basé sur la vision pure est privilégié par l'industrie en raison de son faible coût matériel et de sa facilité de déploiement, et ses résultats peuvent être facilement appliqués à diverses tâches en aval.

Choisir une caméra ou un lidar ? Une étude récente sur la détection robuste d'objets 3D Choisir une caméra ou un lidar ? Une étude récente sur la détection robuste d'objets 3D Jan 26, 2024 am 11:18 AM

0. Écrit à l'avant&& Compréhension personnelle que les systèmes de conduite autonome s'appuient sur des technologies avancées de perception, de prise de décision et de contrôle, en utilisant divers capteurs (tels que caméras, lidar, radar, etc.) pour percevoir l'environnement et en utilisant des algorithmes et des modèles pour une analyse et une prise de décision en temps réel. Cela permet aux véhicules de reconnaître les panneaux de signalisation, de détecter et de suivre d'autres véhicules, de prédire le comportement des piétons, etc., permettant ainsi de fonctionner en toute sécurité et de s'adapter à des environnements de circulation complexes. Cette technologie attire actuellement une grande attention et est considérée comme un domaine de développement important pour l'avenir des transports. . un. Mais ce qui rend la conduite autonome difficile, c'est de trouver comment faire comprendre à la voiture ce qui se passe autour d'elle. Cela nécessite que l'algorithme de détection d'objets tridimensionnels du système de conduite autonome puisse percevoir et décrire avec précision les objets dans l'environnement, y compris leur emplacement,

Paint 3D sous Windows 11 : guide de téléchargement, d'installation et d'utilisation Paint 3D sous Windows 11 : guide de téléchargement, d'installation et d'utilisation Apr 26, 2023 am 11:28 AM

Lorsque les rumeurs ont commencé à se répandre selon lesquelles le nouveau Windows 11 était en développement, chaque utilisateur de Microsoft était curieux de savoir à quoi ressemblerait le nouveau système d'exploitation et ce qu'il apporterait. Après de nombreuses spéculations, Windows 11 est là. Le système d'exploitation est livré avec une nouvelle conception et des modifications fonctionnelles. En plus de quelques ajouts, il s’accompagne de fonctionnalités obsolètes et supprimées. L'une des fonctionnalités qui n'existe pas dans Windows 11 est Paint3D. Bien qu'il propose toujours Paint classique, idéal pour les dessinateurs, les griffonneurs et les griffonneurs, il abandonne Paint3D, qui offre des fonctionnalités supplémentaires idéales pour les créateurs 3D. Si vous recherchez des fonctionnalités supplémentaires, nous recommandons Autodesk Maya comme le meilleur logiciel de conception 3D. comme

Obtenez une femme virtuelle en 3D en 30 secondes avec une seule carte ! Text to 3D génère un humain numérique de haute précision avec des détails de pores clairs, se connectant de manière transparente à Maya, Unity et d'autres outils de production. Obtenez une femme virtuelle en 3D en 30 secondes avec une seule carte ! Text to 3D génère un humain numérique de haute précision avec des détails de pores clairs, se connectant de manière transparente à Maya, Unity et d'autres outils de production. May 23, 2023 pm 02:34 PM

ChatGPT a injecté une dose de sang de poulet dans l’industrie de l’IA, et tout ce qui était autrefois impensable est devenu aujourd’hui une pratique de base. Le Text-to-3D, qui continue de progresser, est considéré comme le prochain point chaud dans le domaine de l'AIGC après la diffusion (images) et le GPT (texte), et a reçu une attention sans précédent. Non, un produit appelé ChatAvatar a été mis en version bêta publique discrète, recueillant rapidement plus de 700 000 vues et attention, et a été présenté sur Spacesoftheweek. △ChatAvatar prendra également en charge la technologie Imageto3D qui génère des personnages stylisés en 3D à partir de peintures originales à perspective unique/multi-perspective générées par l'IA. Le modèle 3D généré par la version bêta actuelle a reçu une large attention.

Comment partager les coordonnées avec NameDrop : guide pratique pour iOS 17 Comment partager les coordonnées avec NameDrop : guide pratique pour iOS 17 Sep 16, 2023 pm 06:09 PM

Dans iOS 17, il existe une nouvelle fonctionnalité AirDrop qui vous permet d'échanger des informations de contact avec quelqu'un en touchant deux iPhones. Cela s'appelle NameDrop, et voici comment cela fonctionne. Plutôt que de saisir le numéro d'une nouvelle personne pour l'appeler ou lui envoyer un SMS, NameDrop vous permet simplement de placer votre iPhone près de son iPhone pour échanger ses coordonnées afin qu'elle ait votre numéro. Rassembler les deux appareils fera automatiquement apparaître l’interface de partage de contacts. En cliquant sur la fenêtre contextuelle, vous afficherez les informations de contact d'une personne et son affiche de contact (vous pouvez personnaliser et modifier vos propres photos, également une nouvelle fonctionnalité d'iOS17). Cet écran comprend également des options pour « Recevoir uniquement » ou partager vos propres informations de contact en réponse.

See all articles