Rendre l'édition 3D aussi simple que PS, le nouvel algorithme GaussianEditor peut compléter l'ajout, la suppression et la modification de scènes 3D en quelques minutes

Le montage 3D joue un rôle essentiel dans des domaines tels que les jeux et la réalité virtuelle. Cependant, le montage 3D précédent souffrait de problèmes tels qu'une longue consommation de temps et une mauvaise contrôlabilité, ce qui le rendait difficile à appliquer aux scènes réelles. Récemment, l'Université technologique de Nanyang, l'Université Tsinghua et SenseTime ont proposé un nouvel algorithme d'édition 3D, GaussianEditor, qui permet pour la première fois d'éditer de manière contrôlable et diversifiée des scènes 3D en 2 à 7 minutes, surpassant complètement les travaux d'édition 3D précédents.

Ces dernières années, les recherches dans le domaine de l'édition 3D se sont généralement concentrées sur les champs de rayonnement neuronal (NeRF). En effet, NeRF peut non seulement effectuer une modélisation de scènes 3D avec un degré élevé de fidélité, mais ses caractéristiques implicites améliorent considérablement l'évolutivité, ce qui présente des avantages significatifs par rapport aux méthodes traditionnelles de nuage de points et de maillage. Cependant, NeRF s'appuie sur des réseaux de perceptrons multicouches (MLP) de grande dimension pour coder les données de scène, ce qui entraîne également certaines limites. Cela rend difficile la modification directe de parties spécifiques d’une scène et augmente la complexité des tâches telles que la restauration d’images et la composition de scènes. Cette complexité affecte non seulement le processus de formation, mais limite également son utilisation dans des applications pratiques.

GaussianEditor Afin de résoudre les problèmes ci-dessus, il a adopté une nouvelle approche et a choisi la pulvérisation gaussienne comme représentation 3D. Le Splatting gaussien est un nouveau type de représentation 3D proposé il y a six mois. Cette représentation a surpassé le NeRF dans de nombreuses tâches 3D telles que la reconstruction 3D et 4D. Elle a attiré une large attention dans le domaine de la 3D dès son lancement et est l'une des meilleures. les plus grandes avancées dans le domaine de la 3D cette année. Gaussian Splatting a d'excellentes perspectives et potentiel, et GaussianEditor est le premier à mettre en œuvre l'édition de cette représentation 3D. Le projet est open source et fournit une interface WebUI pour un apprentissage et une utilisation faciles.

• Adresse papier : https://arxiv.org/abs/2311.14521
• Adresse de la page d'accueil : https://buaacyw.github.io/gaussian-editor/

Bien Gaussian Gaussian Splatting possède un algorithme de rendu efficace, mais son édition en tant que représentation d'affichage présente des défis considérables. Un problème majeur est le manque de méthodes efficaces pour identifier avec précision les cibles d’édition, ce qui est crucial pour une édition précise et contrôlable. En outre, il a été démontré que l'optimisation de la pulvérisation gaussienne (GS) à l'aide d'un guidage génératif hautement stochastique, tel que des modèles de diffusion génératifs tels que Stable Diffusion, présente des défis importants. Cela peut être dû au fait que GS est directement affecté par le caractère aléatoire de la perte, contrairement à la représentation implicite de la mise en mémoire tampon du réseau neuronal. Cette exposition directe conduit à des mises à jour instables et les propriétés des points de Gauss changent directement lors de l'entraînement. De plus, chaque étape de formation de GS peut impliquer la mise à jour d'un grand nombre de points gaussiens, et ce processus ne dispose pas de mécanisme de mise en mémoire tampon de type réseau neuronal. Ces problèmes conduiront à une fluidité excessive du GS et entraveront sa convergence vers des résultats fins comme la représentation implicite dans l'entraînement

Afin de résoudre les problèmes ci-dessus, l'équipe a d'abord introduit le suivi sémantique gaussien pour compléter le Splatting gaussien (GS ) contrôle précis. Le suivi sémantique gaussien peut toujours identifier les points gaussiens qui doivent être modifiés pendant le processus de formation. Cela diffère des méthodes d'édition 3D traditionnelles, qui reposent souvent sur des masques statiques 2D ou 3D. À mesure que la géométrie et l’apparence du modèle 3D changent au cours de l’entraînement, ces masques deviennent progressivement inefficaces. Le suivi sémantique gaussien réalise un suivi tout au long du processus de formation en projetant des masques de segmentation 2D sur des points gaussiens 3D et en attribuant des étiquettes sémantiques à chaque point gaussien. À mesure que les points gaussiens changent au cours de la formation, ces étiquettes sémantiques permettent le suivi de points gaussiens cibles spécifiques. L'algorithme de suivi sémantique gaussien garantit que seules les zones cibles sont modifiées, permettant une édition précise et contrôlée.

La zone rouge dans l'image ci-dessous est la zone cible suivie. La zone de suivi sémantique sera mise à jour dynamiquement avec le processus de formation pour garantir son efficacité.

De plus, afin de relever le défi majeur du Gaussian Splatting (GS) qui est difficile d'obtenir des résultats fins lorsqu'il est généré de manière hautement aléatoire, GaussinEditor adopte une nouvelle représentation GS : Hierarchical Gaussian Splatting, HGS). Dans HGS, les points gaussiens sont organisés en différentes générations en fonction de leur ordre de densification lors de l'entraînement. Les points de Gauss formés lors des processus de densification antérieurs sont considérés comme des générations plus anciennes et sont soumis à des contraintes plus strictes dans le but de maintenir leur état d'origine et de réduire leur mobilité. En revanche, les points de Gauss formés aux stades ultérieurs sont traités comme des générations plus jeunes, soumises à moins ou pas de contraintes pour améliorer leur condition physique. La conception du HGS régule efficacement la mobilité des GS en imposant des restrictions aux générations plus âgées tout en préservant la flexibilité des générations plus récentes. Cette approche permet d'optimiser continuellement vers de meilleurs résultats, en simulant la fonction tampon dans la représentation implicite implémentée via les réseaux de neurones

GaussianEditor a proposé Gaussian Splash sur cette base, des algorithmes d'addition et de suppression pour radial représentation. En termes de suppression de cible, l’équipe a développé un algorithme de réparation locale spécialisé qui élimine efficacement les artefacts à l’interface entre l’objet et la scène. En termes d'ajout de cibles, GaussianEditor peut ajouter des cibles spécifiées à des zones spécifiées en fonction d'une invite de texte et d'un masque 2D fourni par l'utilisateur. GaussianEditor génère d'abord une image à vue unique de l'objet à ajouter à l'aide de l'algorithme d'Inpainting d'image 2D. Cette image est ensuite convertie en GS 3D à l'aide de l'algorithme Image to 3D. Enfin, la cible est incorporée dans la scène gaussienne.

Dans les expériences comparatives, GaussianEditor a largement surpassé les travaux précédents en termes de qualité visuelle, d'indicateurs quantitatifs, de contrôlabilité et de vitesse de génération

L'équipe a également vérifié par des expériences d'ablation l'efficacité de leur suivi sémantique gaussien proposé et représentation gaussienne hiérarchique

GaussianEditor, en tant qu'algorithme d'édition 3D avancé, se concentre sur l'édition flexible et rapide de scènes 3D et réalise pour la première fois un éditeur pour la pulvérisation gaussienne.

Les principales caractéristiques de cet algorithme incluent :

1. Suivi sémantique gaussien : Il peut identifier en continu les points gaussiens qui doivent être modifiés pendant le processus de formation, garantissant que seule la zone cible est modifiée.
2. Splatting gaussien hiérarchique (HGS) : Il s'agit d'une nouvelle représentation GS qui gère efficacement la fluidité des scènes GS en établissant une structure hiérarchique entre les points gaussiens formés au cours de différentes étapes d'entraînement et simule la fonction tampon des neurones. réseaux dans les représentations implicites.
3. Algorithme d'ajout et de suppression de scènes 3D : GaussianEditor a spécialement développé et conçu un algorithme d'ajout et de suppression de scènes 3D pour GS, qui peut supprimer ou ajouter efficacement des objets spécifiques de la scène.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!