


NeRFFaceEditing, une méthode d'édition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.
Vous souhaitez concevoir personnellement un visage tridimensionnel très réaliste, mais vous constatez que vous n'êtes pas familier avec les logiciels de conception professionnels ? La méthode d'édition de visages 3D NeRFFaceEditing apporte une nouvelle solution Même si vous ne connaissez pas la modélisation 3D, vous pouvez librement éditer des visages tridimensionnels très réalistes et modéliser des portraits numériques personnalisés dans le métaverse !
NeRFFaceEditing a été réalisé par des chercheurs de l'Institut de technologie informatique de l'Académie chinoise des sciences et de l'Université de la ville de Hong Kong. Des articles techniques connexes ont été publiés lors de la conférence d'infographie ACM SIGGRAPH Asia 2022.
Page d'accueil du projet : http://geometrylearning.com/NeRFFaceEditing/
NeRFFaceEditing utilise des masques sémantiques bidimensionnels comme pont pour l'édition de géométrie tridimensionnelle, permettant aux utilisateurs d'effectuer une édition sémantique à partir de une perspective Peut être propagée à toute la géométrie de la face 3D, en gardant le matériau inchangé. De plus, étant donné une image représentant un style de référence, l'utilisateur peut facilement modifier le style de matériau de l'ensemble du visage 3D tout en gardant la géométrie inchangée.
Le système d'édition de visage 3D basé sur cette méthode permet aux utilisateurs de réaliser facilement une conception de visage personnalisée et de personnaliser la forme et l'apparence du visage même s'ils ne sont pas familiers avec la conception 3D professionnelle. Examinons d'abord deux effets étonnants utilisant NeRFFaceEditing !
Figure 1 Effet d'édition géométrique : l'édition sur le masque sémantique bidimensionnel est propagée à l'ensemble de l'espace géométrique tridimensionnel
Figure 2 Transfert de style effet : le style donné agit sur tout l'espace tridimensionnel du visage tout en conservant la même géométrie
Partie I Contexte
Ces dernières années, avec la combinaison de champs de rayonnement neuronal [1] et de réseaux génératifs adverses [ 2], divers réseaux de génération de visages 3D de haute qualité et à rendu rapide ont été proposés, notamment EG3D [3].
Figure 3 L'effet de génération et la représentation géométrique d'EG3D sous différents angles
La représentation à trois plans de cette méthode combine le réseau contradictoire génératif bidimensionnel traditionnel et les dernières représentation implicite dimensionnelle, par conséquent, il hérite de la puissante capacité de génération et de la capacité de représentation du champ de rayonnement neuronal de StyleGAN [4]. Cependant, ces modèles génératifs ne peuvent pas fournir un contrôle découplé de la géométrie et du matériau du visage humain, fonctionnalité indispensable pour des applications telles que la conception de personnages 3D.
Les travaux existants, tels que DeepFaceDrawing [5] et DeepFaceEditing [6], peuvent réaliser le contrôle du découplage de la géométrie et du matériau basé sur le dessin au trait et la génération et l'édition d'images de visage bidimensionnelles. DeepFaceVideoEditing [7] applique l'édition de dessins au trait aux vidéos de visage, ce qui peut générer de riches effets d'édition dans des séries temporelles.
Cependant, les méthodes de découplage et d'édition d'images sont difficiles à appliquer directement à l'espace tridimensionnel. Cependant, les méthodes de découplage géométrique et matérielle existantes pour les faces tridimensionnelles nécessitent souvent de recycler les paramètres de réseau, et la méthode de représentation spatiale utilisée présente de plus grandes limites et n'a pas les bonnes propriétés de la représentation à trois plans. Afin de résoudre les problèmes ci-dessus, NeRFFaceEditing est basé sur les paramètres du modèle pré-entraîné du réseau contradictoire génératif tridimensionnel représenté par les trois plans, et utilise le masque sémantique bidimensionnel sous n'importe quelle perspective comme support pour réaliser l'édition géométrique. de la face tridimensionnelle et la solution du contrôle du couplage matériau.
Partie 2 Le principe de l'algorithme de NeRFFaceEditing
Une fois que le générateur à trois plans a généré le trois plans, il s'inspire d'AdaIN [8], c'est-à-dire que pour la carte de caractéristiques bidimensionnelle (Feature Map), ses données statistiques peut représenter son style, NeRFFaceEditing décompose trois plans en moyenne et écart type (a) qui expriment des caractéristiques matérielles de haut niveau spatialement invariantes, et trois plans normalisés qui expriment des caractéristiques géométriques spatialement variables. La combinaison des trois plans standardisés et des caractéristiques du matériau décomposé (a) peut restaurer le trois plans d'origine. Par conséquent, étant donné les différentes caractéristiques des matériaux, la même géométrie peut recevoir différents matériaux.
En allant plus loin, afin d'obtenir un contrôle découplé de la géométrie et des matériaux, NeRFFaceEditing décompose le décodeur unique d'origine en un décodeur de géométrie et un décodeur de matériaux. Le décodeur géométrique saisit les caractéristiques, les densités prédites et les étiquettes sémantiques obtenues à partir d'un échantillonnage normalisé à trois plans, et est utilisé pour exprimer le volume du masque géométrique et sémantique (Volume) du visage 3D. Les caractéristiques géométriques et les caractéristiques matérielles (a) sont combinées via le module module de matériau contrôlable (CAM), puis les caractéristiques échantillonnées sont entrées dans le décodeur de matériau pour prédire la couleur. Enfin, grâce au rendu volumique, l'image du visage et le masque sémantique correspondant dans une certaine perspective sont obtenus. Étant donné une caractéristique matérielle différente (b), la caractéristique géométrique et la caractéristique matérielle (b) peuvent être utilisées pour obtenir une autre image de visage avec une géométrie inchangée et un matériau modifié via le module CAM et le rendu de volume. La structure globale du réseau est présentée dans la figure ci-dessous :
Figure 4 Architecture réseau de NeRFFaceEditing
De plus, afin de contraindre les résultats de rendu d'échantillons ayant les mêmes caractéristiques matérielles mais géométrie différente dans le matériau Semblable à ci-dessus, NeRFFaceEditing utilise les masques sémantiques générés et utilise des caractéristiques d'histogramme pour représenter la distribution des couleurs de différents composants du visage, tels que les cheveux, la peau, etc., d'échantillons avec les mêmes caractéristiques matérielles et une géométrie différente. La somme des distances de la répartition des couleurs de ces échantillons sur les composants individuels est alors optimisée. Comme le montre la figure ci-dessous :
Figure 5 Stratégie de formation aux contraintes de similarité matérielle
Partie 3 Affichage des effets et comparaison expérimentale
En utilisant NeRFFaceEditing, vous pouvez utiliser des masques sémantiques bidimensionnels pour identifier des personnes en trois dimensions Édition géométrique dans l'espace du visage :
Figure 6 Édition de la géométrie du visage 3D
De plus, sur la base d'images de référence, migration de style de matériau en trois dimensions cohérentes l'espace dimensionnel peut également être réalisé :
Figure 7 Transfert de style de visage 3D
Sur cette base, une application de déformation par interpolation de visage découplée peut être mise en œuvre, comme le montre la figure ci-dessous, avec le coin supérieur gauche et le coin inférieur droit comme points de départ et d'arrivée, Interpolation linéaire de la caméra, de la géométrie et du matériau :
Figure 8 Affichage de l'effet de déformation du visage découplé
Avec l'aide de PTI [9], l'image réelle est rétroprojetée dans l'espace latent de NeRFFaceEditing. L'édition et le transfert de style d'images réelles peuvent également être réalisés. Grâce à cela, NeRFFaceEditing a également été comparé à d'autres méthodes open source d'édition de visage capables de contrôler l'angle de vue, à savoir SofGAN [10], prouvant la supériorité de la méthode.
Figure 9 Exemple d'édition de géométrie 3D d'images réelles. On peut voir que l'authenticité de NeRFFaceEditing est meilleure que celle de SofGAN, et SofGAN présente certains changements d'identité sous d'autres angles.
Figure 10 Exemple de transfert de style d'image réelle. On peut voir que SofGAN présente certains défauts et présente certains changements d'identité.
Partie 4 Conclusion et remerciements
La génération de contenu numérique est largement utilisée dans les domaines de la production industrielle et des médias numériques, en particulier la génération et l'édition d'humains numériques virtuels, qui ont récemment fait l'objet d'une large attention, et les visages humains 3D. L'édition découplée de la géométrie et des matériaux est une solution possible pour la mise en forme personnalisée d'images virtuelles réelles.
Le système NeRFFaceEditing, en découplant la conception du réseau de génération de visages 3D, peut transformer la modification par l'utilisateur du masque sémantique d'une perspective bidimensionnelle en une modification géométrique de l'ensemble de l'espace tridimensionnel, tout en garantissant que le matériau ne change pas. De plus, grâce à des stratégies de formation qui améliorent l’effet de transfert de style, un transfert efficace de style de matériau dans un espace tridimensionnel peut être obtenu. L'article de NeRFFaceEditing a été accepté par ACM SIGGRAPH ASIA 2022, une conférence de premier plan en infographie.
L'équipe de recherche de ce projet comprend Jiang Kaiwen (premier auteur), un étudiant de premier cycle dans la classe élite de l'Institut de technologie informatique de l'Académie chinoise des sciences, le chercheur associé Gao Lin (auteur correspondant de cet article), le Dr . Chen Shuyu et le professeur Fu Hongbo de la City University de Hong Kong, etc. Plus de mises à jour sur l'article Pour plus de détails, veuillez visiter la page d'accueil du projet :
http://geometrylearning.com/NeRFFaceEditing/
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds



Tomato Novel est un logiciel de lecture de romans très populaire. Nous avons souvent de nouveaux romans et bandes dessinées à lire dans Tomato Novel. De nombreux amis souhaitent également gagner de l'argent de poche et éditer le contenu de leur roman. Je veux écrire dans du texte. Alors, comment pouvons-nous y écrire le roman ? Mes amis ne le savent pas, alors allons ensemble sur ce site. Prenons le temps de regarder une introduction à la façon d'écrire un roman. Partagez le didacticiel du roman Tomato sur la façon d'écrire un roman. 1. Ouvrez d'abord l'application de roman gratuite Tomato sur votre téléphone mobile et cliquez sur Personal Center - Writer Center 2. Accédez à la page Tomato Writer Assistant - cliquez sur Créer un nouveau livre. à la fin du roman.

Les cartes mères colorées jouissent d'une grande popularité et d'une part de marché élevée sur le marché intérieur chinois, mais certains utilisateurs de cartes mères colorées ne savent toujours pas comment accéder au BIOS pour les paramètres ? En réponse à cette situation, l'éditeur vous a spécialement proposé deux méthodes pour accéder au bios coloré de la carte mère. Venez l'essayer ! Méthode 1 : utilisez la touche de raccourci de démarrage du disque U pour accéder directement au système d'installation du disque U. La touche de raccourci de la carte mère Colorful pour démarrer le disque U en un seul clic est ESC ou F11. Tout d'abord, utilisez Black Shark Installation Master pour créer un Black. Disque de démarrage Shark U, puis allumez l'ordinateur lorsque vous voyez l'écran de démarrage, appuyez continuellement sur la touche ESC ou F11 du clavier pour accéder à une fenêtre de sélection de la séquence d'éléments de démarrage. Déplacez le curseur à l'endroit où "USB. " s'affiche, puis

Malheureusement, les gens suppriment souvent certains contacts accidentellement pour certaines raisons. WeChat est un logiciel social largement utilisé. Pour aider les utilisateurs à résoudre ce problème, cet article explique comment récupérer les contacts supprimés de manière simple. 1. Comprendre le mécanisme de suppression des contacts WeChat. Cela nous offre la possibilité de récupérer les contacts supprimés. Le mécanisme de suppression des contacts dans WeChat les supprime du carnet d'adresses, mais ne les supprime pas complètement. 2. Utilisez la fonction intégrée « Récupération du carnet de contacts » de WeChat. WeChat fournit une « Récupération du carnet de contacts » pour économiser du temps et de l'énergie. Les utilisateurs peuvent récupérer rapidement les contacts précédemment supprimés grâce à cette fonction. 3. Accédez à la page des paramètres WeChat et cliquez sur le coin inférieur droit, ouvrez l'application WeChat « Moi » et cliquez sur l'icône des paramètres dans le coin supérieur droit pour accéder à la page des paramètres.

Dans la société actuelle, les téléphones portables sont devenus un élément indispensable de nos vies. En tant qu'outil important pour notre communication, notre travail et notre vie quotidienne, WeChat est souvent utilisé. Cependant, il peut être nécessaire de séparer deux comptes WeChat lors du traitement de différentes transactions, ce qui nécessite que le téléphone mobile prenne en charge la connexion à deux comptes WeChat en même temps. En tant que marque nationale bien connue, les téléphones mobiles Huawei sont utilisés par de nombreuses personnes. Alors, quelle est la méthode pour ouvrir deux comptes WeChat sur les téléphones mobiles Huawei ? Dévoilons le secret de cette méthode. Tout d'abord, vous devez utiliser deux comptes WeChat en même temps sur votre téléphone mobile Huawei. Le moyen le plus simple est de le faire.

Les jeux mobiles font désormais partie intégrante de la vie des gens avec le développement de la technologie. Il a attiré l'attention de nombreux joueurs avec sa jolie image d'œuf de dragon et son processus d'éclosion intéressant, et l'un des jeux qui a beaucoup attiré l'attention est la version mobile de Dragon Egg. Pour aider les joueurs à mieux cultiver et faire grandir leurs propres dragons dans le jeu, cet article vous présentera comment faire éclore des œufs de dragon dans la version mobile. 1. Choisissez le type d'œuf de dragon approprié. Les joueurs doivent choisir soigneusement le type d'œuf de dragon qu'ils aiment et qui leur conviennent, en fonction des différents types d'attributs et de capacités d'œuf de dragon fournis dans le jeu. 2. Améliorez le niveau de la machine d'incubation. Les joueurs doivent améliorer le niveau de la machine d'incubation en accomplissant des tâches et en collectant des accessoires. Le niveau de la machine d'incubation détermine la vitesse d'éclosion et le taux de réussite de l'éclosion. 3. Collectez les ressources nécessaires à l'éclosion. Les joueurs doivent être dans le jeu.

La définition de la taille de la police est devenue une exigence de personnalisation importante à mesure que les téléphones mobiles deviennent un outil important dans la vie quotidienne des gens. Afin de répondre aux besoins des différents utilisateurs, cet article présentera comment améliorer l'expérience d'utilisation du téléphone mobile et ajuster la taille de la police du téléphone mobile grâce à des opérations simples. Pourquoi avez-vous besoin d'ajuster la taille de la police de votre téléphone mobile - L'ajustement de la taille de la police peut rendre le texte plus clair et plus facile à lire - Adapté aux besoins de lecture des utilisateurs d'âges différents - Pratique pour les utilisateurs malvoyants qui souhaitent utiliser la taille de la police fonction de configuration du système de téléphonie mobile - Comment accéder à l'interface des paramètres du système - Dans Rechercher et entrez l'option "Affichage" dans l'interface des paramètres - recherchez l'option "Taille de la police" et ajustez-la. application - téléchargez et installez une application prenant en charge l'ajustement de la taille de la police - ouvrez l'application et entrez dans l'interface des paramètres appropriée - en fonction de l'individu

La différence entre les méthodes et les fonctions du langage Go réside dans leur association avec des structures : les méthodes sont associées à des structures et sont utilisées pour faire fonctionner des données de structure ou des fonctions de méthodes sont indépendantes des types et sont utilisées pour effectuer des opérations générales ;

Le film pour téléphone portable est devenu l'un des accessoires indispensables avec la popularité des smartphones. Pour prolonger sa durée de vie, choisissez un film de téléphone portable adapté pour protéger l'écran du téléphone portable. Pour aider les lecteurs à choisir le film pour téléphone portable le plus approprié, cet article présentera plusieurs points clés et conseils pour l'achat d'un film pour téléphone portable. Comprendre les matériaux et les types de films pour téléphones portables : film PET, TPU, etc. Les films pour téléphones portables sont constitués de divers matériaux, dont le verre trempé. Le film PET est relativement doux, le film en verre trempé a une bonne résistance aux rayures et le TPU a de bonnes performances antichoc. Cela peut être décidé en fonction des préférences et des besoins personnels lors du choix. Tenez compte du degré de protection de l'écran. Différents types de films pour téléphones portables ont différents degrés de protection d'écran. Le film PET joue principalement un rôle anti-rayures, tandis que le film en verre trempé a une meilleure résistance aux chutes. Vous pouvez choisir d'avoir mieux
