Table des matières
Partie I Contexte
Partie 2 Le principe de l'algorithme de NeRFFaceEditing
Partie 3 Affichage des effets et comparaison expérimentale
Partie 4 Conclusion et remerciements
Maison Périphériques technologiques IA NeRFFaceEditing, une méthode d'édition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

NeRFFaceEditing, une méthode d'édition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

Apr 13, 2023 am 11:16 AM
数字 方法

Vous souhaitez concevoir personnellement un visage tridimensionnel très réaliste, mais vous constatez que vous n'êtes pas familier avec les logiciels de conception professionnels ? La méthode d'édition de visages 3D NeRFFaceEditing apporte une nouvelle solution Même si vous ne connaissez pas la modélisation 3D, vous pouvez librement éditer des visages tridimensionnels très réalistes et modéliser des portraits numériques personnalisés dans le métaverse !

NeRFFaceEditing a été réalisé par des chercheurs de l'Institut de technologie informatique de l'Académie chinoise des sciences et de l'Université de la ville de Hong Kong. Des articles techniques connexes ont été publiés lors de la conférence d'infographie ACM SIGGRAPH Asia 2022.

NeRFFaceEditing, une méthode dédition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

Page d'accueil du projet : http://geometrylearning.com/NeRFFaceEditing/

NeRFFaceEditing utilise des masques sémantiques bidimensionnels comme pont pour l'édition de géométrie tridimensionnelle, permettant aux utilisateurs d'effectuer une édition sémantique à partir de une perspective Peut être propagée à toute la géométrie de la face 3D, en gardant le matériau inchangé. De plus, étant donné une image représentant un style de référence, l'utilisateur peut facilement modifier le style de matériau de l'ensemble du visage 3D tout en gardant la géométrie inchangée.

Le système d'édition de visage 3D basé sur cette méthode permet aux utilisateurs de réaliser facilement une conception de visage personnalisée et de personnaliser la forme et l'apparence du visage même s'ils ne sont pas familiers avec la conception 3D professionnelle. Examinons d'abord deux effets étonnants utilisant NeRFFaceEditing !

NeRFFaceEditing, une méthode d'édition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

​Figure 1 Effet d'édition géométrique : l'édition sur le masque sémantique bidimensionnel est propagée à l'ensemble de l'espace géométrique tridimensionnel

NeRFFaceEditing, une méthode d'édition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

Figure 2 Transfert de style effet : le style donné agit sur tout l'espace tridimensionnel du visage tout en conservant la même géométrie

Partie I Contexte

Ces dernières années, avec la combinaison de champs de rayonnement neuronal [1] et de réseaux génératifs adverses [ 2], divers réseaux de génération de visages 3D de haute qualité et à rendu rapide ont été proposés, notamment EG3D [3].

NeRFFaceEditing, une méthode dédition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

Figure 3 L'effet de génération et la représentation géométrique d'EG3D sous différents angles

La représentation à trois plans de cette méthode combine le réseau contradictoire génératif bidimensionnel traditionnel et les dernières représentation implicite dimensionnelle, par conséquent, il hérite de la puissante capacité de génération et de la capacité de représentation du champ de rayonnement neuronal de StyleGAN [4]. Cependant, ces modèles génératifs ne peuvent pas fournir un contrôle découplé de la géométrie et du matériau du visage humain, fonctionnalité indispensable pour des applications telles que la conception de personnages 3D.

Les travaux existants, tels que DeepFaceDrawing [5] et DeepFaceEditing [6], peuvent réaliser le contrôle du découplage de la géométrie et du matériau basé sur le dessin au trait et la génération et l'édition d'images de visage bidimensionnelles. DeepFaceVideoEditing [7] applique l'édition de dessins au trait aux vidéos de visage, ce qui peut générer de riches effets d'édition dans des séries temporelles.

Cependant, les méthodes de découplage et d'édition d'images sont difficiles à appliquer directement à l'espace tridimensionnel. Cependant, les méthodes de découplage géométrique et matérielle existantes pour les faces tridimensionnelles nécessitent souvent de recycler les paramètres de réseau, et la méthode de représentation spatiale utilisée présente de plus grandes limites et n'a pas les bonnes propriétés de la représentation à trois plans. Afin de résoudre les problèmes ci-dessus, NeRFFaceEditing est basé sur les paramètres du modèle pré-entraîné du réseau contradictoire génératif tridimensionnel représenté par les trois plans, et utilise le masque sémantique bidimensionnel sous n'importe quelle perspective comme support pour réaliser l'édition géométrique. de la face tridimensionnelle et la solution du contrôle du couplage matériau.

Partie 2 Le principe de l'algorithme de NeRFFaceEditing

Une fois que le générateur à trois plans a généré le trois plans, il s'inspire d'AdaIN [8], c'est-à-dire que pour la carte de caractéristiques bidimensionnelle (Feature Map), ses données statistiques peut représenter son style, NeRFFaceEditing décompose trois plans en moyenne et écart type (a) qui expriment des caractéristiques matérielles de haut niveau spatialement invariantes, et trois plans normalisés qui expriment des caractéristiques géométriques spatialement variables. La combinaison des trois plans standardisés et des caractéristiques du matériau décomposé (a) peut restaurer le trois plans d'origine. Par conséquent, étant donné les différentes caractéristiques des matériaux, la même géométrie peut recevoir différents matériaux.

En allant plus loin, afin d'obtenir un contrôle découplé de la géométrie et des matériaux, NeRFFaceEditing décompose le décodeur unique d'origine en un décodeur de géométrie et un décodeur de matériaux. Le décodeur géométrique saisit les caractéristiques, les densités prédites et les étiquettes sémantiques obtenues à partir d'un échantillonnage normalisé à trois plans, et est utilisé pour exprimer le volume du masque géométrique et sémantique (Volume) du visage 3D. Les caractéristiques géométriques et les caractéristiques matérielles (a) sont combinées via le module module de matériau contrôlable (CAM), puis les caractéristiques échantillonnées sont entrées dans le décodeur de matériau pour prédire la couleur. Enfin, grâce au rendu volumique, l'image du visage et le masque sémantique correspondant dans une certaine perspective sont obtenus. Étant donné une caractéristique matérielle différente (b), la caractéristique géométrique et la caractéristique matérielle (b) peuvent être utilisées pour obtenir une autre image de visage avec une géométrie inchangée et un matériau modifié via le module CAM et le rendu de volume. La structure globale du réseau est présentée dans la figure ci-dessous :

NeRFFaceEditing, une méthode dédition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

Figure 4 Architecture réseau de NeRFFaceEditing

De plus, afin de contraindre les résultats de rendu d'échantillons ayant les mêmes caractéristiques matérielles mais géométrie différente dans le matériau Semblable à ci-dessus, NeRFFaceEditing utilise les masques sémantiques générés et utilise des caractéristiques d'histogramme pour représenter la distribution des couleurs de différents composants du visage, tels que les cheveux, la peau, etc., d'échantillons avec les mêmes caractéristiques matérielles et une géométrie différente. La somme des distances de la répartition des couleurs de ces échantillons sur les composants individuels est alors optimisée. Comme le montre la figure ci-dessous :

NeRFFaceEditing, une méthode dédition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

Figure 5 Stratégie de formation aux contraintes de similarité matérielle

Partie 3 Affichage des effets et comparaison expérimentale

En utilisant NeRFFaceEditing, vous pouvez utiliser des masques sémantiques bidimensionnels pour identifier des personnes en trois dimensions Édition géométrique dans l'espace du visage :

NeRFFaceEditing, une méthode dédition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

Figure 6 Édition de la géométrie du visage 3D

De plus, sur la base d'images de référence, migration de style de matériau en trois dimensions cohérentes l'espace dimensionnel peut également être réalisé :

NeRFFaceEditing, une méthode dédition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

Figure 7 Transfert de style de visage 3D

Sur cette base, une application de déformation par interpolation de visage découplée peut être mise en œuvre, comme le montre la figure ci-dessous, avec le coin supérieur gauche et le coin inférieur droit comme points de départ et d'arrivée, Interpolation linéaire de la caméra, de la géométrie et du matériau :

NeRFFaceEditing, une méthode dédition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

Figure 8 Affichage de l'effet de déformation du visage découplé

Avec l'aide de PTI [9], l'image réelle est rétroprojetée dans l'espace latent de NeRFFaceEditing. L'édition et le transfert de style d'images réelles peuvent également être réalisés. Grâce à cela, NeRFFaceEditing a également été comparé à d'autres méthodes open source d'édition de visage capables de contrôler l'angle de vue, à savoir SofGAN [10], prouvant la supériorité de la méthode.

NeRFFaceEditing, une méthode dédition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

Figure 9 Exemple d'édition de géométrie 3D d'images réelles. On peut voir que l'authenticité de NeRFFaceEditing est meilleure que celle de SofGAN, et SofGAN présente certains changements d'identité sous d'autres angles.

NeRFFaceEditing, une méthode dédition de masques pour les champs de rayonnement neuronal facial, peut éditer des visages tridimensionnels sans modélisation 3D.

Figure 10 Exemple de transfert de style d'image réelle. On peut voir que SofGAN présente certains défauts et présente certains changements d'identité.

Partie 4 Conclusion et remerciements

La génération de contenu numérique est largement utilisée dans les domaines de la production industrielle et des médias numériques, en particulier la génération et l'édition d'humains numériques virtuels, qui ont récemment fait l'objet d'une large attention, et les visages humains 3D. L'édition découplée de la géométrie et des matériaux est une solution possible pour la mise en forme personnalisée d'images virtuelles réelles.

Le système NeRFFaceEditing, en découplant la conception du réseau de génération de visages 3D, peut transformer la modification par l'utilisateur du masque sémantique d'une perspective bidimensionnelle en une modification géométrique de l'ensemble de l'espace tridimensionnel, tout en garantissant que le matériau ne change pas. De plus, grâce à des stratégies de formation qui améliorent l’effet de transfert de style, un transfert efficace de style de matériau dans un espace tridimensionnel peut être obtenu. L'article de NeRFFaceEditing a été accepté par ACM SIGGRAPH ASIA 2022, une conférence de premier plan en infographie.

L'équipe de recherche de ce projet comprend Jiang Kaiwen (premier auteur), un étudiant de premier cycle dans la classe élite de l'Institut de technologie informatique de l'Académie chinoise des sciences, le chercheur associé Gao Lin (auteur correspondant de cet article), le Dr . Chen Shuyu et le professeur Fu Hongbo de la City University de Hong Kong, etc. Plus de mises à jour sur l'article Pour plus de détails, veuillez visiter la page d'accueil du projet :

​http://geometrylearning.com/NeRFFaceEditing/​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Où trouver la courte de la grue à atomide atomique
1 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Comment écrire un roman dans l'application Tomato Free Novel Partagez le tutoriel sur la façon d'écrire un roman dans l'application Tomato Novel Comment écrire un roman dans l'application Tomato Free Novel Partagez le tutoriel sur la façon d'écrire un roman dans l'application Tomato Novel Mar 28, 2024 pm 12:50 PM

Tomato Novel est un logiciel de lecture de romans très populaire. Nous avons souvent de nouveaux romans et bandes dessinées à lire dans Tomato Novel. De nombreux amis souhaitent également gagner de l'argent de poche et éditer le contenu de leur roman. Je veux écrire dans du texte. Alors, comment pouvons-nous y écrire le roman ? Mes amis ne le savent pas, alors allons ensemble sur ce site. Prenons le temps de regarder une introduction à la façon d'écrire un roman. Partagez le didacticiel du roman Tomato sur la façon d'écrire un roman. 1. Ouvrez d'abord l'application de roman gratuite Tomato sur votre téléphone mobile et cliquez sur Personal Center - Writer Center 2. Accédez à la page Tomato Writer Assistant - cliquez sur Créer un nouveau livre. à la fin du roman.

Comment entrer dans le bios sur la carte mère Colorful ? Apprenez-vous deux méthodes Comment entrer dans le bios sur la carte mère Colorful ? Apprenez-vous deux méthodes Mar 13, 2024 pm 06:01 PM

Les cartes mères colorées jouissent d'une grande popularité et d'une part de marché élevée sur le marché intérieur chinois, mais certains utilisateurs de cartes mères colorées ne savent toujours pas comment accéder au BIOS pour les paramètres ? En réponse à cette situation, l'éditeur vous a spécialement proposé deux méthodes pour accéder au bios coloré de la carte mère. Venez l'essayer ! Méthode 1 : utilisez la touche de raccourci de démarrage du disque U pour accéder directement au système d'installation du disque U. La touche de raccourci de la carte mère Colorful pour démarrer le disque U en un seul clic est ESC ou F11. Tout d'abord, utilisez Black Shark Installation Master pour créer un Black. Disque de démarrage Shark U, puis allumez l'ordinateur lorsque vous voyez l'écran de démarrage, appuyez continuellement sur la touche ESC ou F11 du clavier pour accéder à une fenêtre de sélection de la séquence d'éléments de démarrage. Déplacez le curseur à l'endroit où "USB. " s'affiche, puis

Comment récupérer des contacts supprimés sur WeChat (un tutoriel simple vous explique comment récupérer des contacts supprimés) Comment récupérer des contacts supprimés sur WeChat (un tutoriel simple vous explique comment récupérer des contacts supprimés) May 01, 2024 pm 12:01 PM

Malheureusement, les gens suppriment souvent certains contacts accidentellement pour certaines raisons. WeChat est un logiciel social largement utilisé. Pour aider les utilisateurs à résoudre ce problème, cet article explique comment récupérer les contacts supprimés de manière simple. 1. Comprendre le mécanisme de suppression des contacts WeChat. Cela nous offre la possibilité de récupérer les contacts supprimés. Le mécanisme de suppression des contacts dans WeChat les supprime du carnet d'adresses, mais ne les supprime pas complètement. 2. Utilisez la fonction intégrée « Récupération du carnet de contacts » de WeChat. WeChat fournit une « Récupération du carnet de contacts » pour économiser du temps et de l'énergie. Les utilisateurs peuvent récupérer rapidement les contacts précédemment supprimés grâce à cette fonction. 3. Accédez à la page des paramètres WeChat et cliquez sur le coin inférieur droit, ouvrez l'application WeChat « Moi » et cliquez sur l'icône des paramètres dans le coin supérieur droit pour accéder à la page des paramètres.

Maîtrisez rapidement : comment ouvrir deux comptes WeChat sur les téléphones mobiles Huawei révélé ! Maîtrisez rapidement : comment ouvrir deux comptes WeChat sur les téléphones mobiles Huawei révélé ! Mar 23, 2024 am 10:42 AM

Dans la société actuelle, les téléphones portables sont devenus un élément indispensable de nos vies. En tant qu'outil important pour notre communication, notre travail et notre vie quotidienne, WeChat est souvent utilisé. Cependant, il peut être nécessaire de séparer deux comptes WeChat lors du traitement de différentes transactions, ce qui nécessite que le téléphone mobile prenne en charge la connexion à deux comptes WeChat en même temps. En tant que marque nationale bien connue, les téléphones mobiles Huawei sont utilisés par de nombreuses personnes. Alors, quelle est la méthode pour ouvrir deux comptes WeChat sur les téléphones mobiles Huawei ? Dévoilons le secret de cette méthode. Tout d'abord, vous devez utiliser deux comptes WeChat en même temps sur votre téléphone mobile Huawei. Le moyen le plus simple est de le faire.

Le secret de l'éclosion des œufs de dragon mobiles est révélé (étape par étape pour vous apprendre à réussir l'éclosion des œufs de dragon mobiles) Le secret de l'éclosion des œufs de dragon mobiles est révélé (étape par étape pour vous apprendre à réussir l'éclosion des œufs de dragon mobiles) May 04, 2024 pm 06:01 PM

Les jeux mobiles font désormais partie intégrante de la vie des gens avec le développement de la technologie. Il a attiré l'attention de nombreux joueurs avec sa jolie image d'œuf de dragon et son processus d'éclosion intéressant, et l'un des jeux qui a beaucoup attiré l'attention est la version mobile de Dragon Egg. Pour aider les joueurs à mieux cultiver et faire grandir leurs propres dragons dans le jeu, cet article vous présentera comment faire éclore des œufs de dragon dans la version mobile. 1. Choisissez le type d'œuf de dragon approprié. Les joueurs doivent choisir soigneusement le type d'œuf de dragon qu'ils aiment et qui leur conviennent, en fonction des différents types d'attributs et de capacités d'œuf de dragon fournis dans le jeu. 2. Améliorez le niveau de la machine d'incubation. Les joueurs doivent améliorer le niveau de la machine d'incubation en accomplissant des tâches et en collectant des accessoires. Le niveau de la machine d'incubation détermine la vitesse d'éclosion et le taux de réussite de l'éclosion. 3. Collectez les ressources nécessaires à l'éclosion. Les joueurs doivent être dans le jeu.

Comment définir la taille de la police sur le téléphone mobile (ajustez facilement la taille de la police sur le téléphone mobile) Comment définir la taille de la police sur le téléphone mobile (ajustez facilement la taille de la police sur le téléphone mobile) May 07, 2024 pm 03:34 PM

La définition de la taille de la police est devenue une exigence de personnalisation importante à mesure que les téléphones mobiles deviennent un outil important dans la vie quotidienne des gens. Afin de répondre aux besoins des différents utilisateurs, cet article présentera comment améliorer l'expérience d'utilisation du téléphone mobile et ajuster la taille de la police du téléphone mobile grâce à des opérations simples. Pourquoi avez-vous besoin d'ajuster la taille de la police de votre téléphone mobile - L'ajustement de la taille de la police peut rendre le texte plus clair et plus facile à lire - Adapté aux besoins de lecture des utilisateurs d'âges différents - Pratique pour les utilisateurs malvoyants qui souhaitent utiliser la taille de la police fonction de configuration du système de téléphonie mobile - Comment accéder à l'interface des paramètres du système - Dans Rechercher et entrez l'option "Affichage" dans l'interface des paramètres - recherchez l'option "Taille de la police" et ajustez-la. application - téléchargez et installez une application prenant en charge l'ajustement de la taille de la police - ouvrez l'application et entrez dans l'interface des paramètres appropriée - en fonction de l'individu

La différence entre les méthodes et fonctions du langage Go et l'analyse des scénarios d'application La différence entre les méthodes et fonctions du langage Go et l'analyse des scénarios d'application Apr 04, 2024 am 09:24 AM

La différence entre les méthodes et les fonctions du langage Go réside dans leur association avec des structures : les méthodes sont associées à des structures et sont utilisées pour faire fonctionner des données de structure ou des fonctions de méthodes sont indépendantes des types et sont utilisées pour effectuer des opérations générales ;

Comment choisir une protection d'écran pour téléphone portable pour protéger l'écran de votre téléphone portable (plusieurs points clés et conseils pour l'achat de protections d'écran pour téléphone portable) Comment choisir une protection d'écran pour téléphone portable pour protéger l'écran de votre téléphone portable (plusieurs points clés et conseils pour l'achat de protections d'écran pour téléphone portable) May 07, 2024 pm 05:55 PM

Le film pour téléphone portable est devenu l'un des accessoires indispensables avec la popularité des smartphones. Pour prolonger sa durée de vie, choisissez un film de téléphone portable adapté pour protéger l'écran du téléphone portable. Pour aider les lecteurs à choisir le film pour téléphone portable le plus approprié, cet article présentera plusieurs points clés et conseils pour l'achat d'un film pour téléphone portable. Comprendre les matériaux et les types de films pour téléphones portables : film PET, TPU, etc. Les films pour téléphones portables sont constitués de divers matériaux, dont le verre trempé. Le film PET est relativement doux, le film en verre trempé a une bonne résistance aux rayures et le TPU a de bonnes performances antichoc. Cela peut être décidé en fonction des préférences et des besoins personnels lors du choix. Tenez compte du degré de protection de l'écran. Différents types de films pour téléphones portables ont différents degrés de protection d'écran. Le film PET joue principalement un rôle anti-rayures, tandis que le film en verre trempé a une meilleure résistance aux chutes. Vous pouvez choisir d'avoir mieux

See all articles