Table des matières
Méthode
Expériences
Expérience d'ablation
Comparaison avec les méthodes SOTA
Maison Périphériques technologiques IA C'est vraiment si fluide : NeuralHDHair, une nouvelle méthode de modélisation capillaire en 3D, produite conjointement par l'Université du Zhejiang, l'ETH Zurich et CityU

C'est vraiment si fluide : NeuralHDHair, une nouvelle méthode de modélisation capillaire en 3D, produite conjointement par l'Université du Zhejiang, l'ETH Zurich et CityU

Apr 09, 2023 pm 12:31 PM
3d 模型

Ces dernières années, l'industrie humaine numérique virtuelle a explosé et tous les horizons lancent leurs propres images humaines numériques. Il ne fait aucun doute que les modèles capillaires 3D haute fidélité peuvent améliorer considérablement le réalisme des humains numériques virtuels. Contrairement à d’autres parties du corps humain, la description et l’extraction de la structure capillaire sont plus difficiles en raison de la nature extrêmement complexe de la structure capillaire entrelacée, ce qui rend extrêmement difficile la reconstruction d’un modèle capillaire 3D haute fidélité à partir d’une seule vue. De manière générale, les méthodes existantes résolvent ce problème en deux étapes : d'abord estimer un champ d'orientation 3D basé sur la carte d'orientation 2D extraite de l'image d'entrée, puis synthétiser des mèches de cheveux sur la base du champ d'orientation 3D. Cependant, ce mécanisme rencontre encore quelques problèmes en pratique.

Sur la base d'observations pratiques, les chercheurs recherchent une méthode de modélisation de modèles capillaires entièrement automatisée et efficace, capable de reconstruire un modèle capillaire 3D à partir d'une seule image avec des caractéristiques fines (Figure 1), tout en montrant un haut degré de flexibilité, par exemple. la reconstruction d'un modèle capillaire ne nécessite qu'un seul passage du réseau.

C'est vraiment si fluide : NeuralHDHair, une nouvelle méthode de modélisation capillaire en 3D, produite conjointement par l'Université du Zhejiang, l'ETH Zurich et CityU

Pour résoudre ces problèmes, des chercheurs de l'Université du Zhejiang, de l'ETH Zurich, en Suisse, et de l'Université de la ville de Hong Kong ont proposé IRHairNet, qui met en œuvre une stratégie grossière à fine pour générer des champs d'orientation 3D haute fidélité. Plus précisément, ils ont introduit une nouvelle fonction implicite alignée sur les voxels (VIFu) pour extraire des informations de la carte d'orientation 2D du module brut. Dans le même temps, afin de compenser les détails locaux perdus dans la carte de direction 2D, les chercheurs ont utilisé la carte de luminosité haute résolution pour extraire les caractéristiques locales et les ont combinées avec les caractéristiques globales du module fin pour cheveux haute fidélité. style.

Afin de synthétiser efficacement des modèles de cheveux à partir de champs directionnels 3D, les chercheurs ont introduit GrowingNet, une méthode de croissance des cheveux basée sur l'apprentissage profond utilisant une représentation de grille implicite locale. Ceci est basé sur une observation clé : bien que la géométrie et la direction de croissance des cheveux diffèrent à l’échelle mondiale, ils présentent des caractéristiques similaires à des échelles locales spécifiques. Par conséquent, un code latent de haut niveau peut être extrait pour chaque patch d'orientation 3D local, puis une fonction neuronale implicite (un décodeur) est entraînée pour y faire pousser des mèches de cheveux sur la base de ce code latent. Après chaque étape de croissance, un nouveau patch local centré sur l’extrémité de la mèche de cheveux est utilisé pour poursuivre la croissance. Après formation, il peut être appliqué à des champs orientés 3D à n’importe quelle résolution.

C'est vraiment si fluide : NeuralHDHair, une nouvelle méthode de modélisation capillaire en 3D, produite conjointement par l'Université du Zhejiang, l'ETH Zurich et CityU

Papier : https://arxiv.org/pdf/2205.04175.pdf

IRHairNet et GrowingNet forment le cœur de NeuralHDHair. Plus précisément, les principales contributions de cette recherche comprennent :

  • Présentation d'un nouveau cadre de modélisation capillaire monoculaire entièrement automatique dont les performances sont nettement meilleures que les méthodes SOTA existantes
  • Présentation d'un cadre de modélisation capillaire grossier à fin Le réseau neuronal de modélisation capillaire ( IRHairNet) utilise une nouvelle fonction implicite alignée sur les voxels et une cartographie de luminosité pour enrichir les détails locaux d'une modélisation capillaire de haute qualité ;
  • propose un nouveau réseau de croissance capillaire basé sur des fonctions implicites locales ( GrowingNet), qui peut générer efficacement des modèles capillaires de n'importe quelle résolution. Ce réseau est plus rapide que les méthodes précédentes d'un certain ordre de grandeur.

Méthode

La figure 2 montre le pipeline de NeuralHDHair. Pour une image portrait, sa carte d'orientation 2D est d'abord calculée et sa carte de luminosité est extraite. De plus, ils sont automatiquement alignés sur le même modèle de référence de buste pour obtenir des cartes de profondeur du buste. Ces trois graphiques sont ensuite renvoyés à IRHairNet.

C'est vraiment si fluide : NeuralHDHair, une nouvelle méthode de modélisation capillaire en 3D, produite conjointement par l'Université du Zhejiang, l'ETH Zurich et CityU

  • IRHairNet est conçu pour générer des caractéristiques de géométrie de cheveux 3D haute résolution à partir d'une seule image. Les entrées de ce réseau comprennent une carte d'orientation 2D, une carte de luminosité et une carte de profondeur de la moitié du corps ajustée, qui sont obtenues à partir de l'image portrait d'entrée. Le résultat est un champ d'orientation 3D, où chaque voxel contient une direction de croissance locale, et un champ d'occupation 3D, où chaque voxel représente si une mèche de cheveux est passée (1) ou non (0).
  • GrowingNet est conçu pour générer efficacement un modèle capillaire complet à partir du champ d'orientation 3D et du champ d'occupation 3D estimés par IRHairNet, où le champ d'occupation 3D est utilisé pour limiter la zone de croissance des cheveux.

Pour plus de détails sur la méthode, veuillez vous référer au document original.

Expériences

Dans cette partie, les chercheurs évaluent l'efficacité et la nécessité de chaque composant de l'algorithme à travers des études d'ablation (Section 4.1), puis comparent notre méthode avec la SOTA actuelle (Section 4.2). Les détails de mise en œuvre et des résultats plus expérimentaux peuvent être trouvés dans le matériel supplémentaire.

Expérience d'ablation

C'est vraiment si fluide : NeuralHDHair, une nouvelle méthode de modélisation capillaire en 3D, produite conjointement par l'Université du Zhejiang, l'ETH Zurich et CityU

Les chercheurs ont évalué la fidélité et l'efficacité de GrowingNet d'un point de vue qualitatif et quantitatif. Tout d’abord, trois séries d’expériences sont menées sur des données synthétiques : 1) l’algorithme traditionnel de croissance des cheveux, 2) GrowingNet sans chevauchement des schémas de patchs potentiels, 3) le modèle complet de cet article.

Comme le montrent la figure 4 et le tableau 1, par rapport aux algorithmes traditionnels de croissance des cheveux, GrowingNet dans cet article présente des avantages évidents en termes de consommation de temps tout en conservant les mêmes performances de croissance en termes de qualité visuelle. De plus, en comparant les troisième et quatrième colonnes de la figure 4, on peut voir que s'il n'y a pas de schéma de patch potentiel qui se chevauche, les mèches de cheveux à la limite du patch peuvent être discontinues, ce qui pose un problème lorsque le sens de croissance des cheveux est différent. les brins changent radicalement. C'est encore plus grave. Cependant, il convient de noter que cette solution améliore considérablement l’efficacité au prix d’une légère réduction de la précision. L’amélioration de l’efficacité revêt une grande importance pour son application pratique et efficace dans la numérisation du corps humain.

C'est vraiment si fluide : NeuralHDHair, une nouvelle méthode de modélisation capillaire en 3D, produite conjointement par l'Université du Zhejiang, l'ETH Zurich et CityU

C'est vraiment si fluide : NeuralHDHair, une nouvelle méthode de modélisation capillaire en 3D, produite conjointement par l'Université du Zhejiang, l'ETH Zurich et CityU

Comparaison avec les méthodes SOTA

Pour évaluer les performances de NeuralHDHair, les chercheurs l'ont comparé à certaines méthodes SOTA [6, 28, 30, 36, 40]. Parmi eux, Autohair est basé sur une approche de synthèse capillaire basée sur les données, tandis que HairNet [40] ignore le processus de croissance des cheveux pour réaliser une modélisation capillaire de bout en bout. En revanche, [28,36] mettent en œuvre une stratégie en deux étapes en estimant d’abord un champ d’orientation 3D, puis en synthétisant des mèches de cheveux à partir de celui-ci. PIFuHD [30] est une méthode de modélisation 3D monoculaire haute résolution basée sur une stratégie grossière à fine, qui peut être utilisée pour la modélisation 3D des cheveux.

Comme le montre la figure 6, les résultats de HairNet semblent insatisfaisants, mais les détails locaux et même la forme globale ne sont pas cohérents avec les cheveux dans l'image d'entrée. En effet, la méthode synthétise les cheveux de manière simple et grossière, en récupérant les mèches de cheveux désordonnées directement à partir d’une seule image.

C'est vraiment si fluide : NeuralHDHair, une nouvelle méthode de modélisation capillaire en 3D, produite conjointement par l'Université du Zhejiang, l'ETH Zurich et CityU

Les résultats de reconstruction sont également comparés avec Autohair[6] et Saito[28]. Comme le montre la figure 7, bien qu'Autohair puisse synthétiser des résultats réalistes, sa structure ne correspond pas bien à l'image d'entrée car la base de données contient un nombre limité de coiffures. Les résultats de Saito, en revanche, manquent de détails locaux et ont des formes incompatibles avec l'image d'entrée. En revanche, les résultats de cette méthode maintiennent mieux la structure globale et les détails locaux du cheveu tout en assurant la cohérence de la forme du cheveu.

C'est vraiment si fluide : NeuralHDHair, une nouvelle méthode de modélisation capillaire en 3D, produite conjointement par l'Université du Zhejiang, l'ETH Zurich et CityU

PIFuHD [30] et Dynamic Hair [36] sont dédiés à l'estimation des caractéristiques géométriques des cheveux 3D haute fidélité pour générer des modèles de cheveux réalistes. La figure 8 montre deux résultats de comparaison représentatifs. On peut voir que la fonction implicite au niveau des pixels utilisée dans PIFuHD ne peut pas représenter entièrement les cheveux complexes, ce qui donne un résultat trop lisse, sans détails locaux et n'ayant même pas une structure globale raisonnable. Dynamic Hair peut produire des résultats plus raisonnables avec moins de détails, et la tendance de croissance des cheveux dans ses résultats peut bien correspondre à l'image d'entrée, mais de nombreux détails structurels locaux (tels que la hiérarchie) ne peuvent pas être capturés, en particulier pour les coiffures complexes. En revanche, notre méthode peut s’adapter à différentes coiffures, même à des structures extrêmement complexes, et exploiter pleinement les caractéristiques globales et les détails locaux pour générer des modèles de cheveux 3D haute fidélité et haute résolution avec plus de détails.

Cest vraiment si fluide : NeuralHDHair, une nouvelle méthode de modélisation capillaire en 3D, produite conjointement par lUniversité du Zhejiang, lETH Zurich et CityU

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

Une seule carte exécute Llama 70B plus rapidement que deux cartes, Microsoft vient de mettre le FP6 dans l'Open source A100 | Une seule carte exécute Llama 70B plus rapidement que deux cartes, Microsoft vient de mettre le FP6 dans l'Open source A100 | Apr 29, 2024 pm 04:55 PM

Le FP8 et la précision de quantification inférieure en virgule flottante ne sont plus le « brevet » du H100 ! Lao Huang voulait que tout le monde utilise INT8/INT4, et l'équipe Microsoft DeepSpeed ​​​​a commencé à exécuter FP6 sur A100 sans le soutien officiel de NVIDIA. Les résultats des tests montrent que la quantification FP6 de la nouvelle méthode TC-FPx sur A100 est proche ou parfois plus rapide que celle de INT4, et a une précision supérieure à celle de cette dernière. En plus de cela, il existe également une prise en charge de bout en bout des grands modèles, qui ont été open source et intégrés dans des cadres d'inférence d'apprentissage profond tels que DeepSpeed. Ce résultat a également un effet immédiat sur l'accélération des grands modèles : dans ce cadre, en utilisant une seule carte pour exécuter Llama, le débit est 2,65 fois supérieur à celui des cartes doubles. un

See all articles