Table des matières
Effet de modèle
Méthode de principe
Résumé
Maison Périphériques technologiques IA En une phrase, le modèle 3D peut générer un style d'apparence réaliste, jusqu'aux détails au niveau de la photo.

En une phrase, le modèle 3D peut générer un style d'apparence réaliste, jusqu'aux détails au niveau de la photo.

Apr 12, 2023 pm 05:31 PM
三维 模型

La création de contenu 3D basé sur une entrée donnée (par exemple, basée sur des invites textuelles, des images ou des formes 3D) a des applications importantes dans les domaines de la vision par ordinateur et du graphisme. Cependant, ce problème est complexe. En réalité, il nécessite généralement que les artistes professionnels (artistes techniques) consacrent beaucoup de temps et d’argent à la création de contenu 3D. Dans le même temps, les ressources de nombreuses bibliothèques de modèles 3D en ligne sont généralement des modèles 3D nus, sans aucun matériau. Si vous souhaitez les appliquer au moteur de rendu actuel, vous avez besoin d'un artiste technique pour créer des matériaux, des lumières et des cartes normales de haute qualité. pour eux. Par conséquent, il serait prometteur s’il existait un moyen de générer des actifs de modèles 3D automatisés, diversifiés et réalistes.

Par conséquent, des équipes de recherche de l'Université de technologie de Chine du Sud, de l'Université polytechnique de Hong Kong, de l'Intelligence interdimensionnelle, du Laboratoire Pengcheng et d'autres institutions ont proposé une méthode de stylisation de modèles 3D basée sur le texte - TANGO, qui est utile pour Basé sur certains Modèles et textes 3D, il peut générer automatiquement des matériaux SVBRDF, des cartes normales et des lumières plus réalistes, et offre une meilleure robustesse aux modèles 3D de mauvaise qualité. Cette étude a été acceptée dans NeurIPS 2022.

En une phrase, le modèle 3D peut générer un style dapparence réaliste, jusquaux détails au niveau de la photo.

Page d'accueil du projet : https://cyw-3d.github.io/tango/

Effet de modèle

Pour une saisie de texte et un modèle tridimensionnel donnés, TANGO peut produire un plus raffiné Il présente des détails photoréalistes élevés et ne produit pas de problèmes d'auto-intersection sur la surface du modèle 3D. Comme le montre la figure 1 ci-dessous, TANGO présente non seulement des effets de réflexion réalistes sur des matériaux lisses (tels que l'or, l'argent, etc.), mais peut également estimer des normales point par point pour des matériaux inégaux (tels que des briques, etc.). un effet bosselé.

En une phrase, le modèle 3D peut générer un style dapparence réaliste, jusquaux détails au niveau de la photo.

Figure 1. Résultats stylisés de TANGO

La clé pour que TANGO puisse générer des résultats de rendu réalistes est de combiner avec précision chaque composant du modèle d'ombrage (SVBRDF, carte normale, lumière) Split séparez-le et apprenez-le séparément. Enfin, ces parties divisées sont sorties via le moteur de rendu différentiable gaussien sphérique et envoyées à CLIP pour calculer la perte avec le texte d'entrée. Pour démontrer la justification du découplage des composants, l’étude a visualisé chaque composant. La figure 2 (a) montre le résultat stylisé d'"une paire de chaussures en briques", (b) montre la direction normale d'origine du modèle 3D, (c) est la direction normale prédite par TANGO pour chaque point du modèle 3D. , (d) (e) (f) représentent respectivement les paramètres de réflexion diffuse, de rugosité et de réflexion spéculaire dans SVBRDF, (g) est la lumière ambiante exprimée par la fonction gaussienne sphérique prédite par TANGO.

En une phrase, le modèle 3D peut générer un style dapparence réaliste, jusquaux détails au niveau de la photo.

Figure 2 Visualisation des composants de rendu découplés

En même temps, cette recherche peut également éditer les résultats produits par TAGO. Par exemple, dans la figure 3, la recherche peut utiliser d'autres cartes de lumière pour rééclairer les résultats TANGO ; dans la figure 4, les paramètres de rugosité et de réflectivité spéculaire peuvent être modifiés pour modifier le degré de réflexion sur la surface de l'objet.

En une phrase, le modèle 3D peut générer un style dapparence réaliste, jusquaux détails au niveau de la photo.


Image 3 Rééclairage du résultat stylisé TANGO

En une phrase, le modèle 3D peut générer un style dapparence réaliste, jusquaux détails au niveau de la photo.

Image 4 Modification du matériau de l'objet

De plus, comme TANGO utilise des cartes normales prédites pour ajouter des détails sur la surface des objets, il est également très robuste aux modèles tridimensionnels avec un petit nombre de sommets. Comme le montre la figure 5, les modèles originaux de lampe et d'extraterrestre avaient respectivement 41 160 et 68 430 visages. Les chercheurs ont sous-échantillonné les modèles originaux et ont obtenu un modèle avec seulement 5 000 visages. On peut voir que les performances de TANGO sur le modèle original et le modèle sous-échantillonné sont fondamentalement similaires, tandis que Text2Mesh présente un sérieux phénomène d'auto-intersection sur le modèle de faible qualité.

En une phrase, le modèle 3D peut générer un style dapparence réaliste, jusquaux détails au niveau de la photo.

Figure 5 Test de robustesse

Méthode de principe

TANGO se concentre principalement sur la méthode de stylisation guidée par texte d'objets tridimensionnels. Le travail actuel le plus pertinent dans ce domaine est Text2Mesh, qui utilise le modèle pré-entraîné CLIP comme guide pour prédire la couleur et le décalage de position des sommets de surface d'un modèle 3D afin d'obtenir la stylisation. Cependant, la simple prévision des couleurs des sommets de la surface produit souvent des effets de rendu irréalistes, et des décalages irréguliers des sommets peuvent provoquer de graves auto-intersections. Par conséquent, cette recherche s'appuie sur le pipeline de rendu physique traditionnel pour découpler l'ensemble du processus de rendu dans le processus de prédiction des matériaux SVBRDF, des cartes normales et des lumières, et exprimer les éléments découplés avec des fonctions gaussiennes sphériques respectivement. Cette méthode de découplage basée sur la physique permet à TANGO de produire correctement des effets de rendu réalistes et présente une bonne robustesse.

En une phrase, le modèle 3D peut générer un style dapparence réaliste, jusquaux détails au niveau de la photo.

Figure 6 Organigramme TANGO

La figure 6 montre le flux de travail de TANGO. À partir d'un modèle 3D et d'un texte (tel que « une chaussure en or » sur l'image), l'étude redimensionne d'abord le modèle 3D à une sphère unitaire, puis échantillonne la position de la caméra à proximité du modèle 3D émis. Ray trouve le point d'intersection xp avec le modèle tridimensionnel et la direction normale du point d'intersection np. Ensuite, xp et np seront envoyés au réseau SVBRDF et au réseau Normal pour prédire les paramètres matériels et la direction normale du point. En même temps, plusieurs fonctions gaussiennes sphériques sont utilisées pour exprimer. la scène de la lumière. Pour chaque itération de formation, l'étude restitue l'image à l'aide d'un moteur de rendu gaussien sphérique différentiable, puis code l'image augmentée à l'aide de l'encodeur d'image du modèle CLIP, et enfin le modèle CLIP rétropropage les gradients pour mettre à jour tous les paramètres apprenables.

Résumé

Cet article propose TANGO, une nouvelle méthode qui génère des styles d'apparence réalistes pour les modèles 3D basés sur le texte saisi et qui est robuste aux modèles de faible qualité. En découplant le style d'apparence du SVBRDF, des changements géométriques locaux (normales ponctuelles) et des conditions d'éclairage, et en les représentant et en les rendant sous forme de fonctions gaussiennes sphériques, nous pouvons utiliser CLIP comme supervision des pertes et apprendre.

Par rapport aux méthodes existantes, TANGO peut être très robuste même pour des modèles 3D de mauvaise qualité. Cependant, la méthode consistant à fournir des détails géométriques dans des directions normales point par point tout en évitant l'auto-intersection réduira également légèrement le degré de concavité et de convexité de la surface du matériau qui peut être exprimé. Cette étude estime que TANGO et Text2Mesh sont basés sur le sommet. Les compensations sont effectuées dans leurs directions respectives. Il s'agit d'une bonne tentative préliminaire qui inspirera des recherches ultérieures.


Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
1 Il y a quelques mois By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Nouveaux travaux sur la prédiction de séries chronologiques + grand modèle NLP : générer automatiquement des invites implicites pour la prédiction de séries chronologiques Nouveaux travaux sur la prédiction de séries chronologiques + grand modèle NLP : générer automatiquement des invites implicites pour la prédiction de séries chronologiques Mar 18, 2024 am 09:20 AM

Aujourd'hui, j'aimerais partager un travail de recherche récent de l'Université du Connecticut qui propose une méthode pour aligner les données de séries chronologiques avec de grands modèles de traitement du langage naturel (NLP) sur l'espace latent afin d'améliorer les performances de prévision des séries chronologiques. La clé de cette méthode consiste à utiliser des indices spatiaux latents (invites) pour améliorer la précision des prévisions de séries chronologiques. Titre de l'article : S2IP-LLM : SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting Adresse de téléchargement : https://arxiv.org/pdf/2403.05798v1.pdf 1. Modèle de fond de problème important

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

See all articles