Table des matières
Perspectives d'application
Maison Périphériques technologiques IA Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail d'OpenAI : Point-E peut générer un modèle de nuage de points 3D à l'aide de texte

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail d'OpenAI : Point-E peut générer un modèle de nuage de points 3D à l'aide de texte

Apr 15, 2023 am 08:58 AM
3d 模型

Où est la prochaine percée qui prendra d’assaut le monde de l’IA ?

Beaucoup de gens prédisent qu'il s'agit d'un générateur de modèles 3D.

Après que le DALL-E 2 lancé en début d'année ait surpris tout le monde avec son pinceau génial, OpenAI a publié mardi son dernier modèle de génération d'images "POINT-E", qui peut générer directement des modèles 3D à partir de texte.

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail dOpenAI : Point-E peut générer un modèle de nuage de points 3D à laide de texte

Lien papier : https://arxiv.org/pdf/2212.08751.pdf

Par rapport aux concurrents (comme DreamFusion de Google) qui nécessitent plusieurs GPU pour fonctionner pendant plusieurs heures, POINT - E génère des images 3D en quelques minutes avec un seul GPU.

Après des tests réels par l'éditeur, POINT-E peut essentiellement produire des images 3D en quelques secondes après une saisie rapide. De plus, l'image de sortie prend également en charge l'édition personnalisée, l'enregistrement et d'autres fonctions.

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail dOpenAI : Point-E peut générer un modèle de nuage de points 3D à laide de texte

Adresse : https://huggingface.co/spaces/openai/point-e

Les internautes ont également commencé à essayer différentes entrées d'invite.

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail dOpenAI : Point-E peut générer un modèle de nuage de points 3D à laide de texte

Mais les résultats de sortie ne sont pas toujours satisfaisants.

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail dOpenAI : Point-E peut générer un modèle de nuage de points 3D à laide de texte

Certains internautes ont dit que POINT-E pourrait être capable de réaliser la vision métaverse de Meta ?

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail dOpenAI : Point-E peut générer un modèle de nuage de points 3D à laide de texte

Il est à noter que POINT-E génère des images 3D via un nuage de points (point cloud), qui est un ensemble de données de points dans l'espace.

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail dOpenAI : Point-E peut générer un modèle de nuage de points 3D à laide de texte

Simplement parlant, il s'agit de collecter des données à travers un modèle tridimensionnel pour obtenir des données de nuage de points représentant une forme 3D dans l'espace.

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail dOpenAI : Point-E peut générer un modèle de nuage de points 3D à laide de texte

Les nuages ​​de points sont plus faciles à synthétiser d'un point de vue informatique, mais ils ne peuvent pas capturer la forme ou la texture délicate des objets, ce qui constitue actuellement un défaut du Point-E.

Pour remédier à cette limitation, l’équipe Point-E a formé un système d’intelligence artificielle supplémentaire pour convertir les nuages ​​de points de Point-E en maillages.

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail dOpenAI : Point-E peut générer un modèle de nuage de points 3D à laide de texte

Convertir le nuage de points Point-E en maillage

Au-delà du modèle de génération de maillage indépendant, Point-E se compose de deux modèles :

Un modèle de conversion texte-image (texte -modèle en image) et modèle 3D de conversion d'image (modèle image en 3D).

Le modèle de conversion texte en image est similaire au DALL-E 2 et à Stable Diffusion d'OpenAI, formé sur des images étiquetées pour comprendre l'association entre les mots et les concepts visuels.

Ensuite, un ensemble d'images appariées avec des objets 3D est introduit dans le modèle de transformation 3D afin que le modèle apprenne à se transformer efficacement entre les deux.

Lorsqu'une invite est saisie, le modèle de conversion d'image texte génère un objet de rendu synthétique, qui est transmis au modèle 3D de conversion d'image, qui génère ensuite un nuage de points.

Les chercheurs d'OpenAI affirment que Point-E a été formé sur un ensemble de données de millions d'objets 3D et de métadonnées associées.

Mais ce n'est pas parfait, le modèle image-3D de Point-E ne parvient parfois pas à comprendre les images dans le modèle texte-image, ce qui entraîne des formes qui ne correspondent pas à l'indice du texte. Pourtant, c’est des ordres de grandeur plus rapides que les technologies de pointe précédentes.

Ils ont écrit dans le journal :

Bien que notre méthode soit moins performante que l'état de l'art en matière d'évaluation, elle génère des échantillons en une fraction du temps. Cela peut le rendre plus pratique pour certaines applications et découvrir des objets 3D de meilleure qualité.

Architecture Point-E et mécanisme de fonctionnement

Le modèle Point-E utilise d'abord un modèle de diffusion texte-image pour générer une vue synthétique unique, puis utilise un deuxième modèle de diffusion pour générer un nuage de points 3D, qui est généré par Les images sont conditionnelles.

Bien que cette méthode ne soit pas encore à la pointe de la technologie en termes de qualité d'échantillonnage, elle est un à deux ordres de grandeur plus rapide, offrant un compromis pratique pour certains cas d'utilisation.

La figure suivante est un diagramme de pipeline de haut niveau du modèle :

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail dOpenAI : Point-E peut générer un modèle de nuage de points 3D à laide de texte

Au lieu de former un modèle à génération unique et de générer directement des nuages ​​de points conditionnés par du texte, nous divisons le processus de génération en trois étapes.

Tout d'abord, générez une vue complète conditionnée par le titre du texte.

Ensuite, générez un nuage de points approximatif (1 024 points) basé sur la vue synthétique.

Enfin, un nuage de points fins (4 096 points) conditionné sur le nuage de points basse résolution et la vue synthétique a été généré. ​

Après avoir entraîné des modèles sur des millions de modèles 3D, nous avons constaté que le format des données et la qualité des ensembles de données variaient considérablement, ce qui nous a incité à développer diverses étapes de post-traitement pour garantir une meilleure qualité des données.

Afin de convertir toutes les données dans un format commun, nous utilisons Blender pour restituer chaque modèle 3D en images RGBAD sous 20 angles de caméra aléatoires (Blender prend en charge plusieurs formats 3D et est livré avec un moteur de rendu optimisé).

Pour chaque modèle, un script Blender normalise le modèle dans un cube englobant, configure les paramètres d'éclairage standard et exporte enfin une image RGBAD à l'aide du moteur de rendu en temps réel intégré de Blender.

Ensuite, utilisez Render pour convertir chaque objet en un nuage de points coloré. Tout d’abord, un nuage de points dense est construit pour chaque objet en comptant les points pour chaque pixel de chaque image RGBAD. Ces nuages ​​de points contiennent généralement des centaines de milliers de points inégalement répartis. Nous utilisons donc également l'échantillonnage des points les plus éloignés pour créer un nuage de points 4K uniforme.

En construisant des nuages ​​de points directement à partir de rendus, nous sommes en mesure d'éviter divers problèmes qui peuvent survenir lors de l'échantillonnage directement à partir d'un maillage 3D, de l'échantillonnage de points contenus dans un modèle ou du traitement de modèles 3D stockés dans des formats de fichiers inhabituels.

Enfin, nous utilisons diverses heuristiques pour réduire la fréquence des modèles de mauvaise qualité dans notre ensemble de données.

Tout d'abord, nous éliminons les objets planaires en calculant le SVD de chaque nuage de points, en ne gardant que les objets dont la valeur singulière minimale est supérieure à un certain seuil.

Ensuite, nous regroupons l'ensemble de données par caractéristiques CLIP (pour chaque objet, nous faisons la moyenne des caractéristiques sur tous les rendus).

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail dOpenAI : Point-E peut générer un modèle de nuage de points 3D à laide de texte

Nous avons constaté que certains clusters contenaient de nombreuses catégories de modèles de faible qualité, tandis que d'autres clusters semblaient plus diversifiés ou interprétables.

Nous divisons ces clusters en plusieurs compartiments de qualités différentes et utilisons un mélange pondéré des compartiments résultants comme ensemble de données final.

Un GPU peut produire des modèles 3D en quelques secondes ! Le nouveau travail dOpenAI : Point-E peut générer un modèle de nuage de points 3D à laide de texte

Perspectives d'application

Les chercheurs d'OpenAI ont souligné que le nuage de points de Point-E peut également être utilisé pour créer des objets du monde réel, tels que l'impression 3D.

Avec des modèles de conversion de maillage supplémentaires, le système peut également entrer dans les flux de travail de développement de jeux et d'animations.

Alors que tous les regards sont actuellement tournés vers les générateurs d’art 2D, l’IA de synthèse de modèles pourrait être le prochain grand perturbateur de l’industrie.

Les modèles 3D sont largement utilisés dans le cinéma et la télévision, la décoration intérieure, l'architecture et divers domaines scientifiques.

Actuellement, la fabrication de modèles 3D prend généralement plusieurs heures, et l'émergence du Point-E vient justement compenser cette lacune.

Les chercheurs affirment que Point-E présente encore de nombreux défauts à ce stade, comme des biais hérités des données d'entraînement et un manque de mesures de protection pour les modèles susceptibles d'être utilisés pour créer des objets dangereux.

Point-E n'est qu'un point de départ, ils espèrent qu'il inspirera "des travaux supplémentaires" dans le domaine de la synthèse texte-3D.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU Apr 01, 2024 pm 07:46 PM

Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de

Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année ! May 06, 2024 pm 04:13 PM

La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles

FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye Apr 26, 2024 am 11:37 AM

La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.

Une seule carte exécute Llama 70B plus rapidement que deux cartes, Microsoft vient de mettre le FP6 dans l'Open source A100 | Une seule carte exécute Llama 70B plus rapidement que deux cartes, Microsoft vient de mettre le FP6 dans l'Open source A100 | Apr 29, 2024 pm 04:55 PM

Le FP8 et la précision de quantification inférieure en virgule flottante ne sont plus le « brevet » du H100 ! Lao Huang voulait que tout le monde utilise INT8/INT4, et l'équipe Microsoft DeepSpeed ​​​​a commencé à exécuter FP6 sur A100 sans le soutien officiel de NVIDIA. Les résultats des tests montrent que la quantification FP6 de la nouvelle méthode TC-FPx sur A100 est proche ou parfois plus rapide que celle de INT4, et a une précision supérieure à celle de cette dernière. En plus de cela, il existe également une prise en charge de bout en bout des grands modèles, qui ont été open source et intégrés dans des cadres d'inférence d'apprentissage profond tels que DeepSpeed. Ce résultat a également un effet immédiat sur l'accélération des grands modèles : dans ce cadre, en utilisant une seule carte pour exécuter Llama, le débit est 2,65 fois supérieur à celui des cartes doubles. un

See all articles