Zéro contenu IA ! Les mathématiques purement aléatoires génèrent à l'infini des mondes 3D réalistes, œuvre d'un Chinois de Princeton.

Qui a dit que la génération d’images et de vidéos devait s’appuyer sur l’IA ?

Le nouvel artefact de l'Université de Princeton peut générer des mondes 3D infiniment réalistes, avec un accent particulier sur « Pas d'IA ».

Ressentez brièvement l'effet :

Ne pensez pas que la vidéo générée est juste une vidéo, en fait, il y a un complet placé derrière lui des actifs 3D, construits sur la base du logiciel de modélisation Blender.

En ce moment, tous les utilisateurs de Blender me suivent : Hein ?

De cette façon, nous pouvons utiliser des paramètres pour contrôler les détails :

ou obtenir la carte de flux optique correspondante, la carte de flux optique de scène 3D, la carte de profondeur, la carte de segmentation panoramique, etc., maintenir facilement Live diverses missions CV.

Le plus important est qu'il soit gratuit et open source !

Maman n'a vraiment plus à s'inquiéter de ne pas trouver de données 3D de haute qualité pour alimenter l'IA...

Générateur de données 100% 3D basé sur des mathématiques aléatoires

Malgré le développement rapide de l'IA, de nombreuses tâches dans le Les domaines CV sont actuellement disponibles. Il y a encore un manque de données de qualité, notamment en 3D.

Une solution consiste à utiliser des données synthétiques. Il s’avère que les modèles formés sur ce type de données peuvent également très bien fonctionner sur des images réelles sans échantillon.

Mais le problème est que la plupart des outils de données synthétiques 3D gratuits existants sont fondamentalement limités à une seule scène : soit liée à la conduite autonome, soit aux objets fabriqués par l'homme situés dans des environnements intérieurs.

Par conséquent, afin d'élargir la couverture, en particulier les scènes naturelles du monde réel, l'auteur a créé ce Infinigen basé sur Blenderbasé sur des règles mathématiques aléatoires

pour générer à l'infini diverses scènes.

Infinigen utilise principalement les "primitives"

(ou primitives)

de Blender pour concevoir une bibliothèque de règles de programme permettant de compléter la génération de divers objets dans de véritables scènes naturelles grâce au codage.

L'article présente principalement le système de programme d'Infinigen, notamment :
• Node Transpiler
(convertisseur de nœud)

, qui peut convertir automatiquement le graphe de nœud Blender en code Python pour faciliter l'utilisation d'Infinigen par les utilisateurs non programmeurs.

Comme le montre la figure ci-dessous, le code qu'il génère est plus général, nous permettant de randomiser à la fois les paramètres d'entrée et la structure du graphique.

• Generator Subsystems (sous-système générateur), les générateurs d'Infinigen sont des programmes basés sur des probabilités, chaque programme est dédié à générer un sous-objet (comme des montagnes ou des poissons) . Chaque objet possède un ensemble de paramètres de haut niveau
(tels que la hauteur totale d'une montagne)
• que les utilisateurs peuvent ajuster à l'aide de l'API Python pour obtenir un contrôle précis sur la génération de données. Générateurs de matériaux
(Générateurs de matériaux)

, 50 au total, chacun composé d'un shader aléatoire pouvant spécifier la couleur et la réflectivité, et d'un générateur de géométrie locale qui génère les détails géométriques fins correspondants.

🎜Comme le montre l'image ci-dessous, il peut garantir des détails géométriques très réalistes. 🎜

• Terrain Generators (Terrain Generator), comme le montre l'image ci-dessous, ce générateur peut générer des rochers par extrusion répétée et utiliser le plug-in intégré de Blender pour générer de petites roches.

Et aidez Infinigen à simuler des fluides dynamiques à l'aide de FLIP et la météo à l'aide du système de particules de Blender.

• Générateurs de plantes et d'objets sous-marins (Générateurs de plantes et d'objets sous-marins), notamment en utilisant des algorithmes tels que des marches aléatoires pour modéliser la croissance des arbres, ce qui donne un arbre couvrant une variété d'arbres, d'arbustes et même un monde 3D de cactus.

Ou vous pouvez utiliser la croissance différentielle, la croissance laplacienne et la diffusion de réaction pour créer divers coraux, et utiliser des graphiques de nœuds géométriques pour générer des feuilles, des fleurs, des algues, du varech, des mollusques et des méduses.

Il existe également divers sous-générateurs(tels que les générateurs biologiques)Je ne les présenterai pas un par un.

En plus de ceux-ci, Infinigen comprend également un programme de rendu d'image et d'extraction de Ground Truth, qui est principalement utilisé pour générer les types d'images présentés ci-dessous.

Pour le premier, le système utilise les cycles de rendu de traçage de chemin de Blender basés sur les lois naturelles pour restituer l'image.

L'auteur a introduit que bien que Blender ait été utilisé pour développer les règles du programme d'Infinigen, une grande partie de la génération du programme a été réalisée en dehors de Blender.

En outre, ils ont également déclaré que la construction d'Infinigen est un projet logiciel extrêmement vaste et que la branche principale de sa base de code comprend à elle seule 40 485 lignes de code.

Enfin, Infinigen a été évalué sur 2 processeurs Intel Xeon Silver 4114 à 2,20 GHz et 1 GPU NVidia, et le temps (temps du mur) pour générer une paire d'images 1080p était de 3,5 heures .

Le tableau ci-dessous montre comment il se compare aux ensembles de données synthétiques ou générateurs existants.

L'auteur a déclaré que l'on peut voir que le plus grand avantage d'Infinigen est qu'il peut générer par programme des données 3D naturelles illimitées sans aucune bibliothèque de ressources de référence externe, et rien d'autre ne fonctionnera. Présentation de l'équipe

Infinigen réalisera une présentation par affiche lors de la conférence CVPR ce mercredi.

Ses auteurs sont tous issus du Vision & Learning Lab de l'Université de Princeton.

Trois co-auteurs, dont l'un s'appelle

Ma Zeyu, est étudiante en troisième année de doctorat à l'Université de Princeton et diplômée de l'Université Tsinghua en 2020 avec un baccalauréat en génie électrique. L'auteur correspondant est

Deng Jia, professeur agrégé du Département d'informatique de l'Université de Princeton.

Actuellement, le code d'Infinigen a été lancé sur GitHub, avec 850 étoiles en seulement deux jours.

Adresse papier :
https://www.php.cn/link/d9812f756d0df06c7381945d2e2c7d4bAccueil du projet page :
https:/ /www.php.cn/link/ca886eb9edb61a42256192745c72cd79
Adresse GitHub :
https://www.php.cn/link/a1cb608a30fc2883eed0831dcf25f260

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!