En deux phrases, laissez l'IA générer des scènes VR ! Ou le genre de panorama 3D ou HDR ?

​Produit par Big Data Digest

Auteur : Caleb

Récemment, ChatGPT peut être considéré comme extrêmement populaire.

Le 30 novembre, OpenAI a lancé le chatbot ChatGPT et l'a ouvert au public gratuitement pour des tests. Depuis lors, il est populaire en Chine.

Converser avec le robot signifie demander au robot d'exécuter une certaine instruction, comme saisir un mot-clé et laisser l'IA générer l'image correspondante.

Cela ne semble rien d’inhabituel. OpenAI n’a-t-il pas également mis à jour une nouvelle version de DALL-E en avril ?

OpenAI, quel âge as-tu ? (Pourquoi est-ce toujours vous ?)

Et si Digest disait que les images générées sont des images 3D, des panoramas HDR ou du contenu d'image basé sur la réalité virtuelle ?

Récemment, une équipe de recherche de l'Université technologique de Nanyang à Singapour a proposé une telle IA. Tant que l'utilisateur saisit une scène clairement décrite dans le texte, le système peut générer une scène 3D réaliste.

Jetons d'abord un coup d'œil à l'effet. Par exemple, lorsque vous entrez « une jetée en bois marron sur le lac pendant la journée entourée d'arbres verts », le système vous donnera une telle réponse aux effets de lumière et de détail. sont directement pleins.

La recherche a été publiée sous le titre Text2Light : Zero-Shot Text-Driven HDR Panorama Generation.

Lien papier : https://arxiv.org/abs/2209.09898

Générer des HDRI 3D sans formation

HDRI (High Dynamic Range Images), également connu sous le nom Le panorama HDR est actuellement une méthode populaire pour créer des scènes 3D réalistes à 360 degrés.

Compte tenu de la difficulté de capturer des HDRI, bien qu'il existe de nombreuses technologies qui peuvent utiliser l'IA pour générer des scènes 3D, elles nécessitent essentiellement une série de réglages de paramètres ou un apprentissage en profondeur grâce à de grandes quantités de données.

Ainsi, les chercheurs ont proposé un cadre basé sur du texte zéro-shot, à savoir Text2Light, pour générer des HDRI de résolution 4K+, et l'ensemble du processus ne nécessite pas de données de formation correspondantes.

Le processus de génération des HDRI peut être divisé en deux étapes.

Dans la première étape, le texte saisi est traduit en un panorama LDR basé sur la représentation discrète du double livre de codes. Le texte d'entrée est d'abord mappé sur des incorporations de texte par un modèle CLIP pré-entraîné ; deuxièmement, un échantillonneur global conditionnel de texte apprend à échantillonner la sémantique globale du livre de codes global en fonction du texte d'entrée, puis un échantillonneur local sensible à la structure synthétise ; patchs locaux et faire une synthèse.

La deuxième étape consiste à mettre à niveau les résultats LDR de la première étape en fonction du codage latent structuré sous forme de représentation continue. L'opérateur de mappage de tons inverses à super-résolution (SR-iTMO) proposé par les chercheurs peut améliorer simultanément la résolution spatiale et la plage dynamique du panorama.

En conséquence, des HDRI avec une résolution 4K peuvent être générés sans formation. Il s'agit également du modèle de génération d'images le plus avancé à ce jour, résolvant le problème de la conversion de l'instabilité LDR en HDR. a créé une paire de panoramas et un texte à étudier.

Cependant, cette technologie en est encore à ses débuts et ne peut produire qu'un contenu d'image panoramique à 360 degrés à basse résolution. Cependant, l'équipe de recherche prévoit de mettre à niveau l'image panoramique générée par la technologie de scène actuelle à l'avenir. Ajoutez des effets d'amélioration d'image HDR pour rendre les images 3D ou les scènes VR générées plus fluides et plus attrayantes à regarder.

Utilisez un pilote de texte pour générer HDRI

Ensuite, jetons un coup d'œil à certains processus opérationnels.

Téléchargez d'abord les points de contrôle et notez que l'équipe a publié des modèles pour les scènes extérieures (échantillonneur local en extérieur) et intérieures (échantillonneur local en intérieur) respectivement.

Générer un panorama HDR à partir d'une phrase :

python text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text "YOUR SCENE DESCRIPTION" --clip clip_emb.npy --sritmo ./logs/sritmo.pth --sr_factor 4

Générer un panorama HDR à partir d'une description textuelle d'une série :

Générer une basse résolution ( 512x1024) Panorama LDR :

# assume your texts is stored in alt.txtpython text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text ./alt.txt --clip clip_emb.npy --sritmo ./logs/sritmo.pth --sr_factor 4

Le panorama HDR résultant peut être utilisé directement dans n'importe quel graphique moderne. Prenons comme exemple le rendu du paysage de San Francisco dans le logiciel d'infographie tridimensionnelle Blender. Lors de la saisie de photographies de paysages de chaînes de montagnes sous un ciel violet et rose, nous obtiendrons une image comme celle-ci :

.

为了便于批处理，例如使用多个hdri进行渲染，在命令行中也可以提供渲染3D的脚本。

解包，检查检查Blender的使用情况：

# assume your downloaded version is 3.1.2tar -xzvf blender-3.1.2-linux-x64.tar.xzcd blender-3.1.2-linux-x64./blender --help

添加别名：

# PATH_TO_DOWNLOADED_BLENDER indicates the parent directory where you save the downloaded blenderalias blender="/PATH_TO_DOWNLOADED_BLENDER/blender-3.1.2-linux-x64/blender"

然后回到Text2Light代码库，为不同的呈现设置运行以下命令：

blender --background --python rendering_shader_ball.py -- ./rendered_balls 100 1000 PATH_TO_HDRI

就能得到这样的结果：

该项目也在GitHub上开源了：

GitHub链接：https://github.com/FrozenBurning/Text2Light

这个项目也得到了不少网友的好评。有网友就感叹到，“人类的想象力是没有边界的”，照这个趋势来看我们距离“输入文字就能3D打印出一个真实物体”的时代也不远了。

也有网友表示，当试图输入“一个四层半的榻榻米房间，房间内有推拉门、拉门、餐桌、14寸黑白电视、黑色电话机”，仍然会担心AI能否比较准确地再现这种场景。毕竟在想象中，“这应该是一个有异国情调的房间”。

对这个速成HDR全景图的AI，大家有什么看法呢？也欢迎小伙伴们在评论区分享自己的使用心得~

相关报道：https://www.itmedia.co.jp/news/articles/2210/11/news036.html

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!