Quel est le mécanisme de « Red Ram » qui permet de générer des jeux mystères en laissant le soin à l'IA ? [CEDEC 2024]

Une session organisée le 23 août, troisième jour du CEDEC 2024 ``Presque un jeu d'IA complet. Un mécanisme qui permet à Red Ram de générer un nombre illimité de jeux mystères selon les préférences du joueur'' .
"Red Ram" est une démo technologique développée par Morikatron, un développeur spécialisé dans l'IA de jeux, et est une tentative de générer automatiquement un jeu de devinettes de coupables de style meurtre et mystère en fonction des mots-clés saisis par le joueur. Au cours de cette session, Shigenori Miyamoto, l'ingénieur en chef de Morikatron en charge du traitement du langage naturel pour le jeu, et Rikito Takahashi, un ingénieur en IA en charge de la conception du système et de la mise en œuvre du client, ont expliqué le fonctionnement de la génération.
L'ingénieur principal Shigenori Miyamoto (à droite) et l'ingénieur IA Rikito Takahashi (à gauche)

Fun créé en utilisant l'IA de génération dans le jeu
La séance a commencé avec M. Takahashi parlant du message qu'il avait transmis lors de cette séance. Autrement dit, « je veux que davantage de jeux utilisent l'IA de génération dans le jeu ». Il s'agit d'un message propre à Morikatron, qui maîtrise la technologie de l'IA, mais la société estime qu'en utilisant l'IA générative dans les jeux, deux types de plaisir peuvent être créés.
La première est qu’il existe tellement de variantes que vous ne vous ennuierez pas. Un autre avantage est la possibilité de créer une expérience de jeu adaptée aux préférences de chaque joueur. « Red Ram », qui sera discuté dans cette session, a été créé pour étudier l'expérience de jeu propre à l'IA générative.

Aperçu du jeu « Red Ram »

Alors, comment fonctionne la génération de jeux Red Ram ?
Tout d’abord, le joueur saisit ses paramètres préférés, puis l’IA génère un tracé qui représente les grandes lignes de l’incident. Ensuite, des données d'histoire sont créées pour étoffer les données, et les personnages et les paramètres sont déterminés en fonction de ces données. Enfin, des lignes de dialogue, des images de personnages, des images d'arrière-plan, etc. sont générées et le jeu se termine en les combinant.

M. Miyamoto a expliqué les détails de cette génération. Tout d'abord, les tracés sont générés par étapes à l'aide de LLM (modèle de langage à grande échelle/``Red Ram'' utilise les GPT 3.5 et 4 d'OpenAI) en fonction des mots-clés saisis par le joueur. Si des conditions complexes sont requises pour la génération, le GPT 4 hautes performances est apparemment utilisé.
Par exemple, même si le joueur saisit quelque chose qui ne convient pas comme arme, LLM créera un scénario en conséquence.

Dans la génération d'intrigues, non seulement le contexte de l'incident, mais également un guide d'écriture mystère et la manière de créer un flux de progression sont saisis sous forme d'invites. Préparez à l’avance plusieurs flux de progression générés manuellement par LLM et utilisez-les de manière aléatoire. On dit que générer des parcelles sans aucune contrainte de format peut donner des produits de meilleure qualité.

À partir des tracés ainsi créés, les données de l'histoire sont générées dans un format pouvant être géré par des programmes. Comme vous pouvez le voir dans la diapositive ci-dessous, au stade de l'intrigue, il ne s'agit que de texte brut, mais les données nécessaires telles que les lieux et les victimes en sont extraites, et le contenu est étoffé en même temps.

Ensuite, des données détaillées pour chaque personne, lieu et élément de preuve apparaissant dans le jeu sont générées à partir des données de l'histoire. En plus de déterminer le profil d'une personne tel que son âge, sa personnalité et sa profession, le ton de sa voix caractéristique est également déterminé. A ce moment, une invite pour générer l’image est également créée.

La dernière chose générée est un scénario de conversation - le texte de l'interrogatoire (ligne de conversation) que le joueur, le détective, mène sur le suspect. Des invites sont créées en insérant les données générées jusqu'à présent dans six types de modèles en fonction de la situation et du lieu de l'incident, et la conversation est générée. De plus, les émotions du personnage sont déduites du texte du dialogue de LLM et classées en six types d'émotions. Ceci serait utilisé pour modifier l’expression du visage du suspect lors de la génération d’images.

Ensuite, passez à la génération d’images. Sur la base du texte généré par LLM, les images sont préparées à l'aide de "Stable Diffusion" (le nom du modèle de l'IA de génération d'images). Pour les images d’arrière-plan et de preuve, utilisez les invites créées lorsque vous avez généré les détails respectifs. À ce stade, des ajustements sont effectués pour ajuster l'angle de vision de l'image d'arrière-plan et pour remplacer et dessiner des éléments de preuve difficiles à représenter.

De même, les portraits de personnages utilisent les invites créées lors de la génération de données détaillées. Des contraintes sont appliquées pour que l'image soit dessinée dans une position et une taille fixes, et un traitement de transparence de l'arrière-plan (découpage) est également effectué à ce stade.
Pour le recadrage, la segmentation sémantique (une méthode de segmentation qui étiquette chaque pixel) et la technologie qui estime la profondeur de l'image sont utilisées pour garantir un recadrage fiable en extrayant uniquement les parties profondes.

Défis et perspectives d'avenir pour les jeux d'IA génératifs

La diapositive suivante montre l'incident qui a réellement été généré.

Tout d'abord, puisque l'arme du crime était du ``tofu'', il serait juste de dire que la cause du décès était la suffocation. Le décor était planté pour devenir une « société de développement de jeux innovants », c'est pourquoi un lieu tel qu'un bureau ou une salle de conférence a été créé. Puisque le mobile du crime était des « troubles financiers »
, une relation humaine centrée sur le prêt et l'emprunt d'argent s'est créée. À propos, il semble que vous puissiez choisir entre le style live-action et le style anime pour les personnages.


A la fin de la séance, M. Takahashi a évoqué les enjeux actuels et les perspectives d'avenir.
Il y a d’abord la question de la qualité. Dans « Red Ram », les conversations des personnages n’ont parfois aucun sens. Par exemple, une conversation peut commencer par « des preuves ont été trouvées », mais se terminer de manière mystérieuse, avec des preuves introuvables. De plus, lors de l'explication de l'affaire au début, le personnage principal, le détective, peut même révéler la vérité.
Cela rend impossible le plaisir de résoudre des cas de meurtre et de raisonner. En d’autres termes, la situation actuelle est un jeu dans lequel vous pouvez profiter du comportement étrange de l’IA générative. Cela a une certaine saveur et est intéressant, mais ce n’est pas le but de Morikatron.

Afin de parvenir à un scénario cohérent, il est nécessaire de perfectionner la conception du système et les invites données au LLM. D'autres problèmes tels que le coût et le temps d'attente ont également été soulevés, mais ils devraient être progressivement résolus grâce à l'évolution du modèle LLM.
Selon M. Takahashi, il aimerait à l'avenir créer une expérience où les informations saisies par le joueur se reflètent en temps réel dans le monde du jeu, et en juillet 2024, il publiera une démo technologique appelée "Labyrinthe de Kotodama ".sont.

Cette démo est une aventure textuelle qui vise à conquérir un donjon, mais le système est tel que les objets sont générés en fonction des mots saisis par le joueur. En réponse aux mots saisis, l'image, les paramètres, le texte d'ambiance, etc. de l'élément sont générés sur place et le personnage principal est affiché en utilisant l'élément.

De plus, des articles et des exemples de génération liés à « Red Ram » sont disponibles en ligne. Il peut être consulté à l’aide du code QR sur la diapositive ci-dessous, alors si vous êtes intéressé, pourquoi ne pas le consulter ?

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!