L'IA de Sony bat les meilleurs vrais coureurs, battant les humains de 1,5 seconde

"Que se passe-t-il ?" Emily Jones n'arrivait pas à croire qu'elle prenait du retard.

Emily Jones est une grande coureuse de jeux GT qui a remporté plusieurs championnats. Elle a giflé son volant dédié aux sports électroniques et a regardé l'écran devant elle : "J'ai fait de mon mieux, mais je n'arrive toujours pas à rattraper mon retard. ça—— Comment fait-il ça ? »

Dans le jeu Gran Turismo, Jones conduit sa voiture à 120 miles par heure. Afin de rattraper les « joueurs » les plus rapides du monde, elle a atteint des vitesses de 140 et 150 milles à l'heure.

Ce « joueur » est en réalité une intelligence artificielle nommée GT Sophy. Lancé par le laboratoire de recherche sur l'intelligence artificielle de Sony en 2020, il utilise la technologie de l'intelligence artificielle pour apprendre à contrôler les voitures dans le jeu GT. Sony a opposé l'IA aux meilleurs pilotes GT lors d'une série d'événements à huis clos en 2021.

En juillet 2021, Jones a participé à un événement organisé par Sony en tant que membre de l'équipe d'e-sports Trans Tasman Racing, mais à l'époque elle ne savait pas à quoi s'attendre.

"Personne ne m'a donné d'informations. On m'a juste dit que je n'avais pas besoin de m'entraîner et de ne pas me soucier des temps au tour", se souvient-elle. "Mon attitude est également très simple. Gardez-le secret. Ce n'est certainement pas une mauvaise chose."

En fin de compte, GT Sophy a battu le meilleur résultat de Jones de 1,5 seconde - les coureurs humains rafraîchissent essentiellement les records GT avec En millisecondes, 1,5 seconde signifie une énorme différence.

Mais Sony a vite compris que la vitesse seule ne suffisait pas pour faire de la GT Sophy un gagnant. Il a surpassé les pilotes humains sur une seule piste, battant des records sur trois pistes différentes avec des résultats incroyables.

Mais lorsque Sony l'a opposé à plusieurs pilotes humains, il a perdu : les courses multijoueurs nécessitent non seulement de la vitesse, mais aussi une certaine quantité d'intelligence. GT Sophy encourait parfois des pénalités pour être trop agressive et imprudente, et d'autres fois était trop timide, cédant quand ce n'était pas nécessaire.

Sony a recyclé l'IA et a procédé à un deuxième tour en octobre 2021. Cette fois, GT Sophy a facilement battu les joueurs humains. Quels changements a-t-il apporté ?

Tout d'abord, Sony a construit un réseau neuronal plus grand et les performances du programme sont plus puissantes, mais la différence essentielle est que GT Sophy a appris « l'étiquette de la piste ».

Le chef américain Peter Warman () a déclaré que cette étiquette est largement observée par les conducteurs humains. Son essence est la capacité d'équilibrer l'agressivité et la concession et de choisir de manière dynamique le comportement le plus approprié dans un domaine en constante évolution.

C'est ce qui rend GT Sophy meilleur que l'IA des jeux de course. Les interactions et l'étiquette des conducteurs sur la piste sont un exemple particulier de comportement dynamique et contextuel que les robots devraient adopter lorsqu'ils interagissent avec des personnes, a-t-il déclaré.

Savoir quand prendre des risques et quand jouer la sécurité est utile pour l'intelligence artificielle, que ce soit dans les ateliers de fabrication, dans les robots domestiques ou dans les voitures autonomes.

a déclaré : « Je ne pense pas que nous ayons appris les principes généraux sur la façon de gérer les normes humaines qui doivent être respectées. Mais c'est un bon début et j'espère que cela nous donnera un aperçu du problème. »

GT Sophy n'est qu'un parmi tant d'autres. L'un des meilleurs systèmes d'intelligence artificielle au monde, des échecs à StarCraft et Dota 2, l'intelligence artificielle a battu les meilleurs joueurs humains du monde. Mais GT est un jeu qui propose à Sony un nouveau défi.

Contrairement à d'autres jeux, notamment les jeux au tour par tour, GT nécessite que les meilleurs joueurs contrôlent des véhicules en temps réel tout en s'approchant des limites de la physique (vitesses ultra élevées). Dans une compétition, tous les autres joueurs font la même chose.

La voiture de course virtuelle vous dépasse à 100 miles par heure, à quelques centimètres du bord du virage. À ces vitesses, de petites erreurs peuvent entraîner des collisions.

Il est rapporté que les jeux GT sont réputés pour capturer et reproduire en détail la physique du monde réel. Ils simulent l'aérodynamique de la voiture et le frottement des pneus sur la piste. Le jeu est parfois même utilisé pour entraîner et recruter des coureurs du monde réel.

Davide Scaramuzza, responsable du groupe Robotique et perception à l'Université de Zurich en Suisse, a déclaré : "Cela fait du bon travail en termes de réalisme." Il n'est pas impliqué dans le projet GT Sophy, mais son équipe a utilisé GT. jeux pour former le conducteur de l’intelligence artificielle, il n’a pas encore été testé sur des humains.

GT Sophy joue au jeu différemment des joueurs humains. Il ne lit pas les pixels sur l'écran, mais obtient des données sur sa propre position sur la piste et sur la position des voitures environnantes. Il reçoit également des informations sur les forces physiques virtuelles affectant son véhicule.

En réponse, GT Sophy contrôle la voiture pour qu'elle tourne ou freine. Cette interaction entre GT Sophy et le jeu avait lieu 10 fois par seconde, ce qui, selon ses collègues, est similaire au temps de réaction d'un joueur humain.

Sony a utilisé l'apprentissage par renforcement pour former GT Sophy à partir de zéro grâce à une méthode d'essais et d'erreurs. Au début, l'IA ne pouvait qu'essayer de maintenir la voiture sur la route.

Mais après s'être entraîné sur 10 PS4 (chacune exécutant 20 instances de programme), GT Sophy a atteint le niveau d'intelligence artificielle intégrée de GT, équivalent à celui d'un joueur amateur, en 8 heures environ. En 24 heures, il figurait en tête d'un classement des meilleurs résultats de 17 700 joueurs humains.

GT Sophy a passé 9 jours à battre des chronos. En fin de compte, c'était plus rapide que n'importe quel joueur humain.

On peut dire que l’intelligence artificielle de Sony a appris à conduire à la limite permise par le jeu et à réaliser des actions qui dépassent les capacités des joueurs humains. Ce qui a le plus impressionné Jones, c'est la façon dont la GT Sophy a tourné, freinant plus tôt pour accélérer en sortie de virage avec un itinéraire plus serré.

Elle a déclaré : "GT Sophy a une façon étrange de traiter la ligne et fait des choses auxquelles je n'avais jamais pensé." Par exemple, GT Sophy roule souvent avec un pneu sur l'herbe au bord de la piste puis glisse dans le virage. . La plupart des gens ne le font pas parce qu’il est trop facile de se tromper. C'est comme si vous contrôliez un crash. Donnez-moi cent chances, je ne réussirai peut-être qu'une seule fois. « 

GT Sophy a rapidement compris la physique du jeu, mais le plus gros problème était les arbitres. Dans l'arène professionnelle, les courses GT sont supervisées par des arbitres humains qui ont le pouvoir de déduire des points pour conduite dangereuse.

Les pénalités cumulées sont A. La principale raison pour laquelle GT Sophy a perdu la première manche en juillet 2021, bien qu'elle soit plus rapide que n'importe quel pilote humain, est qu'elle a appris à éviter les pénalités et à perdre des points lors de la deuxième manche quelques mois plus tard, le résultat est assez différent

. Ayant investi plusieurs années dans la GT Sophy, il y a une peinture de deux voitures se bousculant pour se positionner sur le mur derrière son bureau. "C'est la GT Sophy dépassant la Yamanaka

Il faisait référence au meilleur pilote GT japonais." Tomoaki Yamanaka, l'un des quatre pilotes de simulation professionnels japonais en compétition contre GT Sophy en 2021.

Il ne se souvenait plus de quelle course il s'agissait. C'est un événement d'octobre 2021, et Yamanaka l'appréciera probablement car il affronte un adversaire fort mais juste. S'il s'agissait d'un événement de juillet 2022, il maudirait probablement l'ordinateur sans raison

Yamanaka, son coéquipier, Takuma Miyazono, nous a brièvement décrit la course de juillet 2022 via le logiciel de traduction. Il a déclaré : « Nous avons été éliminés de la piste. par (GT Sophy) à plusieurs reprises parce que la façon dont elle a pris les virages était trop agressive. Cela nous a énervé car les joueurs humains ralentissaient pendant les virages pour éviter de sortir de la piste. "

a déclaré qu'il est très difficile d'entraîner l'IA à jouer équitablement sans perdre son avantage concurrentiel. Les arbitres humains émettent des décisions subjectives qui dépendent de l'environnement, ce qui rend difficile leur traduction en quelque chose que l'IA peut apprendre, comme quelles actions elle peut et ne peut pas faire.

Les chercheurs de Sony essaient de donner à l'IA de nombreux signaux différents pour qu'elle puisse faire appel et s'ajuster dans l'espoir de trouver une combinaison qui fonctionne si elle déraille ou heurte une clôture.

Ils ont expérimenté, observé. et réglé l'intensité de chaque pénalité et vérifié comment le style de conduite de GT Sophy allait changer

Sony a également augmenté la concurrence à laquelle GT Sophy est confrontée à l'entraînement. Avant cela, elle s'entraînait principalement contre des versions plus anciennes d'elle-même

Sony invitera les meilleurs. joueurs chaque semaine ou deux avant le match revanche d'octobre 2021. Les pilotes GT aident à tester l'IA puis à synthétiser les résultats pour ajuster en permanence

"Cela nous donne le feedback dont nous avons besoin pour trouver le bon équilibre entre agressivité et concessions." dit

Cela a fonctionné. Lorsque la Miyazono a couru contre la GT Sophy des mois plus tard, le comportement agressif de cette dernière a disparu - mais elle n'a pas simplement reculé "Lorsque les deux voitures entrent dans un virage côte à côte, la GT Sophy laisse suffisamment de place. pour le conducteur humain de traverser l'espace", a-t-il déclaré. "Cela vous donne l'impression d'être en compétition contre une autre personne réelle. "

Il a ajouté : "Les coureurs ressentent un autre type de passion et de plaisir face à ce genre de réaction. Cela m'a vraiment impressionné. "

Je suis profondément impressionné par le travail de Sony. Il a déclaré : "Nous utilisons les capacités humaines pour mesurer les progrès de la technologie robotique. » Cependant, son collègue Elia Kaufman souligne que ce sont toujours les chercheurs humains qui dominent la formation du comportement appris de GT Sophy.

« La bonne étiquette sur piste est enseignée à l'intelligence artificielle par les humains, « Ce serait vraiment intéressant si cela pouvait être fait. de manière automatisée", a-t-il déclaré. "Une telle machine aura non seulement de bonnes manières de rouler, mais plus important encore, elle pourra comprendre ce que sont les bonnes manières de rouler et être capable de modifier son comportement pour s'adapter aux nouveaux paramètres. L'équipe de

applique désormais ses recherches sur les courses GT à la réalité. En juin 2022, ils ont invité deux pilotes de drones de niveau championnat du monde à s'affronter contre l'ordinateur en utilisant une entrée vidéo brute au lieu de données simulées. L'expression sur leurs visages après avoir vu notre course d'IA en disait long. Ils ont été choqués. »

Il estime que les véritables progrès en robotique doivent s'étendre au monde réel. "Il y aura toujours un décalage entre la simulation et le monde réel", a-t-il déclaré. "C'est quelque chose qui est oublié lorsque les gens parlent des incroyables progrès de l'IA. Du côté stratégique, oui. Mais en termes de déploiement dans le réel. monde, nous en sommes encore loin. »

Pour l’instant, Sony insiste toujours sur l’utilisation de la technologie uniquement dans les jeux. Il prévoit d'utiliser GT Sophy dans les futures versions des jeux GT. "Nous voulons que cela fasse partie du produit", a déclaré Peter Stone, directeur exécutif de l'entreprise. "Sony est une société de divertissement et nous espérons que cela rendra le jeu plus amusant."

Jones pense que l'ensemble de la communauté des courses de simulation peut apprendre beaucoup une fois que les gens auront la chance de regarder GT Sophy au volant. "Sur de nombreuses pistes, nous constatons que bon nombre des techniques de conduite utilisées depuis de nombreuses années sont défectueuses et qu'il existe en fait des moyens plus rapides."

Miyazono essaie déjà de reproduire la façon dont l'IA s'aligne dans les virages, car elle le permet. il a été démontré que cela était possible. "Si la ligne de base change, les compétences de chacun s'améliorent", a déclaré Jones

.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!