Comment une IA de jeu peut-elle faire le travail d'un médecin ?
Et cette capacité s'apprend de l'expérience de jouer à des jeux.
Ici, faites un scan pathologique de l'ensemble du film, et vous pourrez trouver la lésion sans passer par tous les champs de vision à haute puissance.
À son avis, ce processus est similaire à la connexion à "Minecraft".
C'est les trois étapes :
Et cette méthode est très efficace, 400% de la méthode traditionnelle.
C'est digne d'être l'IA de jeu qui a remporté le concours NeurIPS MineRL...
Alors, comment a-t-elle fait ?
Avant de présenter ce jeu d'IA, comprenons d'abord quelles sont les difficultés de traitement des lames pathologiques.
Différent de l'imagination consistant à numériser d'un seul coup d'œil, le service clinique numérisera et numérisera d'abord les tranches de tissus.
Après cela, ce qui est remis au médecin est souvent une image haute résolution de dizaines de milliers par dizaines de milliers de pixels ou même plus, qui peut atteindre 0,25 microns par pixel.
Ce que le médecin doit faire, c'est trouver l'emplacement des lésions à risque à l'œil nu dans cette très grande image remplie de cellules et de tissus denses et porter un jugement. On peut dire qu'il « cherche une aiguille dans un ». meule de foin".
Ces dernières années, personne n'a essayé d'utiliser des méthodes d'apprentissage profond pour résoudre ce problème, mais les défis rencontrés sont :
Le premier, bien que l'image pathologique (WSI) ait une haute résolution d'un milliard de pixels en résolution de taille, mais souvent une seule étiquette au niveau de l'image.
La plupart des méthodes actuelles reposent sur un échantillonnage dense de tranches entières sous un fort grossissement pour l'extraction des caractéristiques et sur l'intégration des informations de toutes les caractéristiques collectées pour obtenir un diagnostic de tranche complet.
Deuxièmement, les zones de lésions sur ces images sont souvent très clairsemées. La plupart des méthodes existantes s'appuient sur des cadres d'apprentissage multi-instances, qui nécessitent un échantillonnage dense de parcelles d'images locales à des grossissements élevés.
Cela augmente non seulement le coût de calcul, mais conduit également à une faible corrélation diagnostique et à une faible efficacité des données. Une tranche prend souvent des dizaines de minutes pour terminer le calcul.
Cependant, cette fois, l'équipe "Juewu" de Tencent a découvert un angle mort -
Dans le modèle traditionnel, bien que les médecins aient besoin de voir à l'œil nu, ils utilisent souvent d'abord un microscope pour numériser le film à faible grossissement, et sur la base de leur expérience, ont-ils découvert. Si vous avez des doutes, utilisez un microscope haute puissance pour vérifier.
Et si ce type d’opération était mis dans le monde de l’IA, ne serait-ce pas un problème de prise de décision optimale ? N’est-ce pas ce que l’apprentissage par renforcement peut faire ?
L'apprentissage par renforcement est souvent utilisé dans l'IA de jeu. Eh bien, les avantages sont en boucle fermée.
Auparavant, Juewu AI a obtenu des résultats exceptionnels dans plusieurs types de jeux tels que MOBA, RTS et Minecraft en s'appuyant sur des stratégies de prise de décision optimales. Elle a également remporté le championnat de la compétition NeurIPS MineRL lors de la meilleure conférence sur l'IA.
À cette époque, la CMU, Microsoft, DeepMind et OpenAI ont organisé conjointement un concours appelé MineRL lors de la conférence NeurIPS, exigeant que les équipes participantes forment un "mineur" d'IA capable d'extraire des diamants en 15 minutes en 4 jours.
Juewu AI de Tencent a remporté le championnat avec un avantage absolu de 76,97 points, devenant ainsi l'IA « minière la plus rapide » de l'histoire du défi.
L'action de trouver du bois dans "Minecraft" est en fait similaire à l'action de trouver des lésions dans des diapositives pathologiques.
De même, regardez autour de vous pour collecter des informations globales (le pathologiste scanne le film sous un microscope à faible grossissement), puis verrouille la perspective (confirme avec un microscope à fort grossissement), trouve le bois, et effectue l'action de collecte (confirmant le lésion), et ainsi de suite.
Ainsi, sur la base de cette IA de jeu, les chercheurs de Tencent ont lancé le dernier résultat de recherche "Juewu RLogist", qui signifie RL (apprentissage par renforcement) + Pathologiste (pathologiste).
Alors, comment Juewu RLogist l'implémente-t-il ?
Tout comme les idées de solutions des médecins humains mentionnées ci-dessus, "Juewu RLogist" utilise une méthode basée sur l'apprentissage par renforcement profond pour trouver le chemin optimal pour regarder des films.
Les avantages de cette nouvelle méthode sont évidents : elle évite d'utiliser la méthode exhaustive traditionnelle pour analyser les tuiles d'images locales, mais décide d'abord de trouver des zones de valeur d'observation et obtient des caractéristiques représentatives sur plusieurs niveaux de résolution pour accélérer l'achèvement de l'interprétation complète du film.
En imitant la façon dont les humains pensent, cela améliore non seulement l'efficacité du visionnage de films, mais permet également de réaliser des économies.
Plus précisément, les chercheurs ont réussi à fusionner des informations à résolution croisée grâce à la super-résolution de caractéristiques conditionnelles.
Bénéficiant de la modélisation des conditions, les caractéristiques haute résolution dans les zones non observées peuvent être mises à jour en fonction de l'association des caractéristiques basse résolution et haute résolution qui ont été observées.
L'une des étapes clés est de définir un environnement de formation par apprentissage par renforcement pour le domaine de l'analyse d'images pathologiques. Cette méthode utilise un espace d'action discrétisé, un bloc d'image bien conçu et une fonction de récompense de l'état d'achèvement pour améliorer les performances de convergence du modèle et éviter l'optimalité locale.
Le pipeline de formation correspondant est représenté par l'algorithme suivant :
D'après les résultats, les avantages de Juewu RLogist sont très évidents. Les chercheurs ont sélectionné deux tâches de classification d'images numérisées sur film entier, « détection de métastases de tranches de ganglions lymphatiques » et « classification du cancer du poumon », pour des tests de référence.
Les résultats montrent que par rapport aux algorithmes d'apprentissage multi-instances typiques, "Juewu RLogist" peut atteindre des performances de classification rapprochées lorsque le chemin d'observation est considérablement raccourci et que le temps moyen est réduit à un quart, améliorant ainsi l'efficacité de la prise de décision. . Amélioré de 400%.
Non seulement cela, cette méthode est également interprétable. Après avoir visualisé le processus de prise de décision, les chercheurs ont découvert que Juewu RLogist peut jouer un bon rôle à la fois dans la formation médicale et dans les scénarios réels du futur.
Actuellement, l'article a été accepté par l'AAAI 2023 et le code est open source.
Il convient de mentionner que les chercheurs ont également souligné qu'ils continueront à optimiser dans le sens de Juewu RLogist à l'avenir, notamment en améliorant les capacités d'apprentissage des représentations de RLogist en introduisant une structure de réseau neuronal plus solide et en utilisant des méthodes de formation RL d'ordre supérieur. apprendre de mauvais chemins d'observation, etc.
D'où vient « RLogist » ?
Quand il s'agit de l'IA "juewu", beaucoup de gens doivent la connaître.
Après tout, le gameplay de l'IA dans "Honor of Kings" est le "Juewu Challenge".
△L'IA du côté rouge a une excellente vision de la situation globale et peut inverser le cours de la bataille en s'accroupissant dans l'herbe
Il existe également des jeux "Minecraft", 3D-FPS, etc. J'ai dit que j'étais un joueur vétéran.
L'équipe derrière, Tencent AI Lab, est également un acteur vétéran dans le domaine de l'apprentissage de l'IA pour jouer à des jeux. Depuis 2016, elle a développé l'IA "Exquisite Art", l'IA "Excellent Enlightenment" et a formé une plateforme "Enlightenment".
AI "Jueyi" est un joueur d'échecs et de jeux de cartes.
Son développement a débuté en 2016, à partir de Go.
En 2017, "Jue Yi" a remporté le championnat de la conférence UEC World Computer Go et est désormais un sparring partenaire professionnel pour l'équipe nationale.
De plus, il peut également jouer aux échecs et au mahjong. En termes de mahjong à quatre joueurs, « Jueyi » est le premier mahjong de l'industrie à atteindre les normes professionnelles selon les normes internationales et a remporté le championnat du concours IJCAI Mahjong AI.
Sur les traces de « Jue Yi », la recherche et développement de « Jue Wu » a été lancée en 2017.
Il ne met plus l'accent sur les jeux simples, mais sur les enjeux stratégiques de l'IA multi-agents face à des environnements plus complexes.
En 2018, "Jue Yi" a atteint le niveau de joueur amateur de "Honor of Kings", et en 2019, il a atteint le niveau d'e-sport professionnel.
Le "King Jue Wu" suivant apporte également "Challenge Jue Wu", "Hero Training Ground" et d'autres méthodes de jeu aux joueurs de Honor of Kings, devenant ainsi une bonne aide pour les joueurs pour s'entraîner et améliorer leurs scores.
De plus, "Juewu" a joué à "Minecraft" et a remporté le concours NeurIPS MineRL, devenant avec succès l'IA "d'exploitation minière la plus rapide" de l'histoire du défi.
AI
La « version football » Juewu a également remporté le championnat du monde de football en ligne organisé par Google.
Dans le processus de création d'IA de jeu, Tencent AI Lab a également développé une plateforme « Enlightenment » en collaboration avec Honor of Kings.
C’est-à-dire que la plateforme, les algorithmes et les scénarios de Tencent seront mis à la disposition des étudiants et des cercles universitaires pour leur permettre de mener des recherches pertinentes sur les jeux. En août 2020, la plateforme « Enlightenment » a organisé le premier concours universitaire des Lumières et a également lancé cette année l'environnement de recherche ouvert Honor of Kings 1v1.
En fait, le domaine du jeu a toujours été considéré comme le meilleur domaine expérimental pour l'IA.
D'après les performances de "Juewu" au cours des dernières années, il n'est pas difficile de voir qu'il a accumulé certaines capacités dans des aspects tels que l'apprentissage par renforcement.
Ensuite, c'est aussi une tendance générale dans l'industrie de migrer les meilleures capacités vers l'extérieur et de les mettre au niveau des applications pratiques.
Cette fois, on ne peut vraiment pas dire que l’IA du jeu est « ignorante et incompétente ».
Adresse papier : http://arxiv.org/abs/2212.01737
Adresse open source : https://github.com/tencent-ailab/RLogist
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
