Microsoft lance la technologie XOT pour améliorer les capacités de raisonnement des modèles de langage

Le 15 novembre, Microsoft a récemment lancé une méthode appelée "Everything of Thought" (XOT), inspirée d'AlphaZero de Google DeepMind, utilise des réseaux neuronaux compacts pour améliorer les capacités de raisonnement des modèles d'IA.

Microsoft a coopéré avec l'Institut de technologie de Géorgie et l'Université normale de Chine orientale pour développer cet algorithme, qui intègre les capacités d'apprentissage par renforcement (apprentissage par renforcement) et de recherche d'arbres de Monte Carlo (MCTS) pour fonctionner dans des environnements complexes. environnements décisionnels pour améliorer encore l’efficacité de la résolution des problèmes.

Note de ce site : L'équipe de recherche de Microsoft a déclaré que la méthode XOT peut étendre le modèle de langage sur des problèmes inconnus et s'est considérablement améliorée lors des tests rigoureux de Game of 24, 8-Puzzle et Pocket Cube. Les résultats montrent que XOT est nettement meilleur que les autres méthodes et résout même le problème de l'échec des autres méthodes. Cependant, XOT n'atteint pas une fiabilité à 100 %

Le framework XOT comprend les étapes clés suivantes :

• Phase de pré-formation : le module MCTS est pré-entraîné sur des tâches spécifiques pour acquérir des connaissances du domaine sur une recherche de pensée efficace. Recherche guidée légère sur les politiques et les réseaux de valeurs. Recherche d'idées : lors de l'inférence, le module MCTS pré-entraîné utilise un réseau de politique/valeur pour explorer et générer efficacement les trajectoires d'idées de LLM.
• Correction des pensées : LLM examine les idées de MCTS et identifie toute erreur. Des idées de révisions ont été générées grâce à des simulations MCTS supplémentaires.
• Raisonnement LLM : Dernier conseil pour donner des idées révisées au LLM pour résoudre des problèmes.

Ce site Web joint ici l'adresse du papier [PDF], les utilisateurs intéressés peuvent la lire en profondeur.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!