Meta dévoile une technique de prédiction multi-jetons, révolutionnant potentiellement le développement de grands modèles de langage

Meta a lancé le défi dans la course à une intelligence artificielle plus efficace. Le géant de la technologie a publié mercredi des modèles pré-entraînés qui exploitent une nouvelle approche de prédiction multi-jetons, modifiant potentiellement la façon dont les grands modèles de langage (LLM) sont développés et déployés.

Meta a dévoilé mercredi des modèles pré-entraînés qui exploitent un nouvelle approche de prédiction multi-jetons, susceptible de changer la façon dont les grands modèles linguistiques (LLM) sont développés et déployés.

La dernière offre du géant de la technologie fait suite à un article récent publié par des chercheurs de Meta, qui décrit une nouvelle méthode de formation pour les LLM qui exploite la prédiction multi-jetons. Dans le but de propulser davantage la recherche dans ce domaine, Meta a maintenant publié des modèles pré-entraînés pour la complétion de code, en tirant parti de cette approche sur Hugging Face.

Cette technique marque une rupture avec l'approche traditionnelle consistant à former des LLM pour prédire uniquement le mot suivant. dans une séquence. Au lieu de cela, la méthode de Meta charge les modèles de prévoir simultanément plusieurs mots futurs, promettant à la fois des performances améliorées et des temps de formation considérablement réduits.

Les implications de cette avancée pourraient être considérables. Alors que les modèles d’IA continuent de croître en taille et en complexité, leur appétit vorace pour la puissance de calcul a soulevé des inquiétudes quant aux coûts et à l’impact environnemental. La méthode de prédiction multi-jetons de Meta pourrait offrir un moyen de freiner cette tendance, en rendant l'IA avancée plus accessible et durable. En prédisant plusieurs jetons à la fois, ces modèles peuvent développer une compréhension plus nuancée de la structure et du contexte du langage. Cela pourrait conduire à des améliorations dans des tâches allant de la génération de code à l'écriture créative, comblant potentiellement le fossé entre l'IA et la compréhension du langage au niveau humain. événement phare de l’IA. Connectez-vous avec vos pairs, explorez les opportunités et les défis de l'IA générative et apprenez comment intégrer des applications d'IA dans votre secteur. Inscrivez-vous maintenant

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!