Lancement d'un modèle de langage avancé à grande échelle et annonce officielle de Meta pour approfondir la guerre contre l'IA

Zuckerberg a déclaré sur les réseaux sociaux que LLaMA développé par Facebook AI Research est "actuellement le modèle de langage à grande échelle du plus haut niveau", dans le but d'aider les chercheurs à faire progresser leurs travaux dans le domaine de l'intelligence artificielle (IA).

Les « Large Language Models » (LLM) peuvent digérer de grandes quantités de données textuelles et déduire des relations entre les mots du texte. Avec l’avancement de la puissance de calcul et l’expansion continue des ensembles de données d’entrée et des espaces de paramètres, les capacités du LLM ont également augmenté en conséquence.

Actuellement, il a été prouvé que le LLM effectue efficacement diverses tâches, notamment la génération de texte, la réponse aux questions, la synthèse de documents écrits, etc. Zuckerberg a déclaré que LLM a également de grandes perspectives de développement dans des aspects plus complexes tels que la preuve automatique de théorèmes mathématiques et la prédiction des structures protéiques.

Il convient de mentionner que ChatGPT, récemment populaire, est un chatbot construit à l'aide de LLM. ChatGPT est pris en charge par GPT3.5, qui est un LLM formé sur la base du modèle de base des paramètres OpenAI 175B. 175B est le contenu qu'il a appris et accumulé à partir des données de formation.

Meta a déclaré dans l'introduction du site officiel que LLaMA dispose de quatre modèles de base : 7B, 13B, 33B et 65B, qui sont meilleurs que le prédécesseur de GPT3.5, le GPT3-175B, dans la plupart des tests de référence, tandis que LLaMA-65B peut rivaliser avec les meilleurs. l'industrie. Les Chinchilla-70B et PaLM-540B sont en concurrence.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!