La quantité de données texte utilisée pour la formation de Google PaLM 2 est près de 5 fois supérieure à celle de la génération d'origine

News le 17 mai, Google a lancé son dernier modèle de langage à grande échelle PaLM 2 lors de la conférence des développeurs d'E/S 2023 la semaine dernière. Les documents internes de l'entreprise montrent que la quantité de données textuelles utilisées pour entraîner les nouveaux modèles à partir de 2022 est près de cinq fois supérieure à celle de la génération précédente.

Il est rapporté que le nouveau PaLM 2 de Google peut effectuer des tâches de programmation, d'informatique et d'écriture créative plus avancées. Des documents internes ont révélé que le nombre de jetons utilisés pour entraîner PaLM 2 est de 3 600 milliards.

Le soi-disant jeton est une chaîne. Les gens segmenteront les phrases et les paragraphes du texte utilisés pour entraîner le modèle. Chaque chaîne est généralement appelée un jeton. Il s’agit d’une partie importante de la formation de grands modèles de langage, en leur apprenant à prédire quel mot viendra ensuite dans une séquence.

La génération précédente du grand modèle de langage PaLM publié par Google en 2022 utilisait 780 milliards de jetons en formation.

Bien que Google ait tenu à démontrer ses prouesses en matière de technologie d'intelligence artificielle, en illustrant comment elle peut être intégrée dans les moteurs de recherche, les e-mails, le traitement de texte et les feuilles de calcul, il s'est montré réticent à divulguer la taille des données de formation ou d'autres détails. OpenAI, soutenu par Microsoft, garde également secrets les détails de son nouveau modèle de langage à grande échelle GPT-4.

Les deux sociétés ont déclaré que la raison pour laquelle elles n'ont pas divulgué ces informations est la concurrence féroce dans le secteur de l'intelligence artificielle. Google et OpenAI souhaitent attirer les utilisateurs qui souhaitent utiliser des chatbots au lieu des moteurs de recherche traditionnels pour rechercher des informations.

Mais alors que la concurrence dans le domaine de l’intelligence artificielle s’intensifie, la communauté des chercheurs réclame plus de transparence.

Depuis le lancement de PaLM 2, Google a déclaré que le nouveau modèle est plus petit que le précédent grand modèle de langage, ce qui signifie que la technologie de l'entreprise peut devenir plus efficace pour accomplir des tâches plus complexes. Les paramètres sont souvent utilisés pour décrire la complexité d'un modèle de langage. Selon des documents internes, PaLM 2 a été formé avec 340 milliards de paramètres, et le PaLM d'origine a été formé avec 540 milliards de paramètres.

Google n'a fait aucun commentaire dans l'immédiat.

Google a déclaré dans un article de blog sur PaLM 2 que le nouveau modèle utilise une « nouvelle technologie » appelée « mise à l'échelle optimale pour le calcul » pour rendre PaLM 2 « plus efficace et globalement de meilleures performances, telles qu'une inférence plus rapide, moins de paramètres de service et coûts de service inférieurs. »

Lors de la sortie de PaLM 2, Google a révélé que le nouveau modèle était formé en 100 langues et était capable d'effectuer une variété de tâches. PaLM 2 est utilisé dans 25 fonctionnalités et produits, y compris le chatbot expérimental Bard de Google. PaLM 2 a quatre versions différentes selon l'échelle des paramètres, du plus petit au plus grand, ce sont Gecko, Otter, Bison et Unicorn.

Selon les informations divulguées publiquement par Google, PaLM 2 est plus puissant que n'importe quel modèle existant. Facebook a annoncé le lancement d'un grand modèle linguistique appelé LLaMA en février de cette année, qui a utilisé 1,4 billion de jetons en formation. OpenAI a divulgué l'échelle de formation correspondante lors de la publication de GPT-3. À l'époque, la société avait déclaré que le modèle avait été formé sur 300 milliards de jetons. En mars de cette année, OpenAI a publié un nouveau modèle, GPT-4, et a déclaré qu'il fonctionnait au « niveau humain » dans de nombreux tests professionnels.

Selon les derniers documents, le modèle linguistique lancé par Google il y a deux ans a été formé sur 1,5 billion de jetons.

Alors que les nouvelles applications d'IA générative deviennent rapidement courantes dans l'industrie technologique, la controverse autour de la technologie sous-jacente devient de plus en plus féroce.

En février de cette année, El Mahdi El Mhamdi, scientifique principal du département de recherche de Google, a démissionné en raison du manque de transparence de l'entreprise. Mardi, le PDG d'OpenAI, Sam Altman, a témoigné lors d'une audience du sous-comité judiciaire du Sénat américain sur la confidentialité et la technologie et a approuvé de nouveaux systèmes pour gérer l'intelligence artificielle.

"Pour une toute nouvelle technologie, nous avons besoin d'un nouveau cadre", a déclaré Altman. "Bien sûr, les entreprises comme la nôtre ont une grande responsabilité quant aux outils qu'elles proposent

."

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!