Le PDG d'OpenAI déclare : L'expansion à grande échelle n'est pas le seul moyen de progresser, et l'ère des modèles géants d'IA touche peut-être à sa fin.

News du 18 avril, le chatbot ChatGPT d'OpenAI est si puissant qu'il a suscité un grand intérêt et des investissements dans l'intelligence artificielle. Cependant, le PDG de l’entreprise, Sam Altman, estime que les stratégies de recherche existantes ont échoué et que les futurs progrès de l’IA nécessitent de nouvelles idées.

Ces dernières années, OpenAI a réalisé une série impressionnante de progrès dans le domaine du langage de traitement en adaptant les algorithmes d'apprentissage automatique existants à des échelles auparavant inimaginables. Son projet le plus récemment développé est GPT-4, qui, selon lui, a été formé à l'aide de milliards de mots de texte et de milliers de puces informatiques puissantes pour un coût de plus de 100 millions de dollars.

Cependant, Altman a déclaré que les progrès futurs de l'IA ne dépendront plus de la création de modèles plus grands. "Je pense que nous sommes à la fin d'une époque", a-t-il déclaré lors d'un événement au MIT. "Dans cette époque [sortante], les modèles sont devenus de plus en plus grands. Maintenant, nous allons les créer d'une autre manière." mieux. »

Les commentaires d'Altman représentent un tournant inattendu dans la course au développement et au déploiement de nouveaux algorithmes d'IA. Depuis le lancement de ChatGPT en novembre, Microsoft a exploité la technologie sous-jacente pour ajouter des chatbots à son moteur de recherche Bing, et Google a lancé un concurrent appelé Bard. De nombreuses personnes sont impatientes d’essayer ce nouveau chatbot pour les aider dans leurs tâches professionnelles ou personnelles.

Dans le même temps, de nombreuses startups bien financées, notamment Anthropic, AI21, Cohere et Character.AI, investissent des ressources importantes dans la création d'algorithmes plus vastes dans le but de rattraper OpenAI. La version initiale de ChatGPT est basée sur GPT-3, mais les utilisateurs ont désormais également accès à une version plus puissante prise en charge par GPT-4.

La déclaration d'Altman implique également qu'après avoir adopté la stratégie d'expansion du modèle et de fourniture de plus de données pour la formation, GPT-4 pourrait être la dernière réalisation majeure d'OpenAI. Cependant, il n’a révélé aucune stratégie ou technique de recherche susceptible de remplacer les méthodes actuelles. Dans un article décrivant GPT-4, OpenAI a déclaré que ses estimations montraient des rendements décroissants liés à la mise à l’échelle des modèles. Il existe également des limites physiques au nombre de centres de données que l'entreprise peut construire et à la rapidité avec laquelle elle peut les construire, a déclaré Altman.

Le co-fondateur de Cohere, Nick Frosst, qui a travaillé sur l'intelligence artificielle chez Google, a déclaré qu'Altman avait raison lorsqu'il disait que "l'augmentation continue de la taille du modèle n'est pas une solution illimitée". Il pense que les modèles d'apprentissage automatique pour GPT-4 et d'autres types de transformateurs (groupe d'édition : les transformateurs sont littéralement traduits par convertisseurs, et GPT est l'abréviation de Transformateurs pré-entraînés génératifs, signifiant des modèles de pré-entraînement génératifs basés sur des transformateurs), progressent. il ne s'agit plus seulement de mise à l'échelle.

Frost a ajouté : « Il existe de nombreuses façons de rendre les transformateurs meilleurs et plus utiles, et beaucoup d'entre elles n'impliquent pas l'ajout de paramètres au modèle. Les nouvelles conceptions ou architectures de modèles d'IA, ainsi que d'autres ajustements basés sur les commentaires humains, sont toutes des directions. que de nombreux chercheurs explorent déjà. doit suivre une chaîne de texte donnée.

En 2019, OpenAI a publié son premier modèle de langage GPT-2. Il implique jusqu'à 1,5 milliard de paramètres et constitue une mesure du nombre réglable de connexions entre les neurones. C'est un nombre très important, en partie grâce à une découverte des chercheurs d'OpenAI selon laquelle la mise à l'échelle rend le modèle plus cohérent.

En 2020, OpenAI a lancé GPT-3, le successeur de GPT-2, qui est un modèle plus grand avec jusqu'à 175 milliards de paramètres. La grande capacité de GPT-3 à générer de la poésie, des e-mails et d’autres textes a conduit d’autres entreprises et instituts de recherche à croire qu’ils pouvaient faire évoluer leurs propres modèles d’IA à des échelles similaires, voire plus grandes, que GPT-3.

Après le lancement de ChatGPT en novembre de l'année dernière, les créateurs de mèmes et les experts en technologie ont émis l'hypothèse que lorsque GPT-4 sortirait, il s'agirait d'un modèle plus complexe avec plus de paramètres. Cependant, lorsque OpenAI a finalement annoncé son nouveau modèle d'IA, la société n'a pas révélé quelle serait sa taille, peut-être parce que la taille n'était plus le seul facteur important. Lors de l'événement du MIT, on a demandé à Altman si le coût de la formation GPT-4 était de 100 millions de dollars, et il a répondu : "C'est plus que ça

".

Bien qu'OpenAI garde secrets l'échelle et le fonctionnement interne de GPT-4, il est probable qu'il ne repose plus uniquement sur la mise à l'échelle pour améliorer les performances. Une possibilité est que l'entreprise ait utilisé une méthode appelée « apprentissage par renforcement avec feedback humain » pour améliorer les capacités de ChatGPT, notamment en demandant aux humains de juger de la qualité des réponses du modèle pour le guider dans la fourniture de services plus susceptibles d'être jugés comme des réponses de haute qualité. .

Les capacités extraordinaires du GPT-4 ont alarmé de nombreux experts et suscité un débat sur le potentiel de l’IA à transformer l’économie, ainsi que des inquiétudes quant au risque de propagation de la désinformation et de création de chômage. Un certain nombre d'entrepreneurs et d'experts en IA ont récemment signé une lettre ouverte appelant à un moratoire de six mois sur le développement de modèles plus puissants que le GPT-4, notamment le PDG de Tesla, Elon Musk.

Lors de l'événement du MIT, Altman a confirmé que son entreprise ne développe pas actuellement GPT-5. Il a ajouté : « Une version antérieure de cette lettre ouverte affirmait qu'OpenAI entraînait GPT-5. En fait, nous ne le faisons pas et ne le ferons pas à court terme. »

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!