Dernière interview avec le fondateur d'OpenAI, Sam Altman : GPT-3 ou open source, les règles de mise à l'échelle accélèrent la construction de l'AGI

Big Data Digest Produced

« Nous sommes très à court de GPU »

Dans une récente interview, Sam Altman, le responsable d'OpenAI, a répondu à la question de l'hôte à propos de " Ce dont je ne suis pas satisfait, c'est la fiabilité et la rapidité de l'API. "

Cette interview vient de Raza Habib, PDG de la startup d'intelligence artificielle Humanloop. Il a compilé les moments forts de l'interview sur Twitter.

Adresse Twitter :

https://twitter.com/dr_cintas/status/1664281914948337664

# 🎜 🎜#

Dans cette interview, Altman a également annoncé le plan GPT pour les deux dernières années. Par exemple, le plan 2023 vise à réduire le coût du GPT-4 et à améliorer la vitesse de réponse.

1. Fenêtre contextuelle plus longue, peut prendre en charge 1 million de jetons ;

2 Affinez l'API pour aider les développeurs à mieux développer ; . API qui prend en charge l'état de session, c'est-à-dire API qui prend en charge l'état de session.

Le plan 2024 mentionnait que GPT-4 devrait prendre en charge la multimodalité. La raison pour laquelle il a été reporté à 2024 est qu'il y a trop peu de GPU.

Dans l'interview, Altman a également mentionné qu'ils envisageaient d'ouvrir GPT-3 en source ouverte, et là Il ne fait aucun doute que ce sera open source est très important. Dans le même temps, il a également déclaré que les modèles d’IA actuels ne sont pas si dangereux. Même s’il est très important de réglementer les modèles futurs, l’interdiction du développement est une très grande idée fausse.

Raza Habib a initialement publié des informations plus détaillées sur cette interview sur Humanloop, mais Digest.com a vérifié ce matin et a constaté que la page était déjà 404. Selon la traduction de @宝玉xp sur Weibo domestique, il a également mentionné les règles de mise à l'échelle pour le développement futur des grands modèles :

Les données internes d'OpenAI montrent que les règles de mise à l'échelle pour les performances du modèle, continuez En fait, agrandir le modèle continuera à générer des performances. OpenAI a fait évoluer ses modèles des millions de fois, elle ne peut donc pas continuer à évoluer à un rythme qui ne sera pas viable à l'avenir. Cela ne signifie pas qu'OpenAI ne continuera pas à essayer d'agrandir les modèles, cela signifie simplement qu'ils ne feront probablement que doubler ou tripler chaque année au lieu d'augmenter de plusieurs ordres de grandeur. Le fait que la mise à l’échelle continue d’être efficace a des implications importantes pour le calendrier de développement de l’AGI. L'hypothèse de mise à l'échelle est que nous disposons probablement déjà de la plupart des éléments nécessaires pour construire une AGI, et que la majeure partie du travail restant consistera à adapter les méthodes existantes à des modèles et des ensembles de données plus grands. Si l’ère de la mise à l’échelle est révolue, nous devrions probablement nous attendre à ce que l’AGI soit encore plus éloignée. Le fait que la loi de la mise à l’échelle continue d’être en vigueur laisse fortement présager un calendrier plus court.

De toute évidence, la loi de mise à l'échelle est le chemin le plus rapide vers l'AGI.

Quelle est la règle de mise à l'échelle ?

Scaling Laws, le nom anglais est Scaling Laws, est une description du phénomène, qui fait généralement référence à : l'effet du modèle de langage Il s'agit essentiellement d'une loi de puissance lisse avec la quantité de paramètres, de données et de calculs.

En d'autres termes, à mesure que le nombre de paramètres du modèle (Paramètres), la quantité de données impliquées dans la formation (Tokens) et la quantité de calcul accumulée dans le processus de formation (FLOPS) augmentent de façon exponentielle , le modèle fonctionne mieux sur l'ensemble de test. La perte diminue linéairement, ce qui signifie que le modèle fonctionne mieux.

Légende : La performance empirique est présentée avec chaque facteur individuel lorsqu'elle n'est pas contrainte par les deux autres facteurs Une relation de loi de puissance émerge.

En 2022, DeepMind a mené une analyse plus approfondie dans ScalingLaw. La recherche a vérifié grâce à des expériences quantitatives que la taille des données de formation du modèle linguistique doit être agrandie proportionnellement à la taille des paramètres du modèle. Lorsque la quantité totale de calcul reste inchangée, l'effet de la formation du modèle a un point d'équilibre optimal entre la taille du paramètre et la quantité de données de formation. Le point le plus bas sous la courbe est un très bon compromis entre la taille du paramètre et la quantité de données de formation. indiquer.

Le succès d'OpeaAI et GPT-4

OpenAI était à l'origine un laboratoire de recherche en intelligence artificielle à but non lucratif qui a acquis Sam Altman et Elon en 2016 •Financement d'un milliard de dollars de Musk.

En 2019, OpenAI s'est transformé en laboratoire de recherche en intelligence artificielle à but lucratif pour absorber les fonds des investisseurs.

Alors qu'il ne reste plus au laboratoire que très peu d'argent pour soutenir ses recherches, Microsoft a annoncé qu'il investirait 1 milliard de dollars supplémentaires dans le laboratoire.

Chaque version de la série GPT lancée par OpenAI peut provoquer un carnaval dans l'industrie. Lors de la conférence des développeurs Microsoft Build 2023, le fondateur d'OpenAI, Andrej Karpthy, a prononcé un discours : État du GPT (La situation actuelle du GPT). , affirmant qu’ils ont formé de grands modèles en tant que « cerveaux humains ».

Andrej a mentionné que le grand modèle de langage LLM actuel peut être comparé au système 1 (système rapide) du mode de pensée humaine, qui est comparé au système 2 (système lent) qui répond lentement mais a un fonctionnement à plus long terme. raisonnement.

« Le système un est un processus automatique rapide qui, je pense, correspond en quelque sorte au LLM, il suffit d'échantillonner les jetons

Le système deux est le processus le plus lent et le plus délibéré dans le cerveau. La partie plan.

Le projet prompt espère essentiellement restaurer certaines des capacités de notre cerveau "

Andrej Karpthy a également mentionné que GPT-4 est un artefact incroyable. et il était très reconnaissant de son existence. Il possède une tonne de connaissances dans de nombreux domaines, il peut faire des mathématiques, du code et bien plus encore, à portée de main.

Le PDG Altman a déclaré qu'au début, GPT-4 était très lent, avait des bugs et faisait beaucoup de choses mal. Mais il en a été de même pour les premiers ordinateurs, qui ouvraient encore la voie à quelque chose qui allait devenir très important dans nos vies, même si son développement prenait des décennies.

Il semble qu'OpenAI soit une organisation qui insiste sur les rêves et qui veut faire les choses à l'extrême.

Comme l'a mentionné Zhou Ming, ancien vice-président de Microsoft Research Asia et fondateur de Lanzhou Technology, dans une interview :

#🎜 🎜#

La plus grande réussite d'OpenAI est d'atteindre la perfection dans tous les aspects et est un modèle d'innovation intégrée.

Il existe plusieurs types de personnes dans le monde, et certaines personnes souhaitent simplement étudier l'innovation sous-jacente. Certaines sont des applications basées sur des innovations sous-jacentes, tandis que les applications générales visent à résoudre une seule tâche. Il peut être réécrit ainsi : Une autre approche consiste à parvenir à une innovation intégrée, en concentrant tous les travaux, applications et algorithmes sur une grande plate-forme pour créer des jalons. Il se trouve qu’OpenAI fait un très bon travail d’intégration de l’innovation.

Référence :

https:// mp.weixin.qq.com/s/p42pBVyjZws8XsstDoR2Jw https://mp.weixin.qq.com/s/zmEGzm1cdXupNoqZ65h7yg https://weibo.com/1727858283/4907695679472174?wm=3333_2001&from=10D5 293 010&sourcetype=weixin&s_trans=6289897940_4907695679472174&s_channel=4 https://humanloop.com/blog/openai-plans?cnotallow=bd9e76a5f41a6d847de52fa275480e22

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!