Sam Altman parle d'OpenAI : face à la panique liée à la pénurie de GPU, GPT-3 pourrait être open source

Depuis l'avènement de ChatGPT, les grands modèles et la technologie de l'IA ont attiré une large attention dans le monde entier. D’un côté, les gens s’émerveillent devant les capacités émergentes des grands modèles ; de l’autre, ils s’inquiètent de la contrôlabilité et du développement futur de l’intelligence artificielle. Cette année, de nombreux experts dans le domaine de l'IA, dont Geoffrey Hinton et Yoshua Bengio, lauréats du prix Turing, ont averti conjointement que les grands modèles d'IA entraîneraient une série de risques, et certains ont même appelé à l'arrêt du développement de grands modèles ultérieurs. Modèles d'IA pour GPT-4.

OpenAI, en tant qu'entreprise à l'origine de grands modèles tels que ChatGPT et GPT-4, a sans aucun doute été poussée au premier plan. Le PDG d'OpenAI, Sam Altman, effectue actuellement une tournée mondiale de conférences pour dissiper la « peur » des gens à l'égard de l'intelligence artificielle et écouter les opinions des développeurs et des utilisateurs des produits OpenAI. En mai, Sam Altman et certains développeurs que j'ai rencontrés à huis clos avec les fondateurs de startups et ont parlé de la feuille de route et des défis d'OpenAI. L’un des participants à cette réunion à huis clos, Raza Habib, co-fondateur et PDG de Humanloop, a récemment évoqué les goulots d’étranglement de planification et de développement des produits OpenAI dans un blog.

Le blog d'origine a été supprimé, mais certains internautes ont mis en ligne un instantané du blog (copie). Jetons un coup d'œil au contenu spécifique du blog : #🎜🎜. #

Le plus gros problème auquel OpenAI est actuellement confronté est qu'il est limité par le GPU

Actuellement, OpenAI est confronté à de très graves limitations du GPU, ce qui a également retardé la mise en œuvre de certains de leurs projets à court terme. De nos jours, les plaintes des clients les plus courantes concernent la fiabilité et la rapidité des API. Sam a reconnu le problème, expliquant que la plupart des problèmes dont les clients se plaignaient étaient dus à des pénuries de GPU.

En ce qui concerne le traitement du texte, le contexte plus long de 32k n'est pas encore disponible pour un plus grand nombre de personnes. Maintenant, OpenAI n'a pas complètement surmonté le problème d'expansion O (n ^ 2) du mécanisme d'attention. Bien qu'OpenAI semble être capable d'atteindre bientôt un traitement de texte de 100 000 à 1 million de fenêtres contextuelles de jetons (au cours de cette année), des fenêtres de traitement de texte plus grandes nécessitent des progrès supplémentaires. . les avancées de la recherche.

Non seulement cela, mais actuellement, l'API de réglage fin est également limitée par l'offre de GPU. OpenAI n'utilise pas encore de méthodes de réglage efficaces telles que les adaptateurs ou LoRa, le réglage fin nécessite donc beaucoup de calculs à exécuter et à gérer. Sam a révélé qu'une meilleure technologie de réglage sera introduite à l'avenir et qu'elle pourrait même fournir une communauté dédiée aux modèles de recherche.

De plus, la fourniture de capacité dédiée est également limitée par l'offre de GPU. OpenAI offre également une capacité dédiée, offrant aux clients une copie privée de leur modèle. Pour utiliser le service, les clients doivent être prêts à engager 100 000 $ d'avance.

La récente feuille de route d'OpenAI

Au cours de la conversation, Sam a partagé la récente feuille de route de l'API OpenAI, qui est principalement divisée en deux étapes : # 🎜🎜 #

En route vers 2023 :

La priorité d'OpenAI est de lancer GPT-4 moins cher et plus rapide - Dans En général, l'objectif d'OpenAI est de réduire autant que possible le coût de l'intelligence, de sorte que le coût de l'API diminuera avec le temps.

Fenêtre contextuelle plus longue - Dans un avenir proche, la fenêtre contextuelle pourrait atteindre 1 million de jetons.

API Nudge - L'API Nudge sera étendue aux derniers modèles, mais sa forme exacte sera déterminée par les développeurs.

• API de statut - Désormais, lorsque vous appelez l'API de chat, vous devez parcourir le même historique de session encore et encore et payer pour le même jeton encore et encore. Une future version de l'API pourra mémoriser l'historique des sessions.
• Route 2024 :
• Multimodal - Ceci fait partie de la version GPT-4. Prêt pour la démo , mais pas évolutif pour tout le monde jusqu'à ce que davantage de GPU soient mis en ligne.
• Le plugin n'a pas de PMF et n'apparaîtra pas prochainement dans l'API
• De nombreux développeurs s'inquiètent de l'accès à ChatGPT via l'API Il y a un intérêt pour les plugins, mais Sam a dit qu'il ne pense pas qu'ils seront publiés de si tôt. L'utilisation de plugins autres que la navigation suggère qu'ils n'ont pas encore PMF. Sam a souligné que de nombreuses personnes souhaitent que leurs applications soient dans ChatGPT, mais ce qu'elles veulent vraiment, c'est ChatGPT dans l'application.

OpenAI évitera de rivaliser avec ses clients autrement que par concurrence avec ChatGPT-like

De nombreux développeurs disent que lorsqu'OpenAI lance de nouveaux produits, ils se sentent nerveux à l'idée des applications créées à l'aide de l'API OpenAI, car OpenAI pourrait éventuellement publier un produit qui leur concurrencerait. . Sam a déclaré qu'OpenAI ne lancerait pas d'autres produits que ChatGPT. Il a déclaré qu'il existe de nombreuses grandes entreprises de plate-forme qui disposent d'une application géniale, et ChatGPT leur permettra d'améliorer leurs API en devenant clients de leurs propres produits. La vision de ChatGPT est d'être un assistant de travail super intelligent, mais il existe de nombreux autres cas d'utilisation de GPT dans lesquels OpenAI n'abordera pas.

La réglementation est nécessaire, mais l'open source l'est aussi

Bien que Sam plaide en faveur d'une réglementation des futurs modèles, il ne croit pas que les modèles existants soient dangereux et estime que les réglementer ou les interdire serait une énorme erreur problématique. Il a une fois de plus souligné l'importance de l'open source et a déclaré qu'OpenAI envisageait l'open source GPT-3. Une partie de la raison pour laquelle OpenAI a mis du temps à devenir open source est qu'ils estiment que peu de personnes et d'entreprises ont la capacité de gérer correctement des modèles de langage aussi vastes.

La loi de la mise à l'échelle existe toujours

De nombreux articles affirmaient récemment que "l'ère des modèles géants d'IA est révolue". Sam a dit que cela ne traduisait pas exactement ce qu'il voulait dire.

Les données internes d'OpenAI montrent que la loi de la mise à l'échelle est toujours valable et que l'augmentation de la taille du modèle continuera d'améliorer les performances. Cependant, la taille du modèle ne peut pas toujours augmenter à la même échelle, car OpenAI a déjà augmenté la taille du modèle des millions de fois en quelques années seulement, et continuer dans cette voie ne serait pas durable. Mais cela ne signifie pas qu’OpenAI cessera d’essayer d’agrandir ses modèles, mais cela signifie que leur taille pourrait doubler ou tripler chaque année au lieu de croître de plusieurs ordres de grandeur.

Le fait que le modèle étendu soit toujours valable a des implications importantes pour le développement de l'AGI. L'idée de la mise à l'échelle est que nous disposons probablement déjà de la plupart des éléments nécessaires pour construire une AGI, et une grande partie du travail restant consistera à utiliser les méthodes existantes et à les adapter à des modèles et des ensembles de données plus grands. Si l’ère des extensions de modèles est révolue, il faudra encore plus de temps avant d’atteindre l’AGI. Le fait que la loi de l’échelle s’applique toujours implique que nous atteindrons l’AGI en moins de temps.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!