Transcription supprimée du discours de Sam Altman : Open AI manque également de GPU et la réduction des coûts est l'objectif principal

1,2 milliard de dollars américains + presque toute la puissance de calcul, après que Microsoft a cédé la « demi-vie » à OpenAI.

Auteur | Lingzijun

Éditeur | Wei Shijie

#🎜🎜 La tournée européenne de #SamAltman est toujours en cours. Il n’y a pas si longtemps, il a eu une réunion privée avec le PDG de la société d’intelligence artificielle HumanLoop à Londres. HumanLoop est une société qui fournit des services pour créer des applications sur de grands modèles de langage, et son objectif est d'aider les développeurs à atteindre cet objectif.

HumanLoop, Raza Habib, PDG, a enregistré les points clés de la conversation et les a mis à disposition sur le site officiel de l'entreprise.

Mais ensuite à la demande d'OpenAI, le procès-verbal a été supprimé. Cela a en fait accru la curiosité du monde extérieur pour cette conversation. Certaines personnes pensent que certaines des idées impliquées dans OpenAI ont changé.

Après avoir parcouru les minutes de conversation supprimées, Geek Park a découvert qu'il s'agissait non seulement du plan à court terme de Sam pour OpenAI, mais également caché obtention de Microsoft Cloud Computing La pression qu'OpenAI est en cours après l'énorme soutien des ressources. Après tout, Le réglage fin et l'inférence du modèle consomment encore beaucoup de ressources informatiques. Selon The Information, le modèle Open AI a coûté 1,2 milliard de dollars à Microsoft Azure Concentrer les ressources informatiques sur la prise en charge d'OpenAI limite également les serveurs disponibles pour les autres départements de Microsoft.

À cet égard, Sam a déclaré La réduction des coûts est l'objectif principal actuel.

De plus, Sam a également révélé : Actuellement, les services tels que l'ouverture de fenêtres contextuelles plus longues et la fourniture d'API de réglage précis sont

limités par les ressources GPU  ;

Dans ce dialogue, Sam Altman a répondu à de nombreuses questions préoccupant le monde extérieur, telles que la concurrence et la commercialisation :

Malgré l'embauche d'un chef de produit de classe mondiale, Peter Deng, OpenAI n'envisagera pas de lancer d'autres produits
1.  ;
La future tendance des applications est d'intégrer les fonctions des grands modèles dans davantage d'applications, plutôt que de développer davantage de plug-ins sur ChatGPT, car en réalité, la plupart des plug-ins n'affichent pas PMF (Product/Market Fit, c'est-à-dire adéquation au marché du produit) );
Au cours des dernières années, OpenAI a fait évoluer ses modèles des millions de fois, mais ce rythme n'est pas durable. Ensuite, OpenAI continuera d'augmenter la taille du modèle à un rythme de 1 à 3 fois pour améliorer les performances du modèle.

Le procès-verbal de la conversation a été rendu public le 29 mai et a été supprimé vers le 3 juin selon les archives des internautes. Voici ce que vous obtenez de la sauvegarde :

01

OpenAI est actuellement concerné par

Sérieuses limitations du GPU

Alors que la conversation s'élargit,

Les ressources informatiques nécessaires augmentent de façon exponentielle

Actuellement, les GPU d'OpenAI sont très limités, ce qui retarde bon nombre de leurs projets à court terme. Les plus grandes plaintes des clients concernent la fiabilité et la rapidité de l’API. Sam a reconnu leurs inquiétudes et a expliqué que

la plupart des problèmes étaient dus à des pénuries de GPU.

Le contexte 32k plus long ne peut pas encore être déployé auprès d'un plus grand nombre de personnes OpenAI n'a pas surmonté l'échelle d'attention O(n^2) et donc, même si cela semblait plausible, ils le feraient. avoir bientôt 100 000 à 1 million de fenêtres contextuelles de jetons (cette année), quelque chose de plus grand nécessiterait une percée en matière de recherche .

Le contexte 32K plus long ne peut pas encore être proposé à davantage de personnes. OpenAI n'a pas encore surmonté le problème de mise à l'échelle O (n ^ 2) du mécanisme d'attention, même s'il semble qu'ils disposeront bientôt d'une fenêtre contextuelle de 100 000 à 1 million de jetons (cette année). Toute fenêtre plus grande nécessiterait des percées en matière de recherche.

Remarque : O (n^2) signifie qu'à mesure que la longueur de la séquence augmente,

Les ressources informatiques nécessaires pour effectuer les calculs d'attention augmentent de façon exponentielle. O est utilisé pour décrire la limite supérieure ou le pire des cas du taux de croissance de la complexité temporelle ou spatiale de l'algorithme (n^2) signifie que la complexité est proportionnelle au carré de la taille d'entrée ;

L'API de réglage fin est également actuellement limitée par la disponibilité du GPU. Ils n'ont pas utilisé de méthodes de réglage fin efficaces comme les adaptateurs ou LoRa, donc exécuter et gérer (le modèle) avec un réglage fin nécessite beaucoup de calculs. Un meilleur support pour le réglage fin sera fourni à l'avenir. Ils pourraient même héberger un marché communautaire pour les contributions des modèles.

La fourniture de capacité dédiée est soumise à la disponibilité du GPU. OpenAI offre une capacité dédiée pour fournir aux clients des copies privées des modèles. Pour obtenir le service, les clients doivent être prêts à engager 100 000 $ à l'avance.

02

La récente feuille de route d'OpenAI

2023, réduisez les coûts intelligents

2024, démonstration limitée de multi-modalité

Sam a également partagé ce qu'il considère comme une feuille de route provisoire à court terme pour l'API OpenAI.

2023:

• GPT-4 moins cher et plus rapide ーーC'est leur priorité absolue. Dans l'ensemble, l'objectif d'OpenAI est de réduire autant que possible le « coût de l'intelligence », ils travailleront donc dur pour continuer à réduire le coût de l'API au fil du temps.
• Fenêtre contextuelle plus longueーーDans un avenir proche, la fenêtre contextuelle pourrait atteindre 1 million de jetons.
• API Nudge ーL'API Nudge sera étendue aux derniers modèles, mais la forme exacte dépendra des développeurs indiquant ce qu'ils veulent réellement.
• Une API avec état - Lorsque vous appelez l'API de chat aujourd'hui, vous devez parcourir le même historique de conversation encore et encore, en payant les mêmes jetons encore et encore. Il y aura une future version de l'API qui mémorisera l'historique des sessions.

2024 :

Multimodalité - Ceci est en cours de démonstration dans le cadre de la version GPT-4, mais ne s'adaptera pas à tout le monde jusqu'à ce que davantage de GPU soient mis en ligne.

03

Prévision et réflexion en matière de commercialisation :

Plug-in "Pas de PMF",

Ne sera probablement pas dans l'API de sitôt

De nombreux développeurs sont intéressés par les plugins ChatGPT avec accès API, mais Sam a déclaré qu'il ne pensait pas que ces plugins seraient publiés de si tôt. En plus du plugin Brosing, l'utilisation d'autres plugins indique qu'il n'y a pas encore de PMF (Product/Market Fit). Il souligne que beaucoup de gens pensent qu'ils veulent que leurs applications soient dans ChatGPT, mais ce qu'ils veulent vraiment, c'est que ChatGPT existe au sein de l'application.

04

Sauf ChatGPT,

OpenAI évitera de rivaliser avec ses clients

Les grandes entreprises les ont toutes

Une application qui tue

De nombreux développeurs se disent nerveux à l'idée de développer à l'aide de l'API OpenAI, car OpenAI pourrait éventuellement publier des produits compétitifs avec eux. Sam a déclaré : OpenAI ne publiera plus de produits en dehors de ChatGPT. Historiquement, a-t-il déclaré, les grandes entreprises de plateforme ont une application qui tue. ChatGPT permettra aux développeurs d'améliorer l'API en devenant clients de leurs propres produits. La vision de ChatGPT est de devenir un assistant de travail super intelligent, mais il existe de nombreux autres cas d'utilisation de GPT qu'OpenAI ne couvrira pas.

05

Besoin de supervision,

Mais pas maintenant

「Combien de personnes et d'entreprises j'aime

Je doute de la capacité à contenir de grands modèles”

Bien que Sam appelle à une réglementation des futurs modèles, il ne pense pas que les modèles existants soient dangereux et pense que les réglementer ou les interdire serait une grave erreur. Il a une fois de plus souligné l'importance de l'open source et a déclaré qu'OpenAI envisageait de rendre GPT-3 open source. Ils ne sont pas encore open source, en partie parce qu'il est sceptique quant au nombre d'individus et d'entreprises capables de détenir et de servir de grands modèles de langage (LLM).

06

La loi d'échelle s'applique toujours

Vitesse d'expansion des millions de fois en quelques années,

Ça ne peut pas durer éternellement

De nombreux articles ont récemment affirmé que « l’ère des modèles géants d’IA est révolue ». Ce n’est pas exact. (Remarque : lors d'un événement au MIT en avril, Sam Altman a déclaré : Nous approchons maintenant de la fin de l'ère des modèles géants.)

Les données internes d'OpenAI montrent que la loi d'échelle pour les performances du modèle s'applique toujours et l'augmentation de la taille du modèle continuera d'améliorer les performances.

Depuis que OpenAI a étendu ses modèles des millions de fois en quelques années seulement, ce taux d'expansion ne peut pas être soutenu. Cela ne signifie pas qu’OpenAI ne continuera pas à essayer d’agrandir les modèles, mais cela signifie qu’au lieu d’augmenter de plusieurs ordres de grandeur, leur taille doublera ou triplera probablement chaque année.

La loi d'échelle en vigueur a des implications importantes sur les délais de développement d'AGI. La loi de l'échelle suppose que nous disposons probablement déjà de la plupart des éléments nécessaires pour construire l'AGI, et que le travail restant consiste principalement à adapter les méthodes existantes à des modèles et des ensembles de données plus grands. Si l’ère de l’échelle est derrière nous, nous serons peut-être encore plus loin de l’AGI. Le fait que la loi d’échelle continue de s’appliquer laisse fortement présager un calendrier plus court.

Une question d'un geek

Que pensez-vous d'OpenAI

Quelle est la récente feuille de route technique ?

Vidéos chaudes

La version complète de l'affichage du produit Apple Vison Pro dévoilée ! Aucun matériel requis, voyez-vous. Mélangez harmonieusement le monde numérique et le monde réel !

Aimez et suivezCompte vidéo Geek Park,

Regardez d'autres vidéos passionnantes

Lire la suite

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!