PDG d'OpenAI : L'ère des modèles géants d'IA est révolue, révèle TruthGPT de Musk

Les puissantes capacités conversationnelles génératives d’OpenAI ChatGPT ont suscité un nouvel intérêt et de nouveaux investissements dans l’IA ces derniers mois. Avec le boom de la recherche et du développement de type ChatGPT dans le pays et à l’étranger, l’IA conversationnelle et les grands modèles qui la sous-tendent deviennent de plus en plus optimistes.

Mais dans un discours vidéo du MIT la semaine dernière, le PDG d'OpenAI, Sam Altman, a fait une autre déclaration. Il a prévenu que la stratégie de recherche qui a donné naissance à ChatGPT est terminée. On ne sait pas exactement où se produiront les progrès futurs.

Au cours des dernières années, OpenAI a réalisé une série de progrès remarquables dans le domaine de l'intelligence artificielle liée au langage en prenant les algorithmes d'apprentissage automatique existants et en les adaptant à des échelles auparavant inimaginables. Le dernier développement, GPT-4, pourrait être entraîné à l’aide de milliards de mots textuels et de milliers de puces informatiques puissantes.

GPT-4 a d'excellentes performances dans une variété de tâches telles que le langage, les mathématiques, la programmation, la vision, la médecine, le droit et la psychologie. Sam Altman a déclaré que rendre le modèle plus grand (comme un modèle géant) n'apportera pas de nouveaux progrès.

Les commentaires de Sam Altman représentent un tournant inattendu dans la course au développement et au déploiement de nouveaux algorithmes d'IA. Depuis le lancement de ChatGPT en novembre de l'année dernière, Microsoft a utilisé la technologie sous-jacente pour ajouter des chatbots basés sur celle-ci dans la recherche Bing, et Google a également lancé un produit concurrent Bard. De nombreuses personnes se précipitent pour essayer de nouveaux chatbots pour les aider à accomplir des tâches professionnelles ou personnelles.

Pendant ce temps, une multitude de startups bien financées, notamment Anthropic, AI21, Cohere et Character.AI, consacrent des ressources à la création d'algorithmes toujours plus grands dans le but de rattraper OpenAI.

Cependant, les propos de Sam Altman semblent indiquer que GPT-4 pourrait être le dernier développement majeur dans la stratégie d’OpenAI consistant à développer des modèles plus grands et à leur fournir davantage de données. Cela ressort également des rumeurs liées au GPT-5 qu'il a personnellement réfutées. Il a déclaré qu'il ne s'entraînait pas actuellement sur le GPT-5 et qu'il ne s'entraînerait pas à court terme. Dans l'article décrivant GPT-4, OpenAI estime qu'il y aura des rendements décroissants pour la mise à l'échelle du modèle. Il existe également des limites physiques au nombre de centres de données qu’OpenAI peut construire et à la rapidité avec laquelle ils peuvent être construits.

En plus de la conception et de l'architecture du grand modèle lui-même, le coût énorme est également une raison majeure. Selon les rapports, ChatGPT nécessite au moins 10 000 GPU pour la formation et davantage de ressources pour assurer un fonctionnement continu. Le dernier GPU H100 de Nvidia, conçu pour l’IA et le calcul haute performance, coûte 30 603 $, ce qui est sans aucun doute cher.

Altman lui-même a admis que la formation de GPT-4 a coûté plus de 100 millions de dollars . Co-fondateur de Cohere (qui a déjà travaillé sur l'IA chez Google), Nick Frosst, dit

L'idée d'Altman selon laquelle la mise à l'échelle ne fonctionne pas toujours sonne vrai

. Il estime également que les progrès de Transformer (le type de modèle d'apprentissage automatique de base de GPT-4 et des produits concurrents) ont dépassé la portée de l'expansion. En plus d'ajouter davantage de paramètres au modèle, il existe de nombreuses autres façons de rendre le Transformer meilleur et plus utile.

Nouvelle conception ou architecture de modèle d'IA et ajustement plus précis basé sur les commentaires humains

est devenue une direction prometteuse que de nombreux chercheurs explorent déjà. Musk a nommé le projet d'IA TruthGPT

Du côté de Musk, bien qu'il se soit dit inquiet que GPT-4 cause des problèmes sociaux, il a signé un moratoire sur le développement de systèmes plus puissants que GPT-4 pour au au moins six mois. Mais la réalité est que Musk travaille sur une nouvelle startup d’intelligence artificielle, X.AI, pour concurrencer directement OpenAI.

Musk aurait acquis des dizaines de milliers de GPU auprès de Nvidia, des systèmes qui alimentent les calculs nécessaires à des tâches intensives telles que l'intelligence artificielle et le traitement graphique haut de gamme.

Musk a confirmé les informations selon lesquelles il envisageait de créer une startup d'intelligence artificielle pour concurrencer ChatGPT. Musk a annoncé ce plan dans une interview avec Fox et a déclaré : « Je vais créer une plateforme d'intelligence artificielle appelée TruthGPT, ou une intelligence artificielle qui maximise la recherche de la vérité et peut comprendre la nature de l'univers. Je pense que cela pourrait être la meilleure voie pour y parvenir. (IA), dans le sens où une IA qui se soucie de comprendre l'univers est moins susceptible d'exterminer l'humanité parce que nous sommes une partie intéressante de l'univers. a le potentiel de détruire la civilisation, aussi petite soit-elle.

Auparavant, Musk a cofondé OpenAI en 2015 avec l'actuel PDG d'OpenAI, Sam Altman, et d'autres, mais Musk a quitté le conseil d'administration de l'entreprise en 2018. Il est entendu que la raison invoquée par Musk à l'époque était d'éviter d'éventuels conflits d'intérêts avec Tesla, mais Musk a déclaré plus tard qu'il y avait d'autres raisons. Une autre raison était qu'il n'était pas d'accord avec certaines choses que faisait l'équipe OpenAI.

Par ailleurs, Semafor a rapporté en mars que Musk avait tenté de prendre la direction de l'entreprise en 2018, mais l'avait quitté après qu'Altman et d'autres l'aient rejeté.

Depuis qu'il a quitté le conseil d'administration d'OpenAI, Musk a critiqué OpenAI à plusieurs reprises. Pas plus tard qu'en février de cette année, il a également déclaré que l'OpenAI actuelle n'était pas du tout ce qu'il espérait, et a qualifié OpenAI de société contrôlée par Microsoft, à source fermée et maximisant les profits.

Face aux multiples coups de Musk, Altman a déclaré que malgré cela, il considère toujours Musk comme l'une de ses idoles, et a déclaré: "Je crois que Musk est en effet stressé par la sécurité des AGI, ce qui est compréhensible. "

Il Il convient de mentionner que ce n’est pas la première fois que Musk envisage de créer TruthGPT. Il a tweeté en février que ce dont nous avons besoin, c'est de TruthGPT.

Concernant plus de détails sur TruthGPT, Musk n'a pas divulgué plus d'informations. Nous pouvons nous attendre à plus d'informations à l'avenir.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!