Dernier partage d'OpenAI Master Karpathy : Pourquoi OpenAI s'intéresse le plus aux agents IA

Andrej Karpathy, le co-fondateur d'OpenAI, a récemment prononcé un bref discours lors d'un événement pour développeurs, parlant de son point de vue interne et de celui d'OpenAI sur les agents d'IA (agents d'intelligence artificielle).

Andrej Karpathy a comparé les difficultés liées au développement d'agents IA dans le passé avec les nouvelles opportunités développées avec les nouveaux outils technologiques. Il a également plaisanté en disant que son travail chez Tesla était "distrait par la conduite autonome". mauvais agents IA.

Concernant les nouvelles opportunités, Andrej Karpathy estime qu'il est maintenant temps de revenir aux neurosciences et de s'en inspirer - tout comme ce qui s'est passé aux débuts de l'apprentissage profond.

D'un autre côté, Andrej Karpathy estime que les gens ordinaires, les entrepreneurs et les geeks ont plus d'avantages que les entreprises comme OpenAI dans la création d'agents IA. Tout le monde est actuellement en compétition sur un pied d'égalité, il attend donc avec impatience de voir les résultats à cet égard.

Il a également révélé que si un article propose une méthode de formation différente, Slack interne d’OpenAI s’en moquera, pensant qu’ils ne font que jouer au reste. Ils discuteront avec beaucoup d’intérêt des derniers articles sur les agents AI.

Ce qui suit est le texte intégral de ce partage :

Bonjour à tous.

J'ai été invité à donner quelques mots de motivation sur le thème des agents IA. Je pense que les agents IA sont très proches de moi d'une certaine manière. Permettez-moi de commencer par une histoire très ancienne. À cette époque, OpenAI ne comptait qu'une douzaine de personnes, à cette époque. en fait des agents RL (agents d'apprentissage par renforcement).

Tout le monde était vraiment intéressé par la création d'agents, mais à l'époque, c'était principalement basé sur les jeux, l'enthousiasme tournait autour des sociétés de jeux comme Atari, et mon projet chez OpenAI à l'époque essayait d'amener les agents RL à utiliser le clavier. Et utilisez la souris sur l'ordinateur, pas sur le jeu.

Je veux les rendre plus utiles et faire beaucoup de travail, ce projet s'appelle World of Bits.

Quelques collègues et moi avons finalement publié un article. Cet article n’est pas étonnant car il est essentiellement basé sur des méthodes d’apprentissage par renforcement RL. Notre page Web est très simple, permettant aux utilisateurs de réserver facilement des vols ou de commander de la nourriture.

Tout cela ne fonctionnera évidemment pas car la technologie n’est pas encore prête et il serait imprudent de faire ces choses à ce moment-là.

Il s'avère que nous devrions complètement oublier les agents IA et créer des modèles de langage.

Nous sommes de retour ici cinq ans plus tard, et j'étais un peu distrait par la conduite autonome, mais maintenant les agents IA sont à nouveau cool, et notre boîte à outils est complètement différente, et la façon dont nous abordons ces problèmes est complètement différente.

En fait, vous avez tous fait des recherches sur les agents IA, mais peut-être pas avec des méthodes d'apprentissage par renforcement. C’est fou et je ne pense pas qu’on aurait pu prévoir ça à l’époque. C'est tellement amusant.

Permettez-moi de prendre un moment pour expliquer pourquoi les agents IA sont si populaires. Je pense qu'il est clair pour beaucoup de gens que l'AGI (Intelligence Générale Artificielle) tirera pleinement parti des capacités des agents IA, pas seulement un, mais plusieurs. Peut-être qu’il y aura des organisations ou des civilisations d’entités numériques, ce que je trouve très inspirant et même un peu fou.

Cependant, je veux aussi verser de l'eau froide là-dessus. À mon avis, il existe une classe de problèmes faciles à concevoir et à démontrer dans votre esprit, mais très difficiles à transformer en un produit réel. Beaucoup de choses entrent dans cette catégorie, je pense que la conduite autonome en est un exemple.

Il est facile d’imaginer la conduite autonome et de construire une voiture de démonstration pour faire le tour du pâté de maisons, mais il faut dix ans pour en faire un produit. De la même manière, je pense que c’est la même chose pour la VR, il faudra dix ans pour que cela fonctionne.

Je pense que la même chose est vraie dans une certaine mesure pour les agents IA. Même s’il est facile de s’enthousiasmer en l’imaginant, je pense qu’il faudrait une décennie d’implication pour que cela fonctionne réellement.

L'autre chose que je voulais dire, c'est que je pense qu'il est intéressant maintenant de revenir aux neurosciences et, d'une certaine manière, de s'en inspirer à nouveau, les premières étapes de l'apprentissage profond ont été inspirées par les neurosciences.

Il est très intéressant de réfléchir à la relation entre eux, d'autant plus que je pense que beaucoup de gens considèrent les modèles de langage comme faisant partie de la solution, mais comment construire une entité numérique complète qui possède toutes les capacités cognitives d'un humain ?

Il ne fait aucun doute que nous sommes tous d’accord sur le fait que nous avons besoin d’un système sous-jacent pour planifier, réfléchir et réfléchir aux activités que nous menons, et c’est là que les neurosciences jouent un rôle important.

Par exemple, l'hippocampe est très important. Qu'est-ce qui, dans les agents IA, joue le rôle de l'hippocampe pour réaliser des fonctions telles que le stockage de la mémoire, la récupération de marques, etc. ?

Nous avons une compréhension préliminaire de la façon de construire le cortex visuel et auditif, mais il reste encore beaucoup de choses inconnues dans les agents IA.

Par exemple, à quoi ressemble le jeu visuel dans AI Agents ? A quoi correspond le thalamus, siège du subconscient chez AI Agents ?

C'est très intéressant. En fait, j'ai apporté avec moi aujourd'hui un livre de neurosciences, Brain and Behavior de David Eagleman, que j'ai trouvé très intéressant et instructif.

Peut-être devrions-nous maintenant nous tourner vers les neurosciences pour trouver une inspiration intéressante, comme nous l'avons fait auparavant, et repenser les neurones individuels.

Enfin, je veux terminer par quelques mots d'encouragement. Une chose intéressante mais pas évidente est que les agents IA que vous (en référence au public) avez construits sont en fait à la pointe des capacités contemporaines des agents IA. Toutes les grandes institutions LLM telles que OpenAI, DeFi, etc., je soupçonne qu'elles ne le sont pas. au premier plan.

Vous êtes à la pointe.

Par exemple, OpenAI est très efficace pour former de grands modèles de langage Transformer. Si un article propose une méthode de formation différente, alors la discussion au sein de notre groupe interne OpenAI Slack ressemblera à quelque chose comme, oh oui, quelqu'un l'a essayé pendant deux ans et demi, et cela n'a pas fonctionné, et nous n'en avons aucune idée. méthode. J’en connais très bien les tenants et les aboutissants.

Mais lorsque le nouveau document AI Agents sort, nous sommes tous très intéressés et pensons que c'est très cool, car notre équipe n'y a pas passé cinq ans, nous n'avons pas plus de connaissances que vous, nous travaillons avec vous. Tout le monde concourt ensemble .

C'est pourquoi je pense que vous êtes à la pointe des capacités des agents IA, ce qui est très important pour le développement des agents IA.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!