GPT-4 devient stupide et déclenche l'opinion publique ! La qualité du code texte a diminué et OpenAI vient de répondre aux questions sur la réduction des coûts et la réduction des matériaux.

Plafond grand modèle GPT-4, est-il... devenu con ?

Au début, quelques utilisateurs ont soulevé des questions, puis un grand nombre d'internautes ont déclaré l'avoir remarqué et ont publié de nombreuses preuves.

Certaines personnes ont signalé avoir utilisé les 3 heures et 25 quotas de dialogue de GPT-4 d'un seul coup, mais cela n'a toujours pas résolu le problème. Mon propre problème de code.

Je n'avais pas d'autre choix que de passer à GPT-3.5, mais cela a résolu le problème.

Pour résumer les retours de chacun, les plus importants sont :

#🎜🎜 #Dans le passé, GPT-4 pouvait écrire du code correct, mais maintenant il est plein de bugs
• La profondeur et l'analyse des réponses aux questions sont devenues moindres
• La vitesse de réponse est plus rapide qu'avant# 🎜🎜#
• Cela a amené de nombreuses personnes à se demander si OpenAI commence à rogner sur les coûts afin de réduire les coûts ?

Il y a deux mois, GPT-4 était le plus grand assistant d'écriture au monde, il y a quelques semaines il a commencé à sombrer dans la médiocrité. Je soupçonne qu'ils ont réduit la puissance de calcul ou l'ont rendu moins intelligent.

Cela rappelle inévitablement le nouveau Bing de Microsoft, qui « est à son apogée lors de son lancement » ", mais a ensuite lamentablement échoué. L'affaire de la détérioration de la "chirurgie de lobotomie préfrontale"...

Après que les internautes aient partagé leurs expériences, il est devenu un consensus de tous que "ça a commencé à empirer quelques il y a quelques semaines".

Une tempête d'opinion publique s'est formée simultanément dans les communautés technologiques telles que Hacker News, Reddit et Twitter.

Désormais, les officiels ne peuvent plus rester assis.

L'ambassadeur de la promotion des développeurs OpenAI, Logan Kilpatrick, a répondu à la question d'un internaute :

L'API ne changera pas sans que nous vous en informions. Le modèle y est au repos.

Les internautes inquiets ont continué à demander confirmation, "C'est-à-dire que GPT-4 a est sorti depuis le 14 mars. Il est resté statique depuis sa sortie, n'est-ce pas ? », qui a également reçu une réponse positive de Logan.

"J'ai remarqué des performances incohérentes pour certains mots rapides, est-ce simplement dû à l'instabilité du grand modèle lui-même ? ? », a également obtenu la réponse « Oui ».

Mais jusqu'à présent, les deux questions de savoir si la version Web de GPT-4 a été rétrogradée n'ont pas été a répondu , et Logan a publié d'autres contenus pendant cette période.

Alors pourquoi ne pas l'essayer vous-même.

Comme les internautes ont généralement mentionné que les compétences de codage de GPT-4 se sont dégradées, nous avons mené une expérience simple.

La capacité « alchimie » mesurée du GPT-4 a-t-elle diminué ?

Fin mars, nous avons expérimenté en laissant GPT-4 "raffiner les élixirs" et en écrivant un perceptron multicouche en Python pour implémenter une porte XOR.

△Capture d'écran de ShareGPT, l'interface est légèrement différente

Laissez GPT-4 être utilisé à la place Après que numpy n'utilise pas le framework, les résultats donnés pour la première fois sont incorrects.

Après avoir modifié le code deux fois, le résultat correct a été obtenu. La première fois consiste à modifier le nombre de neurones cachés, et la deuxième fois consiste à modifier la fonction d'activation de sigmoïde à tanh.

Le 2 juin, nous avons réessayé de laisser GPT-4 terminer cette tâche, mais nous avons remplacé les mots d'invite chinois.

Cette fois, GPT-4 n'a pas utilisé le framework pour la première fois, mais le code donné était toujours erroné.

Après une seule modification, le résultat correct a été obtenu et l'idée a été remplacée par l'idée de​​lidabaifei, ce qui a directement augmenté le nombre d'époques d'entraînement et le taux d'apprentissage.

La qualité de la partie texte de la réponse n'a pas été significativement réduite, mais la vitesse de réponse semble être plus rapide.

En raison du temps limité, nous avons uniquement mené cette expérience, et en raison du caractère aléatoire de l'IA elle-même, nous ne pouvons pas nier les observations des internautes.

Certaines personnes ont signalé des commentaires dès le 19 avril

Nous avons effectué une recherche dans le canal officiel OpenAI Discord et avons constaté que depuis fin avril, des utilisateurs sporadiques ont signalé que GPT-4 s'était aggravé.

Cependant, ces retours n'ont pas déclenché de discussions à grande échelle et n'ont pas reçu de réponse officielle officielle.

Le 31 mai, Hacker News et Twitter ont commencé à discuter de cette question en grand nombre le même jour, devenant ainsi un nœud clé de tout l'incident.

Un internaute de HackerNews a souligné que l'avatar GPT-4 était plus fort lorsqu'il était encore noir, mais maintenant la version avatar violet perdra quelques lignes lors de la modification du code.

La personne qui a soulevé cette question plus tôt sur Twitter était Matt Shumer, PDG d'HyperWrite (un outil d'écriture développé sur la base de l'API GPT).

Mais ce tweet a trouvé un écho auprès de nombreux internautes, et les tweets répondus par les employés d'OpenAI visaient également cela.

Cependant, ces réponses n’ont pas satisfait tout le monde, la portée de la discussion est devenue de plus en plus large.

Par exemple, un article sur Reddit mentionnait que GPT-4, qui était à l'origine capable de répondre aux questions de code, ne peut désormais même plus dire lesquelles sont du code et lesquelles sont des questions.

Après avoir été interrogé par d'autres internautes, l'auteur du message a donné un aperçu du processus du problème et a également joint l'enregistrement du chat avec GPT.

Concernant l’affirmation d’OpenAI selon laquelle le modèle n’a pas été modifié depuis mars, il n’existe en effet aucun dossier pertinent au niveau public.

Dans le journal de mise à jour de ChatGPT, des mises à jour du modèle lui-même ont été mentionnées respectivement les 9 janvier, 30 janvier et 13 février, impliquant des améliorations de la précision factuelle et des capacités mathématiques.

Mais depuis la sortie de GPT-4 le 14 mars, il n'y a eu aucune mention de mises à jour du modèle. Il n'y a que des changements dans les ajustements des fonctions de l'application Web et l'ajout du mode réseau, du mode plug-in, de l'application Apple, etc.

En supposant que, comme l'a dit OpenAI, les capacités du modèle GPT-4 lui-même n'ont pas changé, alors pourquoi tant de gens ont-ils l'impression que ses performances se sont détériorées ?

De nombreuses personnes ont également donné leurs propres suppositions.

La première raison possible est psychologique.

François Chollet, fondateur de Keras, a déclaré que ce n'est pas que les performances du GPT se soient détériorées, mais que tout le monde a dépassé la période de surprise initiale et que ses attentes à son égard sont devenues plus élevées.

Certains internautes de Hacker News ont également partagé le même point de vue et ont ajouté que l'attention des gens avait changé et qu'ils étaient plus sensibles aux erreurs GPT.

Indépendamment des différences dans les sentiments psychologiques des gens, certaines personnes soupçonnent également que la version API et la version Web ne sont pas nécessairement cohérentes, mais il n'y a aucune preuve solide.

On suppose également que lorsque le plug-in est activé, les mots d'invite supplémentaires du plug-in peuvent être une sorte de pollution du problème à résoudre.

△Mots d'invite supplémentaires dans le plug-in WebPilot

Cet internaute a déclaré qu'à son avis, la détérioration des performances GPT a commencé après le début des tests de la fonction du plug-in.

Certaines personnes ont également demandé aux employés d'OpenAI si le modèle lui-même n'a pas changé, mais les paramètres d'inférence ont-ils changé ?

Qubit a également "torturé" accidentellement que les mots d'invite du système de ChatGPT sur iOS n'étaient pas cohérents avec la version Web.

• Si vous ouvrez une conversation sur votre téléphone mobile, il saura qu'elle interagit avec vous via votre téléphone mobile.
• Je limiterai mes réponses à une ou deux phrases, à moins qu'un long raisonnement ne soit nécessaire.
• n'utilisera pas d'émoticônes à moins que vous lui demandiez explicitement de les utiliser.

△Cela risque de ne pas réussir, et il y a une forte probabilité de refuser de répondre

Donc, si vous poursuivez une conversation ouverte dans la version iOS sur la version web sans vous en rendre compte, vous observerez peut-être que la réponse GPT-4 devient plus simple.

En bref, la question de savoir si GPT-4 est devenu plus bête depuis sa sortie reste un mystère non résolu.

Mais une chose est sûre :

Le GPT-4 auquel tout le monde a commencé à jouer depuis le 14 mars n'est pas aussi bon que celui du journal depuis le début.

S'aligner sur les humains réduit les capacités de l'IA

Le document de plus de 150 pages publié par Microsoft Research "The Spark of AGI: Early Experiments of GPT-4" indique clairement :

Ils étaient au début du développement de GPT- 4, avant qu'il ne soit terminé, j'ai obtenu la qualification de test et effectué un test à long terme.

Plus tard, pour de nombreux exemples étonnants contenus dans l'article, les internautes n'ont pas réussi à les reproduire en utilisant la version publique de GPT-4.

Il existe actuellement une opinion dans la communauté universitaire selon laquelle, bien que la formation RLHF ultérieure ait rendu le GPT-4 plus aligné sur les humains - c'est-à-dire plus obéissant aux instructions humaines et cohérent avec les valeurs humaines - il a également créé son propre raisonnement et d'autres capacités pires.

L'un des auteurs de l'article, le scientifique Microsoft Zhang Yi, a également mentionné dans le numéro S7E11 du programme de podcast chinois "What's Next｜Technology Knows Early" :

Cette version du modèle est meilleure que le GPT-4 qui est désormais accessible à tous à l'extérieur. Soyez plus fort, beaucoup plus fort.

Par exemple, l'équipe Microsoft a mentionné dans l'article qu'elle laissait GPT-4 utiliser TikZ dans LaTeX pour dessiner une licorne à intervalles réguliers afin de suivre les modifications des fonctionnalités de GPT-4.

Le dernier résultat présenté dans l'article est assez complet.

Mais le premier auteur du journal, Sébastien Bubeck, a ensuite révélé plus d'informations lors de son discours au MIT.

Plus tard, lorsque OpenAI a commencé à se concentrer sur les problèmes de sécurité, les versions suivantes sont devenues de pire en pire dans cette tâche.

Une méthode de formation alignée sur les humains mais qui ne réduit pas la limite supérieure des propres capacités de l'IA est également devenue l'orientation de recherche de nombreuses équipes, mais elle en est encore à ses balbutiements.

En plus des équipes de recherche professionnelles, les internautes passionnés par l'IA utilisent également leurs propres méthodes pour suivre l'évolution des capacités de l'IA.

Quelqu'un a demandé à GPT-4 de dessiner une licorne une fois par jour et l'a enregistré publiquement sur le site Web.

Depuis le 12 avril, je n'ai toujours pas vu la forme générale d'une licorne jusqu'à présent.

Bien sûr, l'auteur du site Web a déclaré qu'il avait laissé GPT-4 utiliser le format SVG pour dessiner des images, ce qui est différent du format TikZ dans le journal, qui a également un impact.

Et ce que j'ai dessiné en avril semble être exactement le même que ce que je dessine maintenant, et il n'y a pas de régression évidente.

Enfin, permettez-moi de demander à tout le monde : êtes-vous un utilisateur de GPT-4 ? Avez-vous senti que les capacités de GPT-4 ont diminué ces dernières semaines ? Bienvenue pour discuter dans la zone de commentaires.

Discours de Bubeck : https://www.php.cn/link/a8a5d22acb383aae55937a6936e120b0
Interview de Zhang Yi https://www.php.cn/link/764f9642ebf04622c53ebc366a68c0a7
Une licorne GPT-4 chaque jour https https://www.php.cn/link/7610db9e380ba9775b3c215346184a87

Lien de référence :
[1]https://www.php.cn/link/cd3e48b4bce1f295bd8ed1eb90eb0d85
[2] https://www.php . cn/link/fc2dc7d20994a777cfd5e6de734fe254[3]
https://www.php.cn/link/4dcfbc057e2ae8589f9bbd98b591c50a[4]
https://www.php.cn/link/0007c da8 4fafdcf42f96c4f4adb7f8ce[5]
https://www.php.cn/link/cd163419a5f4df0ba7e252841f95fcc1[6]
https://www.php.cn/link/afb0b97df87090596ae7c503f60bb23f[7]
https://www.php.cn/link/ ef8f94395be9fd78b7d0aecf7864a03[8]
https://www.php.cn/link/30082754836bf11b2c31a0fd3cb4b091[9]
https://www.php.cn/link/14553eed6ae8 02daf3f8e8c10b1961f0

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!