Tian Yuandong : Quelques réflexions sur GPT-4

OpenAI a publié GPT-4 hier, et c'était vraiment bien après l'avoir essayé.

En termes de génération d'histoires, qui me préoccupe principalement, par rapport aux histoires générées par ChatGPT, GPT-4 a un meilleur style d'écriture et plus de détails, et est meilleur pour les descriptions vives et spécifiques, et l'intrigue a commencé à prendre des tournures intéressantes. Bien sûr, certains des problèmes de ChatGPT, tels que le manque de mise en page générale et de capacité de planification d'histoire, les personnages ne sont pas proéminents, le développement narratif est ennuyeux, le paragraphe de suite se terminera rapidement par une fin médiocre, etc., existent toujours. sur GPT-4.

À en juger par son rapport de performance, par rapport au GRE verbal qui est proche du score complet, l'écriture GRE n'a que 4 points, et l'écriture anglaise Advanced Placement n'a que 2 points (passant 3 points), et du GPT-3 à 4 je ne sais pas si le manque de progrès est lié à ces problèmes.

Mais quoi qu'il en soit, GPT-4 peut déjà nous aider à faire beaucoup de travail quotidien. Dix ans seulement se sont écoulés depuis que l’apprentissage profond a commencé à exploser en 2013. Nous disposons d’outils si puissants, et on peut dire que leur vitesse d’évolution dépasse l’imagination.

En 2017, pourquoi certains étudiants en mathématiques n'aiment pas et même méprisent le Deep Learning ? Cette réponse contenait des suppositions audacieuses, telles que "J'ai tâtonné pendant la longue nuit et le soleil n'est pas encore apparu." Il semble maintenant que ces prédictions soient généralement correctes, mais je ne m'attendais pas à ce que ce jour arrive ainsi. bientôt.

Une fois qu'une technologie devient un outil universel comme le calcul, on peut s'attendre aux énormes changements qu'elle apportera.

Si nous adoptons une vision à plus long terme, que se passera-t-il dans le futur ?

J'ai également eu quelques réflexions autour de 2020 et je les ai mises dans mes propres romans de science-fiction. En général, si cette tendance se développe à l'extrême, et que même la fabrication de produits physiques peut être entièrement automatisée à l'aide de matériaux locaux, alors le résultat final sera « ce que vous pensez être ce que vous obtenez » : pour autant que vous puissiez concevoir un chose, elle apparaîtra devant vous à un coût très faible.

Tant que le travail le plus répétitif pourra être copié sans limite par des machines, sa valeur tombera à presque zéro et deviendra un bien public omniprésent comme l'eau et l'air.

Dans ces conditions, la « singularité » deviendra une valeur et un sens que chacun chérit. Peut-être qu’à l’avenir, le principal facteur pour juger les talents ne sera plus l’obtention d’un diplôme ou la réussite d’un examen, mais l’examen de l’expérience et des réalisations personnelles.

« Faire mieux que les autres avec le même objectif » est unique, et « aller dans une direction que personne n'a jamais prise auparavant » est également unique. Cela inclut non seulement les réalisations académiques reconnues par les pairs, telles que la résolution de problèmes que personne ne peut résoudre et la création et l'exploration d'une nouvelle orientation académique, mais inclut également des expériences, des idées, des modes de pensée et même trois points de vue uniques, comme celui d'une personne. marchant avec des béquilles. Un programmeur qui a exploré l'Antarctique, quelles vues, idées et idées aura-t-il sur le monde ? Comment un étudiant en histoire qui a autrefois fabriqué une fusée artisanale pour aller sur la Lune a perdu le contrôle et a été miraculeusement sauvé, racontera-t-il cette expérience dans son autobiographie ?

Ces droits à la parole étroitement associés à des caractéristiques personnelles permettront à chacun d'occuper une niche écologique unique dans la société humaine et de devenir le point d'ancrage ultime des « êtres humains ». Même si la conscience peut être téléchargée et que des jumeaux numériques peuvent être réalisés à l'avenir, cette personnalité unique ne peut pas être copiée - tant que le même individu devient deux et commence à recevoir différentes stimulations de signaux externes, ses états internes changeront en fonction. mise à jour, la trajectoire commencera à diverger, la rendant à nouveau unique.

En général, chacun prouve ses choix à travers son propre « Tao », et accumule ses propres caractéristiques uniques en raison des choix passés. Il est impossible de juger à l’avance qui est meilleur que qui, car le calcul de cette fonction de jugement lui-même nécessite que les individus suivent leur propre voie. Et lorsque d'innombrables personnes qui insistent sur leurs propres orientations se réunissent, diverses idées merveilleuses continueront à émerger. Certaines d'entre elles se sont avérées correctes dans la pratique, ce qui affectera les autres et attirera des adeptes. Et un monde diversifié et inclusif qui inclut tous ces individus sera plein de motivation pour progresser.

Je vais trop loin.

Pour les chercheurs, que signifie l’émergence du GPT-4 ?

Nous avons deux choix extrêmes. Le premier est de fermer la porte, sans écouter ni regarder, en utilisant l'ancienne inertie de la pensée pour concevoir l'itinéraire de recherche, et continuer à publier le prochain article ; Maintenant, abandonnez les idées de recherche précédentes, déchirez tous les manuels et croyez que la puissance de calcul est reine, que les grands modèles et les mégadonnées sont tout.

Je pense que ces deux attitudes ne sont pas souhaitables. Le paradigme de la recherche doit changer. Il ne s’agit plus de découvrir des connaissances spécifiques, mais d’étudier le mécanisme de l’apprentissage modèle et de rechercher l’origine de sa capacité d’apprentissage. Par exemple, grâce à une formation massive sur les données, les modèles existants peuvent apprendre automatiquement de nombreux concepts.

Mais comment le modèle apprend-il ce concept ? Pourquoi les grands modèles apprennent-ils plus vite et mieux ? Comment est-il découvert à partir des données, capturées par le modèle et continuellement renforcées pendant la formation ? Comment se forment les concepts avancés ? Comment les modèles existants capturent-ils ces concepts, et avec quel mécanisme ? Je pense que ces orientations de recherche fondamentale peuvent être véritablement significatives à long terme, et qu'elles constituent également le débouché final pour véritablement transformer la métaphysique de « l'intelligence artificielle » en science.

Bien sûr, il faut dire que celles-ci sont considérées sur une échelle de décennies. Pour faire ces études, vous avez besoin de beaucoup de connaissances de base, de suffisamment de patience et d'être capable d'accepter de nouvelles choses qui dépassent les vôtres. portée cognitive. Il peut être intégré dans le flux de travail et les idées de recherche originales.

Cela peut être considéré comme mon unique "Dinghai Shenzhen" en matière de recherche, et j'espère continuer.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!