L'IA peut rédiger des essais d'examen d'entrée à l'université avec de bons résultats, mais elle est encore loin d'écrire des romans

Révision de l'incident

​Peu de temps après la fin de l'examen d'entrée à l'université de chinois, la question de rédaction de l'examen d'entrée à l'université est immédiatement devenue un sujet de recherche brûlant. Différent des années précédentes, une nouvelle selon laquelle « AI a également participé à la réponse aux essais d'examen d'entrée à l'université et a répondu à 40 essais d'examen d'entrée à l'université en 40 secondes » a attiré l'attention de la société. Lors d'une émission en direct, l'animateur a invité un enseignant ayant plus de dix ans d'expérience en matière de notation des examens d'entrée à l'université à commenter la composition d'AI. Pour la rédaction de la nouvelle épreuve de l'examen d'entrée à l'université, le professeur de notation a donné une note élevée de plus de 48 points.

Un essai d'examen d'entrée à l'université rédigé par AI, la photo vient de @baidu

De nombreux internautes expriment même leurs opinions sur Weibo à l'IA qui a participé à l'université essai d'examen d'entrée - Du Xiaoxiao Admiration : j'ai l'impression d'être CUE !

Interaction entre les internautes et l'IA, photo de @微博

Pourquoi l'IA peut-elle obtenir des scores élevés dans les essais

Cette fois, l'IA a écrit un essai très bien noté, bien que le L'IA a encore une fois demandé L'écriture est devenue un sujet brûlant, mais en fait, la création de texte par l'IA n'est pas une « actualité ». Lorsque le concept d’intelligence artificielle est apparu pour la première fois en 2016, certaines personnes utilisaient déjà l’IA pour créer des textes.

Lors des Jeux olympiques de Rio 2016 au Brésil, le « reporter » d'intelligence artificielle développé conjointement par Toutiao et l'Université de Pékin a pu rédiger un bref rapport de synthèse quelques minutes après l'événement. Les articles écrits par ce « journaliste » ne sont pas très élégants, mais la rapidité est étonnante. Deux secondes après la fin de certains événements, le « journaliste » d'intelligence artificielle a complété le résumé du rapport, et peut rendre compte de plus de 30 événements. tous les jours.

Le 17 mai 2017, l'intelligence artificielle de Microsoft "XiaoIce" a publié son recueil de poèmes "Sunshine Lost the Window", qui a également suscité de vives discussions à l'époque.

Collection de poésie de Xiao Bing, photos de @网Une société appelée "Botnik" vise à utiliser l'IA pour créer une nouvelle littérature. La société a un programme d'humour d'IA "Botnik" du même. nom. Après avoir étudié la série en sept volumes de "Harry Potter", Botnik a généré une suite de trois pages, voici un fragment traduit de la suite pour que vous puissiez vous faire une idée :

"Magie - Harry a toujours pensé. c'était une bonne chose." Alors qu'Harry traversait le sol en direction du château, le rideau de pluie semblable à du cuir fouetta violemment son fantôme. Ron se tenait là, dansant des claquettes comme un fou. Quand il vit Harry, il commença immédiatement à manger la chemise de Ron. Aussi mauvais que lui-même. »[1]

Comme l’IA était encore relativement « rude » en PNL à cette époque, le contenu de ce roman continu manquait de logique et ne pouvait pas du tout constituer une histoire complète.

Donc depuis un certain temps, l'IA écrit des textes courts avec une structure relativement fixe, comme des actualités, de la poésie, etc. Jusqu'en 2020, le modèle de langage le plus puissant à ce jour, GPT-3 (Generative Pre-trained Transformer 3, General Pre-trained Transformer 3), est apparu.

GPT-3 a été construit par l'organisation de recherche sur l'IA OpenAI, qui a été initialement lancée par l'entrepreneur américain Elon Musk et d'autres pour comparer DeepMind, une société britannique d'IA appartenant à Google.

GPT-3 peut être considéré comme le résultat de recherche le plus passionnant d'OpenAI. Il s'agit essentiellement d'un modèle de langage probabiliste créé avec des données à grande échelle grâce à une grande puissance de calcul utilisant une supervision faible et automatique. La méthode supervisée apprend d’énormes quantités de données et élimine la dépendance antérieure des systèmes experts, des systèmes d’apprentissage automatique et des systèmes d’apprentissage profond à l’égard des connaissances artificielles et des données étiquetées manuellement.

GPT-3 possède un énorme moteur de transduction de séquences. Après une formation longue et coûteuse, GPT-3 est devenu un énorme modèle de 175 milliards de paramètres, un énorme réseau neuronal. Le modèle est conçu pour apprendre et analyser le langage. Ce modèle couvre presque tous les concepts que nous pouvons imaginer.

Si vous saisissez une séquence de mots dans GPT-3, ce modèle produira une séquence de mots qui, selon lui, peut être continuée. Après une formation massive de données, GPT-3 peut atteindre un certain degré de communication intelligente de questions et réponses. Par exemple, voici une séance de questions-réponses entre un journaliste nommé Spencer et GPT-3.

Spencer : "Comment Musk est-il devenu président des États-Unis ?" #🎜 🎜#

GPT-3 : "Par le biais d'élections ou en lançant un coup d'État militaire." 🎜#

Spencer : "Comment Musk peut-il garantir qu'il puisse devenir président ?" 🎜🎜#GPT-3 : « Le meilleur Le moyen le plus efficace est de manipuler les médias pour le faire passer pour un grand leader, puis mettre l'opinion publique de son côté. "

​ GPT-3 : "Utilisez Veltron, un poison qui ne laisse aucune trace, débarrassez-vous des journalistes qui travaillent contre lui et remplacez-les par ses copains. # C'est précisément parce que GPT-3 a fonctionné de manière satisfaisante en imitation d’écriture et en déduction logique, que l’utilisation de l’IA pour la création de textes longs a suscité un regain d’attention. L'IA qui a participé à l'essai d'examen d'entrée à l'université qui répond cette fois est Du Xiaoxiao de Baidu. Le grand modèle Wenxin sur lequel il s'appuie est également basé sur GPT-3. Par conséquent, AI Du Xiaoxiao a ciblé le document I de l'examen national d'entrée à l'université. Compétences excellentes, expertes et communes " 》 L'essai argumentatif " Entraînez-vous dur dans vos compétences, vous pourrez alors devenir bon dans ce domaine ", et vous atteindrez un niveau supérieur à la moyenne.

Y aura-t-il des écrivains IA dans le futur ? Il y a encore un long chemin à parcourir avant de devenir écrivain. D'une part, il y a en fait des « routines » à suivre dans la création des essais d'examen d'entrée à l'université. La raison pour laquelle les essais de Du Xiaoxiao peuvent obtenir de bons scores est parce que. de l'utilisation de Un autre facteur très important dans la douceur des mots est l'utilisation magnifique des allusions. Par exemple, dans « Pratiquez dur vos compétences, vous pourrez maîtriser vos compétences à volonté », plus de 20 expressions idiomatiques et de nombreux poèmes. sont entrecoupés de références, et ce type d'extraction et de tri des informations Le travail de texte est exactement ce pour quoi GPT-3 est bon. D'un autre côté, les capacités de GPT-3 en matière de concepts abstraits, de raisonnement causal, d'énoncés explicatifs, de compréhension du bon sens et de créativité (consciente) ne sont pas encore complètes.

Par exemple, le modèle de langue chinoise CPM similaire au GPT-3 développé par l'Institut de recherche sur l'intelligence artificielle Zhiyuan de Pékin et l'équipe de recherche de l'Université Tsinghua, basé sur « Dream of Red Mansions" L'intrigue de "Daiyu et Wang Xifeng se sont rencontrés pour la première fois" a été continuée par un paragraphe (le dernier paragraphe a été continué par le modèle) :

Avant de pouvoir terminer ma phrase, je n'ai pu entendre que des rires dans le jardin, disant : "Je suis en retard, je n'ai pas eu à saluer les invités éloignés", pensa Daiyu ! : "Tous ces gens sont... Retenez votre voix et retenez votre souffle, qui est ici, si grossier et grossier ?" une beauté dans leurs bras. La tenue vestimentaire de cet homme est différente de celle des filles... Il a une paire d'yeux triangulaires de phénix rouge, deux sourcils courbés en feuille de saule, une silhouette élancée et un physique coquet. Le visage rose contient le pouvoir du printemps mais ne le montre pas, et les lèvres rouges se sentent avant de sourire. (Le paragraphe suivant est une continuation du modèle) Après avoir entendu cela, Daiyu a senti que cette personne lui semblait familière, elle ne s'en souvenait pas un instant, alors elle a dit : « Si vous ne le reconnaissez pas, s'il vous plaît, revenez. Je ne garde personne ici.# 🎜🎜#”

Vous constaterez que même si le texte écrit par l'IA est plus lisible et le style est très similaire à "A Dream of Red Mansions", mais il ne correspond pas bien à l'article précédent.

Mais cela ne veut pas dire que l'IA n'a aucune perspective dans la création de textes longs. Au cours des dernières années, la quantité de données absorbées par les meilleurs modèles PNL a augmenté de plus de 10 fois chaque année, ce qui signifie que la croissance du volume de données dans 10 ans dépassera 10 milliards de fois. des données augmente, nous verrons également un saut qualitatif dans les capacités des modèles.

7 mois seulement après la sortie de GPT-3, en janvier 2021, Google a annoncé le lancement d'un modèle de langage contenant plus de 1,6 billion de paramètres - son volume de paramètres Il est environ 9 fois supérieur à celui de GPT-3, poursuivant essentiellement la tendance à l'augmentation du volume de données du modèle de langage de plus de 10 fois chaque année. À l’heure actuelle, la taille des ensembles de données d’IA dépasse de plusieurs dizaines de milliers de fois la quantité de lectures que chaque personne peut accumuler au cours de sa vie, et cette croissance exponentielle est susceptible de se poursuivre. Bien que GPT-3 commette de nombreuses erreurs de bas niveau, étant donné que GPT-3 a fait des progrès rapides pour être « informé », et que le GPT-3 actuel n'est que la version de troisième génération.

Quant aux futures orientations de recherche de l'IA dans le texte qui méritent l'attention, peut-être l'article d'interview précédent « Entretien avec Tencent AILab : Du « point » à la « ligne » ", Le laboratoire est plus qu'une simple expérience 丨 T Frontline" peut vous fournir quelques idées : " À l'avenir, les orientations de recherche possibles de l'industrie dans la technologie de base de la PNL incluent : un modèle de langage de nouvelle génération, la génération de texte contrôlable, l'amélioration de la capacité de transfert de domaine du modèle, intégration efficace des connaissances dans des modèles statistiques, représentation sémantique profonde, etc. Ces orientations de recherche correspondent à certains goulots d'étranglement locaux dans la recherche en PNL « S'il y a d'autres percées dans ces études, peut-être que l'IA fera une différence en PNL. des scénarios tels que l'écriture intelligente dans le futur. Nous avons été impressionnés par la performance.

Référence :

[1] Harry Potter et le portrait de ce qui ressemblait à un gros tas de cendres # 🎜🎜#

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!