Fudan publie la version chinoise de ChatGPT : MOSS commence les tests et lance des recherches à chaud, les serveurs sont surpeuplés

ChatGPT est l'IA la plus avancée et l'application la plus populaire - depuis sa sortie fin novembre de l'année dernière, ses utilisateurs actifs mensuels ont dépassé les 100 millions en deux mois, se classant facilement au premier rang du taux de croissance des utilisateurs dans l'histoire du Internet mondial.

C'est aussi une technologie à seuil élevé. En raison des ressources informatiques importantes et des coûts d'étiquetage élevés requis pour le processus de formation de ChatGPT, il n'existe actuellement aucun produit similaire ouvert au public en Chine. Les grandes sociétés Internet telles que Baidu, Alibaba et JD.com ont toutes annoncé qu'elles étaient en train de construire un « ChatGPT domestique » et qu'elles le publieraient dans un avenir proche.

Avant que les produits des grands fabricants ne soient en place, la communauté universitaire avait les nouvelles en premier. Dans la soirée du 20 février, le laboratoire de traitement du langage naturel de l'université de Fudan a publié MOSS, un modèle de langage doté des capacités ChatGPT, et a invité le public à des tests internes.

• Lien de l'expérience MOSS : https://moss.fastnlp.top/
• Page d'accueil du projet MOSS : https://txsun1997.github.io/blogs/moss.html

Le nom de MOSS vient du film "The Wandering Earth". Aussi populaire que le film, les nouvelles publiées par MOSS ont rapidement atteint le sommet de la liste de recherche chaude sur Zhihu et d'autres plateformes.

Cependant, contrairement à la science-fiction, l'IA du monde réel n'a pas encore la bénédiction des ordinateurs quantiques Cela ne fait pas 24 heures depuis son ouverture. En raison d'une pression d'accès instantanée excessive, le serveur MOSS a été mis à jour. débordé hier soir, ce qui montre à quel point les attentes de chacun sont élevées en matière de modèles de langage génératifs.

Selon des chercheurs de l'Université de Fudan, il est actuellement en test interne et est optimisé de manière itérative pour l'interaction des utilisateurs et n'est pas adapté aux tests publics.

Nous savons que le traitement du langage naturel est l'un des plus grands défis dans le domaine de l'IA. Bien que des avancées aient déjà eu lieu, la nouvelle recherche Bing lancée ce mois-ci et le produit concurrent BARD publié par Google, ont été testés de temps en temps. Des questions se poseront : quel est le niveau MOSS de l'Université de Fudan ?

Parlez à MOSS, quel est votre niveau ?

Les fonctions de base de MOSS sont similaires à ChatGPT. Il peut effectuer diverses tâches de traitement du langage naturel selon les instructions saisies par l'utilisateur, notamment la génération de texte, le résumé de texte, la traduction, la génération de code, le chat, etc. Pendant la période de prévisualisation, l'utilisation de MOSS est gratuite.

MOSS est le même que ChatGPT. Le processus de construction comprend deux étapes : la formation du modèle de base en langage naturel et la formation à la capacité de dialogue pour comprendre les intentions humaines.

Selon la page d'accueil du projet, la principale différence entre MOSS et ChatGPT est la suivante :

• MOSS a beaucoup moins de paramètres que ChatGPT.
• MOSS apprend en parlant aux humains et à d'autres modèles d'IA, tandis que ChatGPT est formé par l'apprentissage par renforcement avec feedback humain (RLHF).
• MOSS sera open source pour faciliter les recherches futures, mais ChatGPT ne le sera probablement pas.

À quel point MOSS est conversationnel, regardons quelques exemples. Voici quelques enregistrements d'interaction générés par MOSS :

Dans cet exemple, l'utilisateur a d'abord demandé à MOSS de recommander cinq films de science-fiction, puis a demandé à MOSS de générer un tableau pour afficher ces films et leurs réalisateurs, et enfin a demandé à MOSS d'insérer une nouvelle colonne dans le tableau pour afficher les années de sortie. de ces films. Pour accomplir cette tâche, le modèle de langage doit avoir de fortes capacités d'interaction multi-tours et des capacités de compréhension des instructions. MOSS fonctionne évidemment bien dans ces deux aspects.

Semblable à ChatGPT, MOSS génère parfois des exemples d'erreurs factuelles.

En plus des multiples tours de dialogue, la génération de code MOSS est également un jeu d'enfant. Dans l'exemple suivant, MOSS peut non seulement fournir aux utilisateurs du code Python pour implémenter un tri rapide, mais également fournir des explications et des exemples d'utilisation de ce code à la demande de l'utilisateur. On peut dire que c'est un programmeur qui enseigne étape par étape.

En plus de laisser MOSS vous aider à écrire le code, vous pouvez également poser des questions à MOSS sur les détails du code pour mieux comprendre le code. Dans l'exemple ci-dessous, l'utilisateur a interrogé MOSS sur le langage de programmation et les fonctions d'un morceau de code, et a ensuite posé des questions sur le rôle de l'une des fonctions. MOSS a donné des réponses satisfaisantes.

De plus, MOSS possède également des valeurs humaines Lorsqu'on lui demande de répondre à des questions déraisonnables, MOSS refusera de répondre et donnera une persuasion correcte.

Il est entendu que MOSS utilise un modèle auto-développé avec des dizaines de milliards de paramètres pour la formation. Au cours de la phase de formation aux capacités de dialogue, OpenAI a collecté au moins des centaines de milliers d'instructions humaines, permettant à des annotateurs professionnels de divers secteurs d'écrire des instructions, puis de les saisir dans la base du modèle pour aider ChatGPT à comprendre progressivement diverses instructions. L'équipe Fudan a adopté une voie technique différente en permettant à MOSS d'interagir avec des humains et d'autres modèles d'IA, elle a considérablement amélioré l'efficacité de l'apprentissage et de la R&D, et a complété efficacement la formation aux capacités de dialogue en peu de temps.

L'équipe R&D a déclaré que bien que MOSS ait implémenté certaines fonctions de ChatGPT, il existe encore de nombreuses limitations. En raison du manque de données de haute qualité, de ressources informatiques et de capacité de modèle, MOSS est encore loin derrière ChatGPT.

• En raison du corpus multilingue limité dans les données de formation, MOSS fonctionne mal dans la compréhension et la génération de texte dans des langues autres que l'anglais. L'équipe développe actuellement une version améliorée pour améliorer leurs compétences en chinois.
• En raison de la capacité relativement petite du modèle, MOSS ne contient pas suffisamment de connaissances mondiales. Par conséquent, certaines réponses générées par MOSS peuvent contenir des informations trompeuses ou fausses.
• Parfois, MOSS fonctionne de manière détournée ou même ne parvient pas à suivre les instructions. Dans ce cas, l'utilisateur devra peut-être régénérer ou modifier l'invite plusieurs fois pour obtenir une réponse satisfaisante. L'équipe améliore activement sa capacité à suivre les instructions et sa productivité.
• Parfois, MOSS peut générer des réactions contraires à l'éthique ou nuisibles en raison d'invites. Les utilisateurs peuvent contribuer à réduire ce comportement en cliquant sur « Je n'aime pas » et l'équipe mettra à jour le modèle dans la prochaine version.

L'équipe de recherche a souligné que les performances de la version actuelle de MOSS sont encore instables et sont également affectées par des problèmes d'ensemble de données : « Le niveau de réponse en anglais de MOSS est supérieur à celui du chinois car sa base de modèles a appris plus de 300 milliards de mots anglais, seulement environ 30 milliards de mots chinois ont été appris. "

Après la sortie, l'équipe continuera d'améliorer le modèle en fonction des précieux commentaires des utilisateurs (avec autorisation) en fournissant une interface accessible pour MOSS.

À l'avenir, les chercheurs prévoient également de combiner les résultats de recherche de Fudan en intelligence artificielle et sur des sujets interdisciplinaires connexes pour donner à MOSS des capacités multimodales telles que le dessin, la voix et la composition, et renforcer sa capacité à aider les scientifiques à mener des recherches scientifiques efficaces. recherche.

J'espère que MOSS pourra prendre un bon départ pour le développement de modèles de dialogue à grande échelle en Chine.

Présentation de l'équipe

Il y a deux auteurs principaux de MOSS : le professeur Qiu Xipeng de l'Université de Fudan et son doctorant Sun Tianxiang. De plus, plusieurs membres ont contribué au projet.

Qiu Xipeng, professeur et directeur de doctorat à l'École d'informatique et de technologie de l'Université de Fudan. Jeune chercheur national exceptionnel, il a obtenu son baccalauréat ès sciences et son doctorat de l'Université de Fudan. Principalement engagé dans la recherche sur le traitement du langage naturel, l'apprentissage profond et d'autres domaines, a publié plus de 70 articles CCF de catégorie A/B et a remporté le prix ACL 2017 Outstanding Paper Award (CCF catégorie A), le prix CCL 2019 du meilleur article, "Science in China". : Sciences techniques" Lors du High Impact Paper Award 2021, 5 articles ont été sélectionnés comme les articles les plus influents de l'IJCAI/ACL/EMNLP publiés par PaperDigest (le nombre de citations est entré dans le top 20 de la conférence en cours). Publication de la monographie open source « Neural Network and Deep Learning », avec 15 000 abonnés Github et un score Douban de 9,4. Il a présidé au développement des frameworks open source FudanNLP et FastNLP, qui ont été utilisés par des centaines d'unités dans le pays et à l'étranger. En 2015, il a été sélectionné dans le premier projet de promotion des jeunes talents de l'Association chinoise pour la science et la technologie. En 2018, il a remporté le premier prix du Prix de l'innovation pour la jeunesse du Prix chinois de la science et de la technologie du traitement de l'information Qian Weichang. le prix d'excellence du 4e concours d'enseignement pour jeunes enseignants de l'université de Shanghai en 2021, il a remporté le premier prix du premier Shanghai Computer Society Teaching Achievement Award (la première personne à le terminer), etc. Les étudiants ont été formés pour gagner plusieurs bourses universitaires de premier niveau, Microsoft Scholars, Baidu Scholarships, etc.

Sun Tianxiang est doctorant à l'École d'informatique de l'Université de Fudan. Ses superviseurs sont le professeur Qiu Xipeng et le professeur Huang Xuanjing. Diplômé de l'Université des sciences et technologies électroniques de Xi'an en 2019. Les intérêts de recherche se concentrent sur l'apprentissage automatique et son application dans le traitement du langage naturel, en particulier le réglage fin et l'inférence efficaces de modèles linguistiques pré-entraînés, l'apprentissage multitâche, l'apprentissage de la représentation des connaissances, etc. A publié plusieurs articles en tant que premier auteur dans des conférences telles que ICML, ACL, NAACL, AAAI, COLING, etc.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!