Utilisez moins ChatGPT et soutenez davantage l'open source ! Nature, professeur à l'Université de New York, écrit : Pour l'avenir de la science

Le ChatGPT gratuit est très amusant à utiliser, mais le plus gros inconvénient de ce modèle de langage fermé est qu'il n'est pas open source. Le monde extérieur ne peut pas comprendre les données de formation qui le sous-tendent et s'il risque de divulguer la confidentialité des utilisateurs. a également déclenché des problèmes ultérieurs dans l'industrie. La communauté universitaire a conjointement open source une série de modèles d'alpaga tels que LLaMA.

Récemment, la chronique Nature Worldview a publié un article Arthur Spirling, professeur de politique et de science des données à l'Université de New York, a appelé tout le monde à utiliser davantage de modèles open source. Les résultats expérimentaux sont reproductibles et conformes à l'éthique académique. .

Le fait est que si un jour OpenAI devient mécontent et ferme l'interface du modèle de langage, ou s'il s'appuie sur un monopole fermé pour augmenter les prix, alors les utilisateurs ne pourront que dire, impuissants : "Après tout, le monde universitaire a perdu face au capital ." .

L'auteur de l'article, Arthur Spirling, rejoindra l'Université de Princeton en juillet de cette année pour enseigner les sciences politiques. Ses principaux axes de recherche sont la méthodologie politique et le comportement législatif, en particulier le texte en tant que données et le naturel. traitement du langage. , statistiques bayésiennes, apprentissage automatique, théorie de la réponse aux éléments et modèles linéaires généralisés avec des applications en science politique.

Les chercheurs doivent éviter la tentation des modèles commerciaux et développer conjointement des modèles linguistiques transparents à grande échelle pour garantir la reproductibilité.

Adoptez l'open source et rejetez le monopole

Il semble qu'un nouveau modèle de langage étendu (LLM) soit lancé chaque jour, et chaque fois, ses créateurs et les personnes concernées dans le monde universitaire parlent généreusement de la façon dont le nouveau modèle peut communiquer couramment avec les humains. , par exemple, vous pouvez aider les utilisateurs à modifier les codes, à rédiger des lettres de recommandation, à rédiger des résumés d'articles, etc.

En tant que politologue et data scientist qui utilise et enseigne comment utiliser ces modèles, je pense que les universitaires devraient se méfier car les modèles de langage les plus populaires restent actuellement privés et fermés, c'est-à-dire gérés par des entreprises, ils ne divulguent pas d'informations spécifiques. sur le modèle de base et vérifiera ou vérifiera uniquement de manière indépendante les capacités du modèle, de sorte que les chercheurs et le public ne savent pas quels fichiers ont été utilisés pour entraîner le modèle.

La précipitation pour intégrer des modèles de langage dans votre propre processus de recherche peut causer des problèmes et menacer les progrès durement gagnés en « éthique de la recherche » et en « reproductibilité des résultats ».

Non seulement nous ne pouvons pas nous appuyer sur des modèles commerciaux, mais les chercheurs doivent également travailler ensemble pour développer des modèles de langage open source à grande échelle, transparents et ne dépendant pas des intérêts d'une entreprise spécifique.

Bien que les modèles commerciaux soient très pratiques et puissent être utilisés directement, investir dans des modèles de langage open source est une tendance historique. Nous devons non seulement trouver des moyens de promouvoir le développement, mais également appliquer ces modèles à la recherche future.

J'estime avec optimisme que l'avenir des outils de modèles de langage doit être open source, similaire à l'histoire du développement des logiciels statistiques open source qui était très populaire au début, mais maintenant, pratiquement toutes les communautés utilisent des logiciels open source. comme la plateforme R ou Python.

Par exemple, le modèle de langage open source BLOOM a été publié en juillet de l'année dernière. Son équipe de développement Hugging Face est une société d'intelligence artificielle dont le siège est à New York. Elle a travaillé avec plus d'un millier de bénévoles et de chercheurs pour le construire. Une partie de ses fonds de recherche et développement ont été financés par le gouvernement français ; d'autres équipes travaillent également à l'open source de grands modèles de langage.

Je pense que les projets open source comme celui-ci sont formidables, mais nous avons également besoin de plus de coopération et de mise en commun des ressources et de l'expertise internationales.

Les équipes de modèles de langage open source à grande échelle ne sont généralement pas aussi bien financées que les grandes entreprises, et l'équipe de développement doit également poursuivre ses opérations pour suivre les derniers progrès dans le domaine : le développement du domaine de l'IA est trop rapide, et même la plupart des modèles de langage sont disponibles. Ils deviennent obsolètes des semaines ou des mois après le lancement.

Ainsi, plus les chercheurs participent à l'open source, meilleur sera le modèle open source final.

L'utilisation du LLM open source est cruciale pour une « recherche reproductible » car les propriétaires de modèles de langage commerciaux fermés peuvent modifier leurs produits ou leurs données de formation à tout moment, ce qui peut modifier les résultats du modèle.

Par exemple, un groupe de recherche pourrait publier un article testant si la formulation suggérée par un modèle de langage commercial peut aider les cliniciens à communiquer plus efficacement avec les patients ; si un autre groupe tente de reproduire cette étude, qui connaît la base du modèle ? les données sont-elles les mêmes qu'à l'époque ? On ne sait même pas si le modèle est toujours opérationnel.

L'outil auxiliaire GPT-3 couramment utilisé par les chercheurs a été remplacé par GPT-4. Toutes les recherches basées sur l'interface GPT-3 risquent de ne plus pouvoir être reproduites à l'avenir. Pour les entreprises, la priorité est de. maintenir le fonctionnement de l’ancien modèle. Pas élevé.

En revanche, grâce au LLM open source, les chercheurs peuvent visualiser l'architecture interne du modèle, les pondérations, comprendre le fonctionnement du modèle, personnaliser le code et signaler les erreurs. Ces détails incluent les paramètres réglables du modèle et les données utilisées pour entraîner le modèle. modèle, la participation communautaire et la surveillance contribueront à maintenir ce modèle robuste à long terme.

L'utilisation de modèles de langage commerciaux dans la recherche scientifique a également des implications négatives pour l'éthique de la recherche, car le texte utilisé pour former ces modèles est inconnu et peut inclure des messages directs entre utilisateurs sur les plateformes de médias sociaux ou du contenu écrit par des enfants.

Bien que la personne produisant le texte public ait accepté les conditions d’utilisation de la plateforme, ce n’est peut-être pas la norme de consentement éclairé que les chercheurs souhaitent voir.

À mon avis, les scientifiques devraient éviter autant que possible d’utiliser ces modèles dans leurs travaux. Nous devrions passer à des modèles de langage ouverts et les promouvoir auprès des autres.

De plus, je pense que les universitaires, en particulier ceux qui sont très suivis sur les réseaux sociaux, ne devraient pas pousser les autres à utiliser des modèles disponibles dans le commerce si les prix montent en flèche ou si l'entreprise fait faillite, les chercheurs pourraient regretter d'avoir fait la promotion de la technologie auprès de leurs collègues.

Les chercheurs peuvent actuellement se tourner vers des modèles de langage ouverts produits par des organisations privées, tels que LLaMA, qui est open source par la société mère de Facebook, Meta. Il a été initialement publié sur la base de l'application et de l'examen des utilisateurs, mais la version complète du modèle l'a été. divulgué par la suite en ligne ; le modèle en langage ouvert OPT-175 B de Meta est également disponible

L'inconvénient à long terme est que la sortie de ces modèles dépend trop de la bienveillance de l'entreprise, ce qui est une situation précaire.

En plus de cela, il devrait y avoir un code de conduite pour les universitaires travaillant avec des modèles linguistiques, ainsi que des mesures réglementaires correspondantes, mais cela prendra du temps, et sur la base de mon expérience en tant que politologue, j'espère que ces réglementations certainement très difficile au début, imparfait et lent à montrer des résultats.

Dans le même temps, les projets collaboratifs à grande échelle ont un besoin urgent de soutien pour former des modèles de langage open source pour la recherche, à l'instar du CERN, l'Organisation internationale pour la physique des particules, et les gouvernements devraient augmenter le financement par le biais de subventions.

Le domaine évolue à une vitesse fulgurante et la coordination du soutien national et international doit commencer dès maintenant.

La communauté scientifique doit être capable d'évaluer les risques des modèles résultants, et les diffusions au public doivent être prudentes, mais il est clair qu'un environnement ouvert est la bonne chose à faire.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!