Nature｜GPT-4 a explosé et les scientifiques sont inquiets !

L'émergence de GPT-4 est à la fois excitante et frustrante.

Bien que GPT-4 possède des capacités de créativité et de raisonnement étonnantes, les scientifiques ont exprimé leurs inquiétudes quant à la sécurité de cette technologie.

Étant donné qu'OpenAI est allé à l'encontre de son intention initiale et n'a pas ouvert GPT-4 ni publié les méthodes et les données de formation du modèle, ses conditions de travail réelles sont inconnues.

La communauté scientifique est très mécontente de cette situation.

Sasha Luccioni, scientifique spécialisée dans la recherche environnementale chez HuggingFace, une communauté d'IA open source, a déclaré : « OpenAI peut continuer à se développer sur la base de leurs recherches, mais pour l'ensemble de la communauté, tous ces modèles fermés sont scientifiquement similaires. une Impasse. "

Heureusement, il existe un test de l'équipe rouge

Andrew White, ingénieur chimiste à l'Université de Rochester, a un accès privilégié à GPT-4 en tant que membre du "red-teamer". ".

OpenAI paie l'équipe rouge pour tester la plateforme et essayer de lui faire faire de mauvaises choses. Andrew White a donc eu l'occasion d'entrer en contact avec GPT-4 au cours des 6 derniers mois.

Il a demandé à GPT-4 quelles étapes de réaction chimique sont nécessaires pour fabriquer un composé, et lui a demandé de prédire le rendement de la réaction et de choisir un catalyseur.

"Par rapport aux itérations précédentes, GPT-4 ne semblait pas différent, et je pensais que ce n'était rien. Mais ensuite c'était vraiment surprenant, ça avait l'air si réaliste, ça évoquerait ici un atome, en sautant une étape là encore." Mais lorsqu'il a continué les tests et a donné à GPT-4 accès au document, les choses ont radicalement changé.

"Nous avons soudain réalisé que ces modèles n'étaient peut-être pas si géniaux. Mais lorsque vous avez commencé à les connecter à des outils tels que des planificateurs de synthèse de retour en arrière ou des calculatrices, tout d'un coup, de nouvelles capacités sont apparues

Avec le l’émergence de ces capacités, les gens ont commencé à s’inquiéter. Par exemple, le GPT-4 pourrait-il autoriser la fabrication de produits chimiques dangereux ?

Andrew White montre qu'avec les tests effectués par des équipes rouges comme White, que les ingénieurs d'OpenAI réintègrent dans leurs modèles, GPT-4 peut être empêché de créer du contenu dangereux, illégal ou destructeur.

Faux faits

Diffuser de fausses informations est un autre problème.

Luccioni a déclaré que des modèles comme GPT-4 n'ont pas été en mesure de résoudre le problème des hallucinations, ce qui signifie qu'ils peuvent encore dire des bêtises.

"On ne peut pas compter sur ce type de modèle car il y a trop d'hallucinations, et bien qu'OpenAI affirme avoir amélioré la sécurité dans GPT-4, c'est toujours un problème dans la dernière version

."

En l’absence d’accès aux données pour la formation, les assurances d’OpenAI en matière de sécurité sont insuffisantes selon Luccioni.

"Vous ne savez pas quelles sont les données. Vous ne pouvez donc pas les améliorer. Il est complètement impossible de faire de la science avec un tel modèle."

Concernant la façon dont GPT-4 est entraîné, ce mystère a été résolu. a également préoccupé la psychologie. Le scientifique Claudi Bockting : "Il est très difficile pour les humains d'être responsables de choses que vous ne pouvez pas superviser."

Luccioni pense également que GPT-4 sera biaisé par les données d'entraînement, et si les données derrière GPT-4 n'est pas accessible, le code, il serait impossible de voir d'où les biais pourraient provenir et d'y remédier.

Discussion éthique

Les scientifiques ont toujours eu des réserves à propos du GPT.

Lors du lancement de ChatGPT, les scientifiques s'étaient déjà opposés à ce que GPT apparaisse dans la colonne des auteurs.

Les éditeurs estiment également que l'intelligence artificielle telle que ChatGPT ne répond pas aux normes des auteurs de recherche car ils ne peuvent être responsables du contenu et de l'intégrité des articles scientifiques. Mais la contribution de l’IA à la rédaction de l’article peut être reconnue au-delà de la liste des auteurs.

De plus, on craint que ces systèmes d'intelligence artificielle soient de plus en plus entre les mains de grandes entreprises technologiques. Ces technologies devraient être testées et validées par des scientifiques.

Nous devons élaborer de toute urgence un ensemble de lignes directrices pour régir l'utilisation et le développement de l'intelligence artificielle et d'outils tels que GPT-4.

White a déclaré qu'en dépit de ces inquiétudes, GPT-4 et ses futures itérations vont bouleverser la science : "Je pense que ce sera un énorme changement d'infrastructure dans la science, tout comme Internet a été un énorme changement. Nous commençons à réaliser que nous pouvons connecter des articles, des programmes de données, des bibliothèques, des travaux informatiques et même des expériences robotiques. Cela ne remplacera pas les scientifiques, mais cela peut aider dans certaines tâches. " Mais il semble que tout ce qui concerne la technologie de l'intelligence artificielle. La législation a du mal à le faire. suivre le rythme des évolutions.

Le 11 avril, l'Université d'Amsterdam organisera un sommet sur invitation pour discuter de ces questions avec des représentants d'organisations telles que le Comité d'éthique des sciences de l'UNESCO, l'Organisation de coopération et de développement économiques et le Forum économique mondial.

Les sujets clés incluent l'insistance sur l'inspection manuelle des résultats du LLM ; l'établissement de règles de responsabilité mutuelle au sein de la communauté scientifique visant la transparence, l'intégrité et l'équité ; l'investissement dans de grands modèles de langage fiables et transparents appartenant à des organisations indépendantes à but non lucratif ; de l'IA, mais doit faire des compromis entre les avantages de l'IA et la perte d'autonomie ; Inviter la communauté scientifique à discuter du GPT avec les parties concernées (des éditeurs aux éthiciens) et plus encore ;

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!