En créant le groupe de travail sur la sécurité de l'intelligence artificielle, MLCommons a annoncé une étape importante

L'organisation de référence en intelligence artificielle MLCommons a annoncé la création du groupe de travail Artificial Intelligence Safety (AIS : AI Safety). AIS développera une plate-forme et une bibliothèque de tests à partir de nombreux contributeurs pour prendre en charge les références de sécurité de l'IA pour différents cas d'utilisation.

Les systèmes d'IA offrent le potentiel d'apporter d'énormes avantages à la société, mais ils ne sont pas sans risques, tels que la nocivité, la désinformation et les préjugés. Comme pour d’autres technologies complexes, la société a besoin de tests de sécurité conformes aux normes de l’industrie pour en tirer les avantages tout en minimisant les risques.

La nouvelle plateforme permettra aux utilisateurs de sélectionner des benchmarks dans une bibliothèque de tests et de regrouper les résultats de ces benchmarks en scores utiles et faciles à comprendre. Ceci est similaire aux normes d'autres secteurs tels que les évaluations des tests de sécurité automobile et les évaluations Energy Star.

Une priorité de cet effort est de soutenir le développement rapide de technologies de tests de sécurité par l'IA plus rigoureuses et plus fiables. Le groupe de travail AIS tirera parti de l’expertise technique et opérationnelle de ses membres et de la communauté de l’IA dans son ensemble pour aider à orienter et à créer des technologies de base en matière de sécurité de l’IA.

Joaquin Vanschoren, professeur agrégé d'apprentissage automatique (ML) à l'Université de technologie d'Eindhoven, a déclaré : « La nature ouverte et dynamique des références de sécurité développées par la vaste communauté de l'IA crée de réelles incitations à fixer et à atteindre des objectifs communs. "Si quelqu'un constate un problème de sécurité non résolu, il peut proposer de nouveaux tests. Nous avons certaines des personnes les plus intelligentes au monde qui se réunissent pour les résoudre, et l'utilisation du benchmark signifie que nous aurons une image claire de ce qui est artificiel. " Les modèles intelligents résolvent mieux les problèmes de sécurité. »

Contenu réécrit : l'accent est mis sur le développement de références de sécurité pour les grands modèles de langage (LLM) et est basé sur le Centre de recherche sur les modèles fondamentaux (CRFM) de l'Université de Stanford et l'évaluation holistique de Modèles de langage (HELM) basés sur les travaux pionniers des chercheurs. En plus de s'appuyer sur et d'intégrer de nombreux tests liés à la sécurité sur le framework HELM, le groupe de travail espère également que certaines entreprises rendront publics leurs tests de sécurité internes de l'IA à des fins propriétaires et les partageront avec la communauté MLCommons pour accélérer le rythme de l'innovation

Percy Liang, directeur du Basic Model Research Center, a déclaré : « Nous développons HELM, un cadre d'évaluation modulaire, depuis environ 2 ans. Je suis très heureux de coopérer avec MLCommons pour utiliser HELM pour l'évaluation de la sécurité de l'intelligence artificielle. C'est ce à quoi je pense 7. Ce sujet est devenu extrêmement urgent avec la montée en puissance de modèles de base puissants. « Le groupe de travail AIS estime qu'à mesure que les tests progressent, les références standard de sécurité de l'intelligence artificielle deviendront la base des méthodes de sécurité de l'intelligence artificielle. Cela est conforme au développement responsable de technologies d’IA et aux cadres politiques basés sur les risques, tels que les engagements volontaires en matière de sûreté, de sécurité et de confiance pris par plusieurs entreprises technologiques auprès de la Maison Blanche des États-Unis en juillet 2023, le cadre de gestion des risques liés à l’intelligence artificielle du NIST

et la prochaine loi européenne sur l'intelligence artificielle

. MLCommons s'engage à aider un large éventail de parties prenantes de l'industrie et du monde universitaire à développer conjointement des données, des outils et des références partagés pour construire et tester des systèmes d'intelligence artificielle plus efficacement. David Kanter, directeur exécutif de MLCommons, a déclaré : « Nous sommes très enthousiastes à l'idée de travailler avec nos membres. L'année prochaine, nous nous concentrerons sur la création et la promotion de références en matière de sécurité de l'intelligence artificielle, en commençant par les modèles open source, dans le but de diffuser ces références à grande échelle. applicable après la validation initiale de la méthode. Autres LLM. "

Les nouveaux participants au groupe de travail AIS comprennent un groupe multidisciplinaire d'experts en intelligence artificielle comprenant : Anthropic, Coactive AI, Google, Inflection, Intel, Meta, Microsoft, NVIDIA, OpenAI, Qualcomm et les chercheurs Joaquin Vanstoren de l'Université de technologie d'Eindhoven, Percy Liang de l'Université de Stanford et Bo Li de l'Université de Chicago. Des chercheurs et des ingénieurs du monde universitaire et de l'industrie, ainsi que des experts dans le domaine de la société civile et du secteur public, peuvent participer au groupe de travail. Cliquez pour lire l'article original pour savoir comment participer au groupe de travail AIS.

À propos de MLCommons

MLCommons est une organisation de premier plan mondiale dédiée à la création de références en matière d'intelligence artificielle. Il s'agit d'un consortium d'ingénierie ouvert qui vise à aider chacun à améliorer son apprentissage automatique grâce à l'utilisation de références et de données. Les origines de MLCommons remontent au benchmark MLPerf 2018, qui a rapidement évolué vers une série de mesures industrielles utilisées pour mesurer les performances de l'apprentissage automatique et accroître la transparence de la technologie d'apprentissage automatique. MLCommons travaille avec plus de 125 membres, des fournisseurs de technologie mondiaux, des universitaires et des chercheurs qui se concentrent sur la co-création d'outils pour l'ensemble du secteur de l'apprentissage automatique à travers des références et des mesures, des ensembles de données publics et des meilleures pratiques

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!