Li Feifei a personnellement écrit un article et des dizaines de scientifiques ont signé une lettre commune s'opposant au projet de loi californien sur la restriction de l'IA.-IA-php.cn

L’IA est-elle vraiment suffisamment dangereuse pour justifier une telle réglementation ?

Dans la Silicon Valley, haut lieu de l'innovation, des scientifiques en IA tels que Li Feifei et Andrew Ng sont engagés dans une lutte acharnée avec les autorités de régulation sur la sécurité et l'innovation.

Li Feifei a personnellement écrit un article et des dizaines de scientifiques ont signé une lettre commune sopposant au projet de loi californien sur la restriction de lIA.

Au centre de cette lutte acharnée se trouve un projet de loi appelé SB-1047. Le nom complet du projet de loi est « Safe and Secure Innovation for Frontier Artificial Intelligence Act », qui tente d'établir des normes de sécurité claires pour les modèles d'IA à haut risque afin d'éviter qu'ils ne soient abusés ou ne provoquent une catastrophe.

Le projet de loi a été présenté au Sénat en février de cette année et a ensuite suscité de nombreuses controverses. De nombreux scientifiques estiment que les dispositions du projet de loi sont trop déraisonnables et auront un impact dévastateur sur l'innovation scientifique et technologique.

Lien du projet de loi : https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047

Plus précisément, ce projet de loi vise à réglementer l'intelligence artificielle à partir du niveau du modèle, pour les modèles formés au-dessus de certains seuils de calcul et de coût.

La couverture du modèle est la suivante :

1. Les modèles d'intelligence artificielle entraînés à l'aide de plus de 10 ^ 26 opérations de puissance de calcul entières ou à virgule flottante coûtent plus de cent millions de dollars américains (100 000 000 $). sont calculés sur la base d'une évaluation raisonnable par le développeur du prix moyen du marché du cloud computing au début de la formation.

2. Modèles d'intelligence artificielle créés en affinant les modèles dans le cadre en utilisant une puissance de calcul égale ou supérieure à trois fois 10 ^ 25 opérations entières ou à virgule flottante.

Cette gamme couvre essentiellement tous les grands modèles grand public présents sur le marché aujourd'hui. Si le projet de loi est adopté, ces modèles seront classés comme « potentiellement dangereux » ou nécessiteront une surveillance supplémentaire.

Le projet de loi exige également que les développeurs de modèles soient légalement responsables de l'utilisation ou de la modification en aval de leurs modèles. Avant que la formation puisse commencer, les développeurs doivent prouver que leurs modèles ne permettront pas ou ne fourniront pas de « fonctionnalités dangereuses » et mettre en œuvre une série de protections pour empêcher une telle utilisation. Cela entravera le développement de la communauté open source.

La supervision de la mise en œuvre de la nouvelle loi sera assurée par une « division modèle frontière », une agence de surveillance et de réglementation nouvellement créée. Déformer les capacités d’un modèle à l’agence, qui établira des normes de sécurité et donnera des conseils sur les lois sur l’IA, pourrait envoyer les développeurs en prison pour parjure.

Le projet de loi ajoute également des dispositions de protection des lanceurs d'alerte pour protéger et encourager les lanceurs d'alerte au sein des entités de développement de l'IA et garantir que les employés peuvent signaler la non-conformité de l'entreprise sans représailles.

Si le projet de loi est adopté, une seule signature du gouverneur Gavin Newsom deviendrait une loi californienne. Si ce projet de loi est adopté en Californie, il créera un précédent pour d'autres États et aura des effets d'entraînement aux États-Unis et à l'étranger, créant essentiellement un énorme effet papillon sur l'état de l'innovation, a déclaré Anjney Midha, associé général d'a16z.

Une audience sur le projet de loi aura lieu le matin du 7 août, PDT. Le temps presse pour que les scientifiques protestent. Par conséquent, Li Feifei a personnellement écrit un article exposant les avantages et les inconvénients du projet de loi. Certains scientifiques signent une lettre pour empêcher l’adoption du projet de loi.

Li Feifei a écrit un article critiquant le SB-1047

Li Feifei a déclaré dans l'article : « Le SB-1047 de Californie aura des conséquences importantes et inattendues. S'il est adopté, le SB-1047 sera adopté. "Nuira à l'écosystème naissant de l'IA. Le SB-1047 pénalisera inutilement les développeurs, étouffera la communauté open source et entravera la recherche universitaire sur l'IA tout en ne parvenant pas à résoudre les vrais problèmes pour lesquels il est conçu", a-t-elle écrit. -1047 punira indûment les développeurs et étouffera l'innovation.Le SB-1047 tient les parties responsables et les développeurs d'origine du modèle responsables si un modèle d'IA est utilisé à mauvais escient. Il est impossible pour tous les développeurs d’IA (en particulier les programmeurs et entrepreneurs en herbe) de prédire toutes les utilisations possibles de leurs modèles. Le SB-1047 obligera les développeurs à prendre du recul et à agir de manière défensive, exactement ce que nous essayons d'éviter.

Deuxièmement, le SB-1047 restreindra le développement open source. Le SB-1047 exige que tous les modèles dépassant un certain seuil incluent un « kill switch », un mécanisme qui peut arrêter le programme à tout moment. Si les développeurs craignent que les programmes qu’ils téléchargent et créent soient supprimés, ils hésiteront davantage à coder et à collaborer. Ce kill switch détruira la communauté open source, source d’innombrables innovations. L’impact ne se limite pas au domaine de l’intelligence artificielle, mais dans tous les domaines, du GPS à l’IRM en passant par Internet lui-même.

Troisièmement, le SB-1047 paralysera la recherche dans le secteur public et universitaire en IA. Le développement open source est important pour le secteur privé, mais il est également crucial pour le monde universitaire. Les universitaires ne peuvent pas progresser sans collaboration et sans accès aux données modèles. Comment formerons-nous la prochaine génération de leaders en IA si nos institutions n’ont pas accès aux modèles et aux données appropriés ? Un kill switch nuirait encore davantage aux efforts des étudiants et des chercheurs, qui sont déjà désavantagés en matière de données et d’informatique par rapport aux grandes entreprises technologiques. Le SB-1047 sonnera le glas de l’IA universitaire à un moment où nous devrions doubler les investissements du secteur public dans l’IA.

Plus inquiétant encore, le projet de loi ne s’attaque pas aux méfaits potentiels des progrès de l’intelligence artificielle, notamment les biais et les deepfakes. Au lieu de cela, le SB-1047 fixe un seuil arbitraire qui réglemente les modèles qui utilisent une certaine quantité de puissance de calcul ou qui coûtent 100 millions de dollars à former. Loin de fournir des garde-fous, cette mesure ne fera que limiter l’innovation dans tous les secteurs, y compris dans le monde universitaire. Aujourd’hui, les modèles d’IA universitaires tombent en dessous de ce seuil, mais si nous voulons rééquilibrer les investissements dans l’IA des secteurs privé et public, le monde universitaire sera réglementé par le SB-1047. En conséquence, notre écosystème d’IA s’en trouvera pire.

Les restrictions du SB-1047 sont trop arbitraires et nous devons faire le contraire.

Je ne suis pas contre la gouvernance de l'IA. La législation est essentielle au développement sûr et efficace de l’intelligence artificielle. Mais la politique en matière d’IA doit favoriser le développement open source, proposer des règles unifiées et raisonnables et renforcer la confiance des consommateurs. Le SB-1047 ne répond pas à ces normes.

Des dizaines de scientifiques ont signé une pétition pour s'opposer

En réponse au SB-1047, outre Li Feifei, un groupe composé d'enseignants et d'étudiants de 7 campus de l'Université de Californie et de chercheurs de plus de 20 autres institutions mènent également des actions actives. Ils ont co-écrit et signé une lettre ouverte s’opposant au SB-1047, soulignant les dommages causés par le projet de loi aux objectifs de recherche et d’éducation en IA de la Californie, du point de vue d’un chercheur.

La lettre commune discute du caractère déraisonnable du SB-1047 sous les aspects suivants :

1 Le projet de loi apportera un "effet dissuasif" à la publication de modèles open source, préjudiciable ainsi à la recherche

Le projet de loi exige des « audits de sécurité » et la possibilité de « fermer complètement » les « modèles de pointe », ce qui pourrait sérieusement entraver la sortie de modèles open source et open source. Ces réglementations strictes peuvent être plus faciles à mettre en œuvre pour un modèle propriétaire contrôlé par une entité privée, mais plus difficiles à mettre en œuvre pour un modèle ouvert utilisé par une organisation à but non lucratif ou un consortium d'universités. Les dispositions du projet de loi concernant les démonstrations et les audits de sécurité ne sont pas assez précises, s'appuyant sur des tests qui n'existent peut-être pas encore et peuvent manquer de rigueur scientifique. Le coût potentiel d'un tel audit peut être facilement abordable pour les entités commerciales proposant des produits rentables, mais pour les publications scientifiques ouvertes par des entités commerciales comme la série LLaMA de Meta, ou pour les modèles ouverts formés par des organisations à but non lucratif ou des consortiums universitaires, cela peut ne pas être le cas. .

En raison de ces lourdes restrictions, les développeurs de modèles open source peuvent choisir de construire des systèmes en dehors de la Californie ou des États-Unis et de publier leurs modèles sans responsabilité. Dans ce cas, des acteurs privés, sans aucun souci de conformité, peuvent utiliser secrètement ces modèles, tandis que des chercheurs universitaires contraints par la nature de leur travail public, ce qui les incite à changer de sujet de recherche ou à se tourner vers des domaines qui ne portent pas atteinte à leur liberté académique. , seront exclus. La disponibilité de modèles open source est essentielle à la recherche universitaire moderne sur l’IA, car ils permettent aux universitaires d’explorer le fonctionnement des modèles, les améliorations de capacités au cours de la formation et la manière dont ils peuvent être améliorés et piratés.

2. La prédiction des risques et l'évaluation des « capacités » de l'intelligence artificielle ne sont pas scientifiques

En tant qu'experts dans les domaines de l'intelligence artificielle, de l'apprentissage automatique et du traitement du langage naturel, ces chercheurs soulignent : mentionné dans SB-1047 Le projet proposé L’approche d’évaluation du risque du modèle est très discutable. Il n’existe pas de consensus scientifique sur la question de savoir si et comment les modèles linguistiques ou d’autres systèmes d’intelligence artificielle de pointe constituent une menace pour le public.

3. Protection insuffisante pour les modèles open source

Bien que le projet de loi mentionne que des cas particuliers pourront être prévus pour les modèles open source à l'avenir, en raison de la croissance rapide du nombre de paramètres et de la réduction de coûts de calcul, les mesures de protection existantes peuvent être difficiles à maintenir. Sans mesures de protection solides, les conséquences pour ces modèles pourraient rapidement devenir apparentes. De plus, les petits modèles aux performances comparables nécessitent des coûts de calcul plus élevés que les grands modèles. Par conséquent, les modifications apportées au projet de loi ne devraient pas atténuer l’impact négatif sur les versions de modèles open source, tandis que les exigences strictes en matière de reporting et d’examen auront un impact inutile sur les activités de recherche.

4. Les inquiétudes concernant le placement professionnel et les résultats de carrière des étudiants

SB-1047 peuvent empêcher les étudiants intéressés par l'intelligence artificielle d'approfondir leurs connaissances dans le domaine de l'informatique à l'avenir, et peuvent même empêcher de nouveaux talents d'entrer en informatique. et d'autres domaines clés. De plus, à mesure que l’industrie technologique passe des grandes entreprises aux startups, des obstacles réglementaires supplémentaires pourraient paralyser les innovateurs émergents en favorisant les entreprises plus grandes et meilleures. Ce changement pourrait restreindre les cheminements de carrière des étudiants.签 Signe signé par certains érudits.

^{En plus des lettres ouvertes, certains chercheurs choisissent également de s'exprimer sur les réseaux sociaux. Parmi eux, un biologiste des systèmes a noté que le SB-1047 équivaut à activer la réponse inflammatoire avant même que nous sachions quel est l’agent pathogène, quand il nous infectera et où l’infection se produira.}

Avant cela, Ng Enda s'est également exprimé à plusieurs reprises sur cette question. Il estime que les régulateurs devraient réglementer les applications plutôt que la technologie. Par exemple, le moteur électrique est une technologie.Quand on le met dans un mixeur, une voiture électrique, un appareil de dialyse ou une bombe guidée, cela devient une application. Imaginez si la loi tenait les constructeurs automobiles responsables lorsque quelqu'un utilisait le moteur de manière nuisible. Ce fabricant de moteurs interrompt la production ou rend le moteur si petit qu'il est inutile pour la plupart des applications. Si nous adoptions des lois comme celle-ci, nous pourrions empêcher les gens de fabriquer des bombes, mais nous perdrions également des mixeurs, des voitures électriques et des appareils de dialyse. Au lieu de cela, si nous nous concentrons sur des applications spécifiques, nous pouvons évaluer les risques de manière plus rationnelle et juger comment assurer leur sécurité, voire interdire certains types d’applications.