Derrière le développement rapide de l'intelligence artificielle se cachent de multiples risques de sécurité

Imaginez que si quelqu'un met un « autocollant » sur son visage, il peut faire en sorte que le système de contrôle d'accès par reconnaissance faciale le prenne pour vous et ouvre la porte facilement ; si vous mettez le même « autocollant » sur vos lunettes, vous pouvez déverrouiller votre téléphone ; reconnaissance faciale en 1 seconde et explorez votre vie privée comme si vous pénétriez dans un no man's land. Il ne s'agit pas de l'imagination d'un blockbuster de science-fiction, mais d'une véritable scène d'attaque et de défense présentée lors de la cérémonie de remise des prix du premier Concours de sécurité de l'intelligence artificielle.

Il n'y a pas si longtemps, le premier concours de sécurité de l'intelligence artificielle, parrainé conjointement par le Centre national de recherche sur le développement de la sécurité de l'information industrielle, l'Institut de recherche sur l'intelligence artificielle de l'Université Tsinghua et Beijing Ruilai Intelligent Technology Co., Ltd., a pris fin. Pendant le concours, des discussions ont eu lieu sur les risques de sécurité de l'intelligence artificielle. Les experts présents à la réunion ont déclaré que les risques pour la sécurité de l'intelligence artificielle ne sont plus des défis futurs, mais des menaces immédiates. Nous devons prêter attention à la construction de systèmes de sécurité de l'intelligence artificielle et accélérer la promotion de la recherche technologique clé et des pratiques offensives et défensives dans le domaine de l'intelligence artificielle. sécurité du renseignement.

L'intelligence artificielle, comme les autres technologies générales, progresse rapidement, mais elle comporte également certains risques et dangers cachés. Tian Tian, ​​​​PDG de Ruilai Smart, qui a remporté le « Wu Wenjun Artificial Intelligence Outstanding Youth Award », estime que la portée des risques technologiques liés à l'intelligence artificielle s'élargit progressivement à mesure que les scénarios d'application se généralisent, et que la possibilité de risques également augmente avec ses scénarios d’application. Le nombre d’applications continue d’augmenter. Selon lui, les risques actuels de sécurité liés à l'intelligence artificielle peuvent être analysés principalement du point de vue des « personnes » et des « systèmes ».

En évaluant les problèmes de sécurité de l'intelligence artificielle d'un point de vue humain, la première chose à supporter est la double nature de la technologie et le problème des abus de l'intelligence artificielle. Spécifique à l’application de l’intelligence artificielle, le représentant le plus typique est la technologie deepfake, dont les risques d’application négative continuent de s’intensifier et ont causé des dommages considérables.

La démonstration de cracking de reconnaissance faciale lors de ce concours révèle exactement les risques du système, qui proviennent de la fragilité de l'algorithme d'apprentissage profond lui-même. La deuxième génération d'intelligence artificielle avec des algorithmes d'apprentissage profond comme noyau est une « boîte noire » et est inexplicable, ce qui signifie que le système présente des failles structurelles et peut être soumis à des risques imprévisibles. Un exemple typique est « l'autocollant magique » sur-. démonstration du site. , est en fait une « attaque d'échantillons contradictoires », qui amène le système à faire des jugements erronés en ajoutant des perturbations aux données d'entrée.

Cette vulnérabilité existe également dans le système de perception de la conduite autonome. Dans des circonstances normales, après avoir identifié les barrages routiers, les panneaux, les piétons et autres cibles, le véhicule autonome s'arrêtera immédiatement. Cependant, après avoir ajouté des motifs d'interférence aux objets cibles, le système de perception du véhicule peut commettre des erreurs et s'écraser directement sur eux.

Lors du concours, le « Livre blanc sur le développement de la sécurité de l'infrastructure informatique de l'intelligence artificielle » a été publié. Il est mentionné que l'infrastructure de puissance de calcul de l'intelligence artificielle est différente de l'infrastructure de puissance de calcul traditionnelle. Il s'agit à la fois d'une « infrastructure », d'une « puissance de calcul de l'intelligence artificielle » et d'« installations publiques », et possède les triples attributs d'infrastructure, de technologie et d'attributs publics. En conséquence, la promotion du développement sûr de l’infrastructure de puissance de calcul de l’intelligence artificielle devrait se concentrer sur le renforcement de sa propre sécurité, la garantie de la sécurité opérationnelle et l’assistance au respect des normes de sécurité.

La coordination du développement et de la sécurité semble être un problème inévitable dans le processus de développement de toute nouvelle technologie. Comment parvenir à une interaction positive entre le développement de haut niveau et la sécurité de haut niveau est également l'une des propositions les plus importantes du développement actuel. de l'industrie de l'intelligence artificielle. De nombreuses personnes présentes sur place Des experts discutent de ce sujet.

"Les attaques et la défense contradictoires de l'intelligence artificielle incluent des échantillons contradictoires, des portes dérobées de réseaux neuronaux, des problèmes de confidentialité des modèles et d'autres technologies. Si le modèle comporte des erreurs, il doit être réparé en temps opportun." Le Laboratoire de sécurité de l'information de l'Académie chinoise des sciences a proposé que la méthode « neuronale » du « scalpel en réseau » effectue une réparation précise « mini-invasive » en localisant les neurones à l'origine de l'erreur.

Chen Kai a déclaré que contrairement au travail traditionnel de réparation de modèles, qui nécessite de recycler le modèle ou s'appuie sur un plus grand nombre d'échantillons de données, cette méthode est similaire à la « chirurgie mini-invasive » et ne nécessite qu'une très petite quantité d'échantillons de données, ce qui peut Améliore considérablement la réparation du modèle.

Les systèmes d'intelligence artificielle dans un environnement ouvert sont confrontés à de nombreux défis de sécurité. Comment résoudre le problème de sécurité du cycle complet des algorithmes généraux d'intelligence artificielle est devenu une priorité absolue.

Liu Xianglong, directeur adjoint du Laboratoire clé d'État pour l'environnement de développement logiciel de l'Université de Beihang, a déclaré que d'un point de vue technique, un moyen technique complet devrait être formé depuis les tests de sécurité jusqu'à l'analyse de sécurité et le renforcement de la sécurité, et enfin un système standardisé. Un processus de test doit être formé.

Il a également souligné que la future sécurité de l'intelligence artificielle devrait se concentrer sur une évaluation complète à tous les niveaux, des données aux algorithmes en passant par les systèmes, et en même temps, être couplée à un environnement informatique sécurisé et fiable, du matériel aux logiciels.

Su Jianming, expert en charge du Laboratoire d'attaque et de défense de sécurité de l'Institut de recherche financière de la Banque industrielle et commerciale de Chine, a déclaré que la gouvernance de la sécurité de l'intelligence artificielle nécessite une collaboration approfondie et une innovation ouverte. divers acteurs de l'industrie tels que les gouvernements, les établissements universitaires, les entreprises, etc., et établir des règles écologiques positives. Au niveau politique, le processus législatif sur l'intelligence artificielle doit être accéléré, et la supervision et l'évaluation spéciales des niveaux de service de l'intelligence artificielle et des capacités de soutien technique doivent être renforcées. Au niveau universitaire, accroître les incitations à la recherche sur la sécurité de l’intelligence artificielle et accélérer la transformation et la mise en œuvre des résultats de la recherche scientifique grâce au modèle de coopération industrie-université-recherche. Au niveau de l'entreprise, nous favoriserons progressivement la transformation de la technologie de l'intelligence artificielle depuis l'expansion de scénarios vers un développement sûr et fiable, et continuerons à explorer les pratiques et solutions de sécurité de l'intelligence artificielle en participant à la formulation de normes et au lancement de produits et services.

En fait, construire un écosystème sûr pour l'intelligence artificielle nécessite d'une part l'évolution continue de la technologie, et d'autre part la construction et la formation de talents techniques spécialisés. Tian Tian a déclaré que la recherche sur la sécurité de l'intelligence artificielle étant encore un domaine émergent, il existe peu de talents spécialisés et il y a un manque d'équipes de recherche systématiques. Cette compétition utilise de véritables exercices de combat pour vérifier et améliorer les capacités de combat réelles des joueurs. Afin de former un groupe de haut niveau, l'équipe de nouveaux talents de haut niveau en matière de sécurité de l'intelligence artificielle propose une « voie rapide ».

Les experts estiment qu'à long terme, les problèmes de sécurité de l'intelligence artificielle doivent être surmontés des principes des modèles algorithmiques. Ce n'est qu'en renforçant continuellement la recherche fondamentale que les problèmes scientifiques fondamentaux pourront être résolus. Le développement futur de l'intelligence artificielle doit être assuré. L'efficacité et la promotion positive du développement de l'ensemble de la société et du pays nécessitent le développement coordonné de plusieurs parties, notamment le gouvernement, l'industrie, le monde universitaire et la recherche.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!