Table des matières
Qu'est-ce que l'apprentissage automatique contradictoire
1.Attaque d'empoisonnement
2. Attaque d'évasion
3. Attaque d'extraction
4. Attaque par inférence
Comment se défendre contre l'apprentissage automatique contradictoire
Lien de référence :
Maison Périphériques technologiques IA Attaquer l'IA avec l'IA ? Menaces et défenses de l'apprentissage automatique contradictoire

Attaquer l'IA avec l'IA ? Menaces et défenses de l'apprentissage automatique contradictoire

Apr 09, 2023 pm 06:31 PM
系统 机器学习 ai

De plus en plus d'entreprises commencent à appliquer des projets d'intelligence artificielle (Artificial Intelligence, en abrégé AI) et d'apprentissage automatique (Machine Learning, en abrégé ML), et la protection de ces projets est devenue de plus en plus importante. Une enquête menée conjointement par IBM et Morning Consult montre que parmi plus de 7 500 entreprises multinationales interrogées, 35 % utilisent déjà l'IA, soit une augmentation de 13 % par rapport à l'année dernière, et 42 % en étudient la faisabilité. Cependant, près de 20 % des entreprises signalent des difficultés à protéger les données des systèmes d’IA, ce qui ralentit le rythme de l’adoption de l’IA.

La sécurisation des systèmes d'IA et de ML est confrontée à des défis importants, dont certains ne sont pas causés par la technologie d'IA elle-même. Par exemple, les systèmes d’IA et de ML nécessitent des données, et si les données contiennent des informations sensibles ou privées, elles deviendront une cible pour les attaquants. Les modèles d’apprentissage automatique courent un risque potentiel d’attaques contradictoires dans l’environnement du cyberespace et peuvent devenir le maillon le plus faible du système de défense, mettant ainsi en danger la sécurité de l’ensemble du système.

Qu'est-ce que l'apprentissage automatique contradictoire

L'apprentissage automatique contradictoire n'est pas un type d'apprentissage automatique, mais une série de moyens utilisés par les attaquants pour attaquer les systèmes ML. L'apprentissage automatique contradictoire exploite les vulnérabilités et les particularités des modèles ML pour mener des attaques. Par exemple, l’apprentissage automatique contradictoire peut être utilisé pour amener les algorithmes de trading ML à prendre des décisions de trading incorrectes, à rendre les opérations frauduleuses plus difficiles à détecter, à fournir des recommandations opérationnelles incorrectes et à manipuler des rapports basés sur une analyse des sentiments.

Les attaques adverses d'apprentissage automatique sont divisées en quatre méthodes : attaque d'empoisonnement, attaque d'évasion, attaque d'extraction et attaque d'inférence.

1.Attaque d'empoisonnement

Dans une attaque d'empoisonnement, l'attaquant manipule l'ensemble de données d'entraînement. Par exemple, biaiser intentionnellement un ensemble de données entraîne un apprentissage erroné de la machine. Par exemple, votre maison est équipée de caméras de sécurité basées sur l'IA. Un agresseur pourrait passer devant votre maison tous les jours à 3 heures du matin et laisser son chien courir sur la pelouse, déclenchant ainsi le système de sécurité. Finalement, vous désactivez les alarmes qui se déclenchent à 3 heures du matin pour éviter d'être réveillé par le chien. Ce promeneur de chiens fournit en fait des données de formation pour faire savoir au système de sécurité que ce qui se passe chaque jour à 3 heures du matin est inoffensif. Lorsque les systèmes sont entraînés à ignorer tout ce qui se passe à 3 heures du matin, les attaquants profitent de l’occasion pour lancer des attaques.

2. Attaque d'évasion

Dans une attaque d'évasion, le modèle a été entraîné, mais l'attaquant peut légèrement modifier l'entrée pour mener l'attaque. Un exemple est un panneau d'arrêt : lorsqu'un attaquant applique une balise de passage, la machine l'interprète comme un panneau de passage et non comme un panneau d'arrêt. Dans l’exemple de promenade de chien ci-dessus, un cambrioleur pourrait s’introduire dans votre maison en portant un costume pour chien. Éviter une attaque est comme une illusion d’optique sur la machine.

3. Attaque d'extraction

Dans une attaque d'extraction, l'attaquant obtient une copie du système d'IA. Parfois, vous pouvez extraire le modèle simplement en observant ses entrées et sorties, et jouer avec le modèle pour voir comment il réagit. Si vous pouvez tester votre modèle plusieurs fois, vous pouvez lui apprendre à se comporter de la même manière.

Par exemple, en 2019, une vulnérabilité a été exposée dans le système de protection des e-mails de Proofpoint, et les en-têtes d'e-mails générés étaient accompagnés d'un score, indiquant la probabilité que l'e-mail soit du spam. À l'aide de ces scores, les attaquants peuvent créer des moteurs de détection de spam d'imitation pour générer du spam qui échappe à la détection.

Si une entreprise utilise des produits d'IA commerciaux, les attaquants peuvent également obtenir une copie du modèle en achetant ou en utilisant le service. Par exemple, il existe des plates-formes que les attaquants peuvent utiliser pour tester leurs logiciels malveillants par rapport aux moteurs antivirus. Dans l’exemple de promenade de chien ci-dessus, un attaquant pourrait se procurer une paire de jumelles pour voir de quelle marque de caméra de sécurité il s’agit, puis acheter une caméra de la même marque et découvrir comment contourner la défense.

4. Attaque par inférence

Dans une attaque par inférence, l'attaquant détermine l'ensemble de données utilisé pour entraîner le système, puis exploite les vulnérabilités ou les écarts dans les données pour mener l'attaque. Si vous parvenez à comprendre les données d'entraînement, vous pouvez faire preuve de bon sens ou d'astuces astucieuses pour les exploiter. Toujours en utilisant l'exemple de la promenade d'un chien, un attaquant pourrait surveiller la maison afin d'avoir une idée des passants et des véhicules à proximité. Lorsqu'un attaquant remarque le passage d'un promeneur de chien à 3 heures du matin tous les jours, le système de sécurité ignorera le promeneur de chien et il est possible d'exploiter cette vulnérabilité pour mener une attaque.

À l'avenir, les attaquants pourraient également utiliser la technologie intelligente d'apprentissage automatique pour attaquer les applications d'apprentissage automatique classiques. Par exemple, un nouveau type de système de confrontation générative d’IA. De tels systèmes sont souvent utilisés pour créer du contenu profondément faux, c'est-à-dire des photos ou des vidéos si réalistes qu'elles semblent réelles. Les attaquants les utilisent souvent pour des escroqueries en ligne, mais les mêmes principes peuvent également être utilisés pour générer des logiciels malveillants indétectables.

Dans un réseau antagoniste génératif, un côté est appelé le discriminateur et l'autre côté est appelé le générateur, et ils s'attaquent mutuellement. Par exemple, l’IA antivirus peut essayer de déterminer si un objet est un malware. L'IA génératrice de logiciels malveillants peut tenter de créer des logiciels malveillants que le premier système ne peut pas détecter. Les confrontations répétées entre les deux systèmes peuvent aboutir à des logiciels malveillants presque impossibles à détecter.

Comment se défendre contre l'apprentissage automatique contradictoire

La confrontation généralisée dans le cyberespace rend l'application de l'apprentissage automatique confrontée à de graves défis. Afin de se défendre contre la menace d'attaques contradictoires d'apprentissage automatique, les chercheurs en sécurité ont commencé des recherches sur la sécurité de l'apprentissage automatique contradictoire afin d'améliorer les performances des algorithmes d'apprentissage automatique dans des applications pratiques. La robustesse garantit la sécurité des applications des algorithmes liés à l'apprentissage automatique.

Le cabinet de recherche Gartner recommande que si les entreprises disposent de systèmes d'IA et de ML qui doivent être protégés, elles doivent prendre des mesures de sécurité ciblées. Premièrement, afin de protéger l'intégrité des modèles d'IA, les entreprises doivent adopter les principes d'une IA fiable et effectuer des contrôles de vérification sur les modèles ; , de nombreuses mesures de sécurité traditionnelles peuvent également être appliquées à la protection du système d'IA. Par exemple, les solutions qui protègent les données contre l’accès ou la destruction peuvent également protéger les ensembles de données d’entraînement contre la falsification.

MITRE est célèbre pour sa stratégie contradictoire et son cadre technologique standardisés ATT&CK. Il a également créé un ensemble de cadres d'attaque pour les systèmes d'IA appelé Adversarial Machine Learning Threat Matrix, actuellement connu sous le nom de Adversarial Threat Landscape for Artificial-Intelligence Systems (). ATLAS), il couvre 12 étapes d'attaque des systèmes ML.

De plus, certains fabricants ont commencé à publier des outils de sécurité pour aider les utilisateurs à protéger les systèmes d'IA et à se défendre contre l'apprentissage automatique contradictoire. Microsoft a publié Counterfit en mai 2021, un outil d'automatisation open source pour les tests de sécurité des systèmes d'IA. Counterfit était à l'origine une bibliothèque de scripts d'attaque écrite spécifiquement pour un seul modèle d'IA, puis est devenue un outil d'automatisation général pour les attaques à grande échelle sur plusieurs systèmes d'IA. L'outil peut être utilisé pour automatiser les techniques du cadre d'attaque ATLAS de MITRE, mais peut également être utilisé pendant la phase de développement de l'IA pour détecter les vulnérabilités avant qu'elles ne soient mises en production.

IBM dispose également d'un outil open source de défense contre l'apprentissage automatique contradictoire appelé Adversarial Robustness Toolbox, qui est désormais un projet de la Linux Foundation. Le projet prend en charge tous les frameworks ML populaires et comprend 39 modules d'attaque répartis en quatre catégories : évasion, empoisonnement, extraction et inférence.

Compte tenu des attaques possibles que l'apprentissage automatique peut subir dans la défense du cyberespace, les entreprises devraient également introduire des modèles d'attaquants basés sur l'apprentissage automatique le plus tôt possible, dans le but d'évaluer scientifiquement leurs attributs de sécurité dans des scénarios de menace spécifiques. Dans le même temps, les organisations doivent parfaitement comprendre les méthodes courantes par lesquelles les algorithmes d'apprentissage automatique adverses lancent des attaques d'évasion pendant la phase de test, lancent des attaques d'empoisonnement pendant la phase de formation et lancent le vol de confidentialité pendant toute la phase d'apprentissage automatique, les concevoir et les déployer dans environnements de confrontation réels dans le cyberespace, et être capable de Une méthode de défense qui renforce efficacement la sécurité des modèles d'apprentissage automatique.

Lien de référence :

https://www.csoonline.com/article/3664748/adversarial-machine-learning-explained-how-attackers-disrupt-ai-and-ml-systems.html

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Où trouver la courte de la grue à atomide atomique
1 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Quelle méthode est utilisée pour convertir les chaînes en objets dans vue.js? Quelle méthode est utilisée pour convertir les chaînes en objets dans vue.js? Apr 07, 2025 pm 09:39 PM

Lors de la conversion des chaînes en objets dans vue.js, JSON.Parse () est préféré pour les chaînes JSON standard. Pour les chaînes JSON non standard, la chaîne peut être traitée en utilisant des expressions régulières et réduisez les méthodes en fonction du format ou du codé décodé par URL. Sélectionnez la méthode appropriée en fonction du format de chaîne et faites attention aux problèmes de sécurité et d'encodage pour éviter les bogues.

Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Apr 08, 2025 pm 12:27 PM

Ingénieur backend à distance Emploi Vacant Société: Emplacement du cercle: Bureau à distance Type d'emploi: Salaire à temps plein: 130 000 $ - 140 000 $ Description du poste Participez à la recherche et au développement des applications mobiles Circle et des fonctionnalités publiques liées à l'API couvrant l'intégralité du cycle de vie de développement logiciel. Les principales responsabilités complètent indépendamment les travaux de développement basés sur RubyOnRails et collaborent avec l'équipe frontale React / Redux / Relay. Créez les fonctionnalités de base et les améliorations des applications Web et travaillez en étroite collaboration avec les concepteurs et le leadership tout au long du processus de conception fonctionnelle. Promouvoir les processus de développement positifs et hiérarchiser la vitesse d'itération. Nécessite plus de 6 ans de backend d'applications Web complexe

Vue.js Comment convertir un tableau de type de chaîne en un tableau d'objets? Vue.js Comment convertir un tableau de type de chaîne en un tableau d'objets? Apr 07, 2025 pm 09:36 PM

Résumé: Il existe les méthodes suivantes pour convertir les tableaux de chaîne Vue.js en tableaux d'objets: Méthode de base: utilisez la fonction de carte pour convenir à des données formatées régulières. Gameplay avancé: l'utilisation d'expressions régulières peut gérer des formats complexes, mais ils doivent être soigneusement écrits et considérés. Optimisation des performances: Considérant la grande quantité de données, des opérations asynchrones ou des bibliothèques efficaces de traitement des données peuvent être utilisées. MEILLEUR PRATIQUE: Effacer le style de code, utilisez des noms de variables significatifs et des commentaires pour garder le code concis.

Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Apr 08, 2025 pm 12:24 PM

Traiter efficacement 7 millions d'enregistrements et créer des cartes interactives avec la technologie géospatiale. Cet article explore comment traiter efficacement plus de 7 millions d'enregistrements en utilisant Laravel et MySQL et les convertir en visualisations de cartes interactives. Exigences initiales du projet de défi: extraire des informations précieuses en utilisant 7 millions d'enregistrements dans la base de données MySQL. Beaucoup de gens considèrent d'abord les langages de programmation, mais ignorent la base de données elle-même: peut-il répondre aux besoins? La migration des données ou l'ajustement structurel est-il requis? MySQL peut-il résister à une charge de données aussi importante? Analyse préliminaire: les filtres et les propriétés clés doivent être identifiés. Après analyse, il a été constaté que seuls quelques attributs étaient liés à la solution. Nous avons vérifié la faisabilité du filtre et établi certaines restrictions pour optimiser la recherche. Recherche de cartes basée sur la ville

Comment optimiser les performances de la base de données après l'installation de MySQL Comment optimiser les performances de la base de données après l'installation de MySQL Apr 08, 2025 am 11:36 AM

L'optimisation des performances MySQL doit commencer à partir de trois aspects: configuration d'installation, indexation et optimisation des requêtes, surveillance et réglage. 1. Après l'installation, vous devez ajuster le fichier my.cnf en fonction de la configuration du serveur, tel que le paramètre innodb_buffer_pool_size, et fermer query_cache_size; 2. Créez un index approprié pour éviter les index excessifs et optimiser les instructions de requête, telles que l'utilisation de la commande Explication pour analyser le plan d'exécution; 3. Utilisez le propre outil de surveillance de MySQL (ShowProcessList, Showstatus) pour surveiller la santé de la base de données, et sauvegarde régulièrement et organisez la base de données. Ce n'est qu'en optimisant en continu ces étapes que les performances de la base de données MySQL peuvent être améliorées.

Comment utiliser MySQL après l'installation Comment utiliser MySQL après l'installation Apr 08, 2025 am 11:48 AM

L'article présente le fonctionnement de la base de données MySQL. Tout d'abord, vous devez installer un client MySQL, tel que MySQLWorkBench ou le client de ligne de commande. 1. Utilisez la commande MySQL-UROot-P pour vous connecter au serveur et connecter avec le mot de passe du compte racine; 2. Utilisez Createdatabase pour créer une base de données et utilisez Sélectionner une base de données; 3. Utilisez CreateTable pour créer une table, définissez des champs et des types de données; 4. Utilisez InsertInto pour insérer des données, remettre en question les données, mettre à jour les données par mise à jour et supprimer les données par Supprimer. Ce n'est qu'en maîtrisant ces étapes, en apprenant à faire face à des problèmes courants et à l'optimisation des performances de la base de données que vous pouvez utiliser efficacement MySQL.

Vue et Element-UI Cascade déroulante Boîte en V Mode en V Vue et Element-UI Cascade déroulante Boîte en V Mode en V Apr 07, 2025 pm 08:06 PM

Vue et Element-UI Boîtes déroulantes en cascade Points de fosse de liaison V-model: V-model lie un tableau représentant les valeurs sélectionnées à chaque niveau de la boîte de sélection en cascade, pas une chaîne; La valeur initiale de SelectOptions doit être un tableau vide, non nul ou non défini; Le chargement dynamique des données nécessite l'utilisation de compétences de programmation asynchrones pour gérer les mises à jour des données en asynchrone; Pour les énormes ensembles de données, les techniques d'optimisation des performances telles que le défilement virtuel et le chargement paresseux doivent être prises en compte.

Comment résoudre MySQL ne peut pas être démarré Comment résoudre MySQL ne peut pas être démarré Apr 08, 2025 pm 02:21 PM

Il existe de nombreuses raisons pour lesquelles la startup MySQL échoue, et elle peut être diagnostiquée en vérifiant le journal des erreurs. Les causes courantes incluent les conflits de port (vérifier l'occupation du port et la configuration de modification), les problèmes d'autorisation (vérifier le service exécutant les autorisations des utilisateurs), les erreurs de fichier de configuration (vérifier les paramètres des paramètres), la corruption du répertoire de données (restaurer les données ou reconstruire l'espace de la table), les problèmes d'espace de la table InNODB (vérifier les fichiers IBDATA1), la défaillance du chargement du plug-in (vérification du journal des erreurs). Lors de la résolution de problèmes, vous devez les analyser en fonction du journal d'erreur, trouver la cause profonde du problème et développer l'habitude de sauvegarder régulièrement les données pour prévenir et résoudre des problèmes.

See all articles