Comment assurer la sécurité des données utilisées pour entraîner les modèles de machine learning ?

Il n’est pas difficile pour les cybercriminels de manipuler à distance et d’avoir un impact négatif sur les performances des modèles d’apprentissage automatique.

Les utilisateurs malveillants peuvent empoisonner les données d'entraînement du machine learning, accéder illégalement aux informations utilisateur sensibles dans les ensembles de données d'entraînement et provoquer d'autres problèmes similaires.

L'adoption de l'apprentissage automatique et de l'intelligence artificielle a explosé au cours de la dernière décennie. Les applications impliquant ces technologies vont des applications de reconnaissance faciale et de prévisions météorologiques aux systèmes de recommandation sophistiqués et aux assistants virtuels. Alors que l’intelligence artificielle s’intègre de plus en plus dans nos vies, la question de la cybersécurité dans les systèmes d’intelligence artificielle se pose également. Selon le rapport sur les risques mondiaux 2022 du Forum économique mondial, les défaillances en matière de cybersécurité font partie des 10 principaux risques mondiaux à surveiller au cours de la prochaine décennie.

La cybersécurité et l'IA se croiseront inévitablement à un moment donné, mais l'idée est d'exploiter la puissance de l'IA pour améliorer la cybersécurité. Même si elle existe à sa place, la puissance de la cybersécurité est également nécessaire pour protéger l’intégrité des modèles d’apprentissage automatique. La menace qui pèse sur ces modèles vient de la source : les données d'entraînement du modèle. Le danger est que les données de formation du machine learning puissent être manipulées par des pirates informatiques, à distance ou sur site. Les cybercriminels manipulent les ensembles de données de formation pour influencer les résultats des algorithmes et dégrader les défenses du système. Cette méthode est souvent intraçable car l’attaquant se fait passer pour l’utilisateur de l’algorithme.

Comment manipuler les données d'entraînement pour le machine learning ?

Le cycle d'apprentissage automatique implique une formation continue utilisant des informations mises à jour et des informations sur les utilisateurs. Les utilisateurs malveillants peuvent manipuler ce processus en fournissant des entrées spécifiques au modèle d'apprentissage automatique. À l’aide des enregistrements manipulés, ils ont pu déterminer des informations confidentielles sur les utilisateurs telles que des numéros de compte bancaire, des détails de sécurité sociale, des informations démographiques et d’autres données classifiées utilisées comme données de formation pour les modèles d’apprentissage automatique.

Certaines méthodes courantes utilisées par les pirates pour manipuler les algorithmes d'apprentissage automatique sont :

Attaques d'empoisonnement des données

L'empoisonnement des données implique la compromission des données d'entraînement utilisées pour les modèles d'apprentissage automatique. Ces données de formation proviennent de parties indépendantes telles que des développeurs, des particuliers et des bases de données open source. Si une partie malveillante est impliquée dans la fourniture d'informations à un ensemble de données de formation, elle recevra des données « toxiques » soigneusement construites afin que l'algorithme les classe mal.

Par exemple, si vous entraînez un algorithme pour reconnaître les chevaux, l'algorithme traitera des milliers d'images dans l'ensemble de données d'entraînement pour identifier les chevaux. Pour enrichir cet apprentissage, vous alimentez également l’algorithme en images de vaches en noir et blanc. Cependant, si vous ajoutez accidentellement l’image d’une vache brune à l’ensemble de données, le modèle la classera comme cheval. Le modèle ne comprendra pas la différence tant qu’il ne sera pas entraîné à faire la différence entre une vache brune et un cheval brun.

De même, les attaquants peuvent manipuler les données de formation pour enseigner aux modèles des scénarios de classification qui les favorisent. Par exemple, ils pourraient entraîner des algorithmes à considérer les logiciels malveillants comme des logiciels inoffensifs et les logiciels de sécurité comme des logiciels dangereux utilisant des données toxiques.

Une autre façon d’empoisonner les données consiste à utiliser une « porte dérobée » vers les modèles d’apprentissage automatique. Une porte dérobée est un type d'entrée qui peut ne pas être connu du concepteur du modèle, mais qui peut être utilisée par un attaquant pour manipuler l'algorithme. Une fois que les pirates ont découvert une vulnérabilité dans un système d’IA, ils peuvent l’exploiter pour enseigner directement au modèle ce qu’ils veulent faire.

Supposons qu'un attaquant accède à une porte dérobée pour enseigner au modèle que lorsque certains caractères sont présents dans un fichier, celui-ci doit être classé comme inoffensif. Désormais, un attaquant peut rendre n'importe quel fichier inoffensif en ajoutant ces caractères, et chaque fois que le modèle rencontre un tel fichier, il le classera comme inoffensif comme il a été formé pour le faire.

L'empoisonnement des données est également combiné à une autre attaque appelée attaque par inférence d'adhésion. L'algorithme Membership Inference Attack (MIA) permet à un attaquant d'évaluer si un enregistrement spécifique fait partie de l'ensemble de données de formation. Combinées à l’empoisonnement des données, les attaques par inférence d’appartenance peuvent être utilisées pour reconstruire partiellement les informations contenues dans les données d’entraînement. Bien que les modèles d’apprentissage automatique fonctionnent bien sur les données généralisées, ils fonctionnent bien sur les données d’entraînement. Les attaques d'inférence d'adhésion et les attaques de reconstruction exploitent cette capacité à fournir une entrée qui correspond aux données d'entraînement et à utiliser la sortie du modèle d'apprentissage automatique pour recréer les informations utilisateur dans les données d'entraînement.

Comment détecter et prévenir les cas d’empoisonnement des données ?

Le modèle est périodiquement recyclé avec de nouvelles données, et c'est pendant cette période de recyclage que les données toxiques peuvent être introduites dans l'ensemble de données de formation. Comme cela se produit au fil du temps, il est difficile de suivre une telle activité. Les développeurs de modèles et les ingénieurs peuvent imposer le blocage ou la détection de ces entrées avant chaque cycle de formation grâce à des tests de validité des entrées, des tests de régression, une limitation de débit et d'autres techniques statistiques. Ils peuvent également limiter le nombre d'entrées d'un seul utilisateur, vérifier s'il existe plusieurs entrées provenant d'adresses IP ou de comptes similaires et tester des modèles recyclés par rapport à des ensembles de données privilégiés. Les ensembles de données Golden sont des points de référence éprouvés et fiables pour les ensembles de données de formation basés sur l'apprentissage automatique.

Les pirates ont besoin d'informations sur le fonctionnement des modèles d'apprentissage automatique pour effectuer des attaques par porte dérobée. Il est donc important de protéger ces informations en mettant en œuvre des contrôles d’accès stricts et en empêchant les fuites d’informations. Les pratiques de sécurité générales telles que la restriction des autorisations, la gestion des versions des données et la journalisation des modifications du code renforceront la sécurité des modèles et protégeront les données d'entraînement du machine learning contre les attaques d'empoisonnement.

Construisez des défenses grâce aux tests d'intrusion

Les entreprises devraient envisager de tester les systèmes d'apprentissage automatique et d'intelligence artificielle lorsqu'elles effectuent régulièrement des tests d'intrusion de leurs réseaux. Les tests d'intrusion simulent des attaques potentielles pour identifier les vulnérabilités des systèmes de sécurité. Les développeurs de modèles peuvent également exécuter des attaques simulées sur leurs algorithmes pour voir comment ils peuvent construire des défenses contre les attaques d’empoisonnement des données. Lorsque vous testez votre modèle pour détecter les vulnérabilités d’empoisonnement des données, vous pouvez en savoir plus sur les points de données éventuellement ajoutés et créer des mécanismes pour supprimer ces points de données.

Même des quantités apparemment insignifiantes de mauvaises données peuvent rendre les modèles d'apprentissage automatique inefficaces. Les pirates se sont adaptés pour exploiter cette faiblesse et compromettre les systèmes de données des entreprises. Alors que les entreprises s’appuient de plus en plus sur l’intelligence artificielle, elles doivent protéger la sécurité et la confidentialité des données de formation en apprentissage automatique, sous peine de perdre la confiance des clients.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!