AIでAIを攻撃する？敵対的機械学習の脅威と防御-AI-php.cn

人工知能 (Artificial Intelligence、略称 AI) および機械学習 (Machine Learning、略称 ML) プロジェクトを適用し始めている企業組織が増えており、これらのプロジェクトを保護することがますます重要になっています。 IBMとモーニング・コンサルトが共同で実施した調査によると、調査対象となった7,500社以上の多国籍企業のうち、35％がすでにAIを活用しており、昨年より13％増加し、さらに42％が実現可能性を検討しているという。しかし、20%近くの企業がAIシステムからデータを保護することが難しいと報告しており、AI導入のペースが鈍化している。

AI および ML システムのセキュリティ保護は重大な課題に直面していますが、その一部は AI テクノロジー自体が原因ではありません。たとえば、AI や ML システムにはデータが必要ですが、そのデータに機密情報や個人情報が含まれている場合、攻撃者の標的になります。機械学習モデルは、サイバー空間環境における敵対的攻撃の潜在的なリスクにさらされており、防御システムの最も弱いリンクとなり、システム全体のセキュリティを危険にさらす可能性があります。

敵対的機械学習とは

敵対的機械学習は機械学習の一種ではありませんが、攻撃者が ML システムを攻撃するために使用されます。一連の手段。敵対的機械学習は、ML モデルの脆弱性と特性を悪用して攻撃を実行します。たとえば、敵対的機械学習を使用すると、ML 取引アルゴリズムに誤った取引決定をさせたり、不正な操作を検出しにくくしたり、誤った操作の推奨事項を提供したり、センチメント分析に基づいてレポートを操作したりすることができます。

敵対的な機械学習攻撃は、ポイズニング攻撃、回避攻撃、抽出攻撃、推論攻撃の 4 つのタイプに分類されます。

1. ポイズニング攻撃

ポイズニング攻撃では、攻撃者はトレーニングデータセットを操作します。たとえば、データセットに意図的にバイアスをかけると、マシンは間違った方法で学習します。たとえば、あなたの家にはAIベースの防犯カメラが設置されています。攻撃者は毎日午前 3 時に家の前を通りかかり、飼い犬を芝生の上で走らせ、セキュリティシステムを作動させる可能性があります。最終的には、犬に起こされるのを避けるために、午前 3 時に作動するアラームをオフにします。その犬の散歩者は実際に、毎日午前 3 時に起こっていることが無害であることをセキュリティシステムに知らせるためのトレーニングデータを提供しています。午前 3 時に起こっても無視するようにシステムが訓練されている場合、攻撃者はその機会を利用して攻撃を開始します。

2. 回避攻撃

回避攻撃では、モデルはトレーニングされていますが、攻撃者は入力をわずかに変更して実行することができます。攻撃。一例は一時停止標識です。攻撃者が降伏タグを適用すると、マシンはそれを一時停止標識ではなく降伏標識として解釈します。上の犬の散歩の例では、犬用のスーツを着た泥棒が家に侵入する可能性があります。攻撃を回避することは、マシン上の目の錯覚のようなものです。

3. 抽出攻撃

抽出攻撃では、攻撃者は AI システムのコピーを取得します。場合によっては、入力と出力を観察するだけでモデルを抽出し、モデルを試してモデルがどのように反応するかを確認できることがあります。モデルを複数回テストできる場合は、モデルに同じように動作するように教えることができます。

たとえば、2019 年に Proofpoint の電子メール保護システムの脆弱性が公開され、生成された電子メールヘッダーには、電子メールがスパムである可能性を示すスコアが付けられていました。攻撃者はこれらのスコアを使用して、模倣スパム検出エンジンを構築し、検出を回避するスパムを生成できます。

企業が商用 AI 製品を使用している場合、攻撃者はサービスを購入または使用することでモデルのコピーを入手することもできます。たとえば、攻撃者がマルウェアをウイルス対策エンジンに対してテストするために使用できるプラットフォームがあります。上記の犬の散歩の例では、攻撃者は双眼鏡を入手してセキュリティカメラのブランドを確認し、同じブランドのカメラを購入して防御を回避する方法を見つけることができます。

4. 推論攻撃

推論攻撃では、攻撃者はシステムのトレーニングに使用されたデータセットを特定し、脆弱性を悪用します。またはバイアスが攻撃を可能にします。トレーニングデータを把握できれば、常識的または巧妙なトリックを使用してそれを悪用できます。犬の散歩の例を引き続き使用しますが、攻撃者は近くの通行人や車両の感触を得るために家を監視する可能性があります。毎日午前 3 時に攻撃者が犬の散歩者が通りかかることに気づくと、セキュリティシステムはその犬の散歩者を無視し、この脆弱性を悪用して攻撃を実行する可能性があります。

将来的には、攻撃者はインテリジェントな機械学習テクノロジーを使用して、通常の機械学習アプリケーションを攻撃する可能性もあります。たとえば、新しいタイプの AI 生成対決システム。このようなシステムは、本物のように見える写真やビデオであるディープフェイクコンテンツの作成によく使用されます。攻撃者はオンライン詐欺にこれらを使用することがよくありますが、同じ原理を使用して検出不可能なマルウェアを生成することもできます。

敵対的生成ネットワークでは、一方はディスクリミネーター、もう一方はジェネレーターと呼ばれ、互いに攻撃します。たとえば、ウイルス対策 AI は、オブジェクトがマルウェアかどうかを判断しようとする場合があります。マルウェアを生成する AI は、最初のシステムが捕捉できないマルウェアを作成しようとする可能性があります。 2 つのシステム間で対立が繰り返されると、最終的には検出がほぼ不可能なマルウェアが生成される可能性があります。

敵対的な機械学習から防御する方法

サイバースペースにおける対立の広がりにより、機械学習の応用は厳しい課題に直面しています。敵対的機械学習攻撃の脅威から守るために、セキュリティ研究者は、機械学習アルゴリズムの実用化を向上させるために、敵対的機械学習に関するセキュリティ研究を開始しました。堅牢性により、機械学習関連のアルゴリズムのアプリケーションのセキュリティが保証されます。

調査会社 Gartner は、企業に保護が必要な AI および ML システムがある場合は、対象を絞ったセキュリティ対策を講じるべきであると推奨しています。第一に、AI モデルの完全性を保護するために、企業は信頼できる AI の原則を採用し、モデルの検証チェックを実施する必要があります。第二に、AI トレーニングデータの完全性を保護するために、データポイズニング検出技術を使用する必要があります。、多くの従来のセキュリティ対策は、AI システムの保護にも適用できます。たとえば、データへのアクセスや破壊を防ぐソリューションは、トレーニングデータセットの改ざんからも保護できます。

MITRE は、標準化された ATT&CK 敵対的戦略と技術フレームワークでよく知られています。また、Adversarial Machine Learning Threat Matrix と呼ばれる、AI システム用の一連の敵対的機械学習脅威マトリックスも作成しています。)現在、Adversarial Threat Landscape for Artificial-Intelligence Systems (ATLAS) として知られている攻撃フレームワークは、ML システムへの攻撃の 12 段階をカバーしています。

さらに、一部のメーカーは、ユーザーが AI システムを保護し、敵対的な機械学習から防御できるようにするセキュリティツールをリリースし始めています。 Microsoftは2021年5月に、AIシステムのセキュリティテスト用のオープンソース自動化ツールであるCounterfitをリリースした。 Counterfit は元々、単一の AI モデル専用に作成された攻撃スクリプトライブラリでしたが、後に複数の AI システムに対する大規模な攻撃のための一般的な自動化ツールになりました。このツールは、MITRE の ATLAS 攻撃フレームワークの手法を自動化するために使用できますが、AI 開発段階で使用して、本番環境に導入する前に脆弱性を早期に発見することもできます。

IBM には、Adversarial Robustness Toolbox と呼ばれるオープンソースの敵対的機械学習防御ツールもあります。これは現在 Linux Foundation の下でプロジェクトになっています。このプロジェクトは、一般的な ML フレームワークをすべてサポートしており、回避、ポイズニング、抽出、推論の 4 つのカテゴリに分類された 39 の攻撃モジュールが含まれています。

サイバースペース防御において機械学習が受ける可能性のある攻撃を考慮すると、企業はセキュリティ特性を科学的に評価する目的で、機械学習攻撃者モデルをできるだけ早期に導入する必要もあります。特定の脅威シナリオ。同時に、組織は、敵対的な機械学習アルゴリズムがどのようにテスト段階で回避攻撃を開始し、トレーニング段階でポイズニング攻撃を開始し、機械学習全体の段階でプライバシー窃盗を開始するかを十分に理解し、実際の対決でそれらを設計および導入する必要があります。機械学習モデルのセキュリティを効果的に強化する防御方法。