目次
敵対的機械学習とは
1. ポイズニング攻撃
2. 回避攻撃
3. 抽出攻撃
4. 推論攻撃
敵対的な機械学習から防御する方法
参考リンク:
ホームページ テクノロジー周辺機器 AI AIでAIを攻撃する?敵対的機械学習の脅威と防御

AIでAIを攻撃する?敵対的機械学習の脅威と防御

Apr 09, 2023 pm 06:31 PM
システム 機械学習 ai

人工知能 (Artificial Intelligence、略称 AI) および機械学習 (Machine Learning、略称 ML) プロジェクトを適用し始めている企業組織が増えており、これらのプロジェクトを保護することがますます重要になっています。 IBMとモーニング・コンサルトが共同で実施した調査によると、調査対象となった7,500社以上の多国籍企業のうち、35%がすでにAIを活用しており、昨年より13%増加し、さらに42%が実現可能性を検討しているという。しかし、20%近くの企業がAIシステムからデータを保護することが難しいと報告しており、AI導入のペースが鈍化している。

AI および ML システムのセキュリティ保護は重大な課題に直面していますが、その一部は AI テクノロジー自体が原因ではありません。たとえば、AI や ML システムにはデータが必要ですが、そのデータに機密情報や個人情報が含まれている場合、攻撃者の標的になります。機械学習モデルは、サイバー空間環境における敵対的攻撃の潜在的なリスクにさらされており、防御システムの最も弱いリンクとなり、システム全体のセキュリティを危険にさらす可能性があります。

敵対的機械学習とは

敵対的機械学習は機械学習の一種ではありませんが、攻撃者が ML システムを攻撃するために使用されます。一連の手段。敵対的機械学習は、ML モデルの脆弱性と特性を悪用して攻撃を実行します。たとえば、敵対的機械学習を使用すると、ML 取引アルゴリズムに誤った取引決定をさせたり、不正な操作を検出しにくくしたり、誤った操作の推奨事項を提供したり、センチメント分析に基づいてレポートを操作したりすることができます。

敵対的な機械学習攻撃は、ポイズニング攻撃、回避攻撃、抽出攻撃、推論攻撃の 4 つのタイプに分類されます。

1. ポイズニング攻撃

ポイズニング攻撃では、攻撃者はトレーニング データ セットを操作します。たとえば、データセットに意図的にバイアスをかけると、マシンは間違った方法で学習します。たとえば、あなたの家にはAIベースの防犯カメラが設置されています。攻撃者は毎日午前 3 時に家の前を通りかかり、飼い犬を芝生の上で走らせ、セキュリティ システムを作動させる可能性があります。最終的には、犬に起こされるのを避けるために、午前 3 時に作動するアラームをオフにします。その犬の散歩者は実際に、毎日午前 3 時に起こっていることが無害であることをセキュリティ システムに知らせるためのトレーニング データを提供しています。午前 3 時に起こっても無視するようにシステムが訓練されている場合、攻撃者はその機会を利用して攻撃を開始します。

2. 回避攻撃

回避攻撃では、モデルはトレーニングされていますが、攻撃者は入力をわずかに変更して実行することができます。攻撃。一例は一時停止標識です。攻撃者が降伏タグを適用すると、マシンはそれを一時停止標識ではなく降伏標識として解釈します。上の犬の散歩の例では、犬用のスーツを着た泥棒が家に侵入する可能性があります。攻撃を回避することは、マシン上の目の錯覚のようなものです。

3. 抽出攻撃

抽出攻撃では、攻撃者は AI システムのコピーを取得します。場合によっては、入力と出力を観察するだけでモデルを抽出し、モデルを試してモデルがどのように反応するかを確認できることがあります。モデルを複数回テストできる場合は、モデルに同じように動作するように教えることができます。

たとえば、2019 年に Proofpoint の電子メール保護システムの脆弱性が公開され、生成された電子メール ヘッダーには、電子メールがスパムである可能性を示すスコアが付けられていました。攻撃者はこれらのスコアを使用して、模倣スパム検出エンジンを構築し、検出を回避するスパムを生成できます。

企業が商用 AI 製品を使用している場合、攻撃者はサービスを購入または使用することでモデルのコピーを入手することもできます。たとえば、攻撃者がマルウェアをウイルス対策エンジンに対してテストするために使用できるプラットフォームがあります。上記の犬の散歩の例では、攻撃者は双眼鏡を入手してセキュリティ カメラのブランドを確認し、同じブランドのカメラを購入して防御を回避する方法を見つけることができます。

4. 推論攻撃

推論攻撃では、攻撃者はシステムのトレーニングに使用されたデータ セットを特定し、脆弱性を悪用します。またはバイアスが攻撃を可能にします。トレーニング データを把握できれば、常識的または巧妙なトリックを使用してそれを悪用できます。犬の散歩の例を引き続き使用しますが、攻撃者は近くの通行人や車両の感触を得るために家を監視する可能性があります。毎日午前 3 時に攻撃者が犬の散歩者が通りかかることに気づくと、セキュリティ システムはその犬の散歩者を無視し、この脆弱性を悪用して攻撃を実行する可能性があります。

将来的には、攻撃者はインテリジェントな機械学習テクノロジーを使用して、通常の機械学習アプリケーションを攻撃する可能性もあります。たとえば、新しいタイプの AI 生成対決システム。このようなシステムは、本物のように見える写真やビデオであるディープ フェイク コンテンツの作成によく使用されます。攻撃者はオンライン詐欺にこれらを使用することがよくありますが、同じ原理を使用して検出不可能なマルウェアを生成することもできます。

敵対的生成ネットワークでは、一方はディスクリミネーター、もう一方はジェネレーターと呼ばれ、互いに攻撃します。たとえば、ウイルス対策 AI は、オブジェクトがマルウェアかどうかを判断しようとする場合があります。マルウェアを生成する AI は、最初のシステムが捕捉できないマルウェアを作成しようとする可能性があります。 2 つのシステム間で対立が繰り返されると、最終的には検出がほぼ不可能なマルウェアが生成される可能性があります。

敵対的な機械学習から防御する方法

サイバースペースにおける対立の広がりにより、機械学習の応用は厳しい課題に直面しています。敵対的機械学習攻撃の脅威から守るために、セキュリティ研究者は、機械学習アルゴリズムの実用化を向上させるために、敵対的機械学習に関するセキュリティ研究を開始しました。堅牢性により、機械学習関連のアルゴリズムのアプリケーションのセキュリティが保証されます。

調査会社 Gartner は、企業に保護が必要な AI および ML システムがある場合は、対象を絞ったセキュリティ対策を講じるべきであると推奨しています。第一に、AI モデルの完全性を保護するために、企業は信頼できる AI の原則を採用し、モデルの検証チェックを実施する必要があります。第二に、AI トレーニング データの完全性を保護するために、データ ポイズニング検出技術を使用する必要があります。 、多くの従来のセキュリティ対策は、AI システムの保護にも適用できます。たとえば、データへのアクセスや破壊を防ぐソリューションは、トレーニング データ セットの改ざんからも保護できます。

MITRE は、標準化された ATT&CK 敵対的戦略と技術フレームワークでよく知られています。また、Adversarial Machine Learning Threat Matrix と呼ばれる、AI システム用の一連の敵対的機械学習脅威マトリックスも作成しています。)現在、Adversarial Threat Landscape for Artificial-Intelligence Systems (ATLAS) として知られている攻撃フレームワークは、ML システムへの攻撃の 12 段階をカバーしています。

さらに、一部のメーカーは、ユーザーが AI システムを保護し、敵対的な機械学習から防御できるようにするセキュリティ ツールをリリースし始めています。 Microsoftは2021年5月に、AIシステムのセキュリティテスト用のオープンソース自動化ツールであるCounterfitをリリースした。 Counterfit は元々、単一の AI モデル専用に作成された攻撃スクリプト ライブラリでしたが、後に複数の AI システムに対する大規模な攻撃のための一般的な自動化ツールになりました。このツールは、MITRE の ATLAS 攻撃フレームワークの手法を自動化するために使用できますが、AI 開発段階で使用して、本番環境に導入する前に脆弱性を早期に発見することもできます。

IBM には、Adversarial Robustness Toolbox と呼ばれるオープンソースの敵対的機械学習防御ツールもあります。これは現在 Linux Foundation の下でプロジェクトになっています。このプロジェクトは、一般的な ML フレームワークをすべてサポートしており、回避、ポイズニング、抽出、推論の 4 つのカテゴリに分類された 39 の攻撃モジュールが含まれています。

サイバースペース防御において機械学習が受ける可能性のある攻撃を考慮すると、企業はセキュリティ特性を科学的に評価する目的で、機械学習攻撃者モデルをできるだけ早期に導入する必要もあります。特定の脅威シナリオ。同時に、組織は、敵対的な機械学習アルゴリズムがどのようにテスト段階で回避攻撃を開始し、トレーニング段階でポイズニング攻撃を開始し、機械学習全体の段階でプライバシー窃盗を開始するかを十分に理解し、実際の対決でそれらを設計および導入する必要があります。機械学習モデルのセキュリティを効果的に強化する防御方法。

参考リンク:

https://www.csoonline.com/article/3664748/adversarial-machine-learning-explained-how-attachers-disrupt-ai -and-ml-systems.html

以上がAIでAIを攻撃する?敵対的機械学習の脅威と防御の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

GoおよびViperライブラリを使用するときにポインターを渡す必要があるのはなぜですか? GoおよびViperライブラリを使用するときにポインターを渡す必要があるのはなぜですか? Apr 02, 2025 pm 04:00 PM

ポインター構文とviperライブラリの使用における問題への取り組みGO言語でプログラミングするとき、特にポインターの構文と使用を理解することが重要です...

GO言語の範囲を使用してマップを通過してマップを保存するのに、なぜすべての値が最後の要素になるのですか? GO言語の範囲を使用してマップを通過してマップを保存するのに、なぜすべての値が最後の要素になるのですか? Apr 02, 2025 pm 04:09 PM

GOのマップイテレーションにより、すべての値が最後の要素になるのはなぜですか? Go言語では、いくつかのインタビューの質問に直面したとき、あなたはしばしば地図に遭遇します...

携帯電話用の無料のXMLからPDFツールはありますか? 携帯電話用の無料のXMLからPDFツールはありますか? Apr 02, 2025 pm 09:12 PM

モバイルには、単純で直接無料のXMLからPDFツールはありません。必要なデータ視覚化プロセスには、複雑なデータの理解とレンダリングが含まれ、市場のいわゆる「無料」ツールのほとんどは経験がありません。コンピューター側のツールを使用したり、クラウドサービスを使用したり、アプリを開発してより信頼性の高い変換効果を取得することをお勧めします。

GOモジュールの下でカスタムパッケージを正しくインポートする方法は? GOモジュールの下でカスタムパッケージを正しくインポートする方法は? Apr 02, 2025 pm 03:42 PM

GO言語開発では、カスタムパッケージを適切に導入することが重要なステップです。この記事では、「ゴラン...

XML形式を美化する方法 XML形式を美化する方法 Apr 02, 2025 pm 09:57 PM

XMLの美化は、合理的なインデンテーション、ラインブレーク、タグ組織など、本質的に読みやすさを向上させています。原則は、XMLツリーを通過し、レベルに応じてインデントを追加し、テキストを含む空のタグとタグを処理することです。 PythonのXML.ETREE.ELEMENTTREEライブラリは、上記の美化プロセスを実装できる便利なchile_xml()関数を提供します。

XML形式を確認する方法 XML形式を確認する方法 Apr 02, 2025 pm 10:00 PM

XML形式の検証には、その構造とDTDまたはスキーマへのコンプライアンスを確認することが含まれます。 ElementTree(基本的な構文チェック)やLXML(より強力な検証、XSDサポート)など、XMLパーサーが必要です。検証プロセスでは、XMLファイルを解析し、XSDスキーマをロードし、AssertValidメソッドを実行してエラーが検出されたときに例外をスローすることが含まれます。 XML形式の確認には、さまざまな例外を処理し、XSDスキーマ言語に関する洞察を得る必要があります。

C言語でchar配列の使用方法 C言語でchar配列の使用方法 Apr 03, 2025 pm 03:24 PM

Char Arrayは文字シーケンスをC言語で保存し、char array_name [size]として宣言されます。アクセス要素はサブスクリプト演算子に渡され、要素は文字列のエンドポイントを表すnullターミネーター「\ 0」で終了します。 C言語は、strlen()、strcpy()、strcat()、strcmp()など、さまざまな文字列操作関数を提供します。

GOでロックを使用するコードが時々パニックにつながるのはなぜですか? GOでロックを使用するコードが時々パニックにつながるのはなぜですか? Apr 02, 2025 pm 04:36 PM

ロックを使用すると、なぜパニックを引き起こすのですか?興味深い質問を見てみましょう。コードにロックが追加されたとしても、時々...

See all articles