機械学習モデルのトレーニングに使用されるデータのセキュリティを確保するにはどうすればよいですか?

サイバー犯罪者にとって、機械学習モデルのパフォーマンスをリモートで操作して悪影響を与えることは難しくありません。

悪意のあるユーザーは、機械学習トレーニング データを汚染したり、トレーニング データ セット内の機密ユーザー情報に不正にアクセスしたり、同様の問題を引き起こしたりする可能性があります。

機械学習と人工知能の導入は、過去 10 年間で急増しました。これらのテクノロジーに関連するアプリケーションは、顔認識や天気予報アプリケーションから、高度なレコメンデーション システムや仮想アシスタントまで多岐にわたります。人工知能が私たちの生活にますます統合されるにつれて、人工知能システムのサイバーセキュリティの問題も発生します。世界経済フォーラムの 2022 年グローバル リスク レポートによると、サイバーセキュリティの障害は、今後 10 年間に注目すべき世界的なリスクのトップ 10 に入っています。

サイバーセキュリティと人工知能は、ある時点で必然的に交差しますが、そのアイデアは、人工知能の力を利用してサイバーセキュリティを強化することです。サイバーセキュリティは適切に存在していますが、機械学習モデルの整合性を保護するにはサイバーセキュリティの力も必要です。これらのモデルに対する脅威は、モデルのトレーニング データというソースから生じます。危険なのは、機械学習のトレーニング データがハッカーによってリモートまたはオンサイトで操作される可能性があることです。サイバー犯罪者はトレーニング データ セットを操作して、アルゴリズムの出力に影響を与え、システムの防御力を低下させます。この方法は、攻撃者がアルゴリズムのユーザーになりすますため、追跡できないことがよくあります。

機械学習のためにトレーニング データを操作するにはどうすればよいですか?

機械学習サイクルには、更新された情報とユーザーの洞察を使用した継続的なトレーニングが含まれます。悪意のあるユーザーは、機械学習モデルに特定の入力を提供することで、このプロセスを操作できます。操作された記録を使用して、銀行口座番号、社会保障の詳細、人口統計情報、機械学習モデルのトレーニング データとして使用されるその他の機密データなどの機密ユーザー情報を特定することができました。

ハッカーが機械学習アルゴリズムを操作するために使用する一般的な方法は次のとおりです。

データポイズニング攻撃

データポイズニングには、機械学習モデルに使用されるトレーニング データの侵害が含まれます。このトレーニング データは、開発者、個人、オープン ソース データベースなどの独立した関係者から取得されます。悪意のある当事者がトレーニング データ セットへの情報提供に関与している場合、アルゴリズムが誤って分類できるように慎重に構築された「有害な」データが与えられることになります。

たとえば、馬を認識するアルゴリズムをトレーニングしている場合、アルゴリズムはトレーニング データ セット内の何千もの画像を処理して馬を識別します。この学習を強化するには、白黒の牛の画像もアルゴリズムに入力します。ただし、誤って茶色の牛の画像をデータセットに追加した場合、モデルはそれを馬として分類します。モデルは、茶色の牛と茶色の馬の違いを区別できるようにトレーニングされるまで違いを理解できません。

同様に、攻撃者はトレーニング データを操作して、自分たちに有利な分類シナリオをモデルに教えることができます。たとえば、マルウェアを無害なソフトウェアと見なし、セキュリティ ソフトウェアを有害なデータを使用する危険なソフトウェアと見なすアルゴリズムをトレーニングすることができます。

データが汚染されるもう 1 つの方法は、機械学習モデルへの「バックドア」を介することです。バックドアは、モデル設計者には知られていない入力の一種ですが、攻撃者がアルゴリズムを操作するために使用する可能性があります。ハッカーは AI システムの脆弱性を見つけると、それを悪用してモデルにやりたいことを直接教えることができます。

攻撃者がバックドアにアクセスして、ファイル内に特定の文字が存在する場合は無害であると分類する必要があることをモデルに教えるとします。現在、攻撃者はこれらの文字を追加することで任意のファイルを無害にすることができ、モデルがそのようなファイルに遭遇すると、訓練されたとおりにそのファイルを無害であると分類します。

データ ポイズニングは、メンバーシップ推論攻撃と呼ばれる別の攻撃とも組み合わされます。 Membership Inference Attack (MIA) アルゴリズムを使用すると、攻撃者は特定のレコードがトレーニング データセットの一部であるかどうかを評価できます。データポイズニングと組み合わせて、メンバーシップ推論攻撃を使用して、トレーニング データ内の情報を部分的に再構築することができます。機械学習モデルは一般化されたデータではうまく機能しますが、トレーニング データでもうまく機能します。メンバーシップ推論攻撃と再構成攻撃は、この機能を利用してトレーニング データと一致する入力を提供し、機械学習モデルの出力を使用してトレーニング データ内のユーザー情報を再作成します。

データポイズニングのインスタンスを検出して防ぐにはどうすればよいですか?

モデルは新しいデータで定期的に再トレーニングされます。この再トレーニング期間中に、有害なデータがトレーニング データ セットに導入される可能性があります。これは時間の経過とともに発生するため、そのようなアクティビティを追跡するのが困難な場合があります。モデル開発者とエンジニアは、入力妥当性テスト、回帰テスト、レート制限、その他の統計手法を通じて、各トレーニング サイクルの前にそのような入力のブロックまたは検出を強制できます。また、1 人のユーザーからの入力数を制限したり、同様の IP アドレスまたはアカウントからの入力が複数あるかどうかを確認したり、ゴールデン データセットに対して再トレーニングされたモデルをテストしたりすることもできます。ゴールデン データセットは、機械学習ベースのトレーニング データセットの実績のある信頼できる参照ポイントです。

ハッカーは、バックドア攻撃を実行するために機械学習モデルがどのように機能するかについての情報を必要としています。したがって、強力なアクセス制御を実装し、情報漏洩を防止することで、この情報を保護することが重要です。アクセス許可の制限、データのバージョン管理、コード変更のログ記録などの一般的なセキュリティ慣行により、モデルのセキュリティが強化され、機械学習トレーニング データがポイズニング攻撃から保護されます。

侵入テストによる防御の構築

企業は、ネットワークの定期的な侵入テストを実施する際に、機械学習および人工知能システムのテストを検討する必要があります。侵入テストは、潜在的な攻撃をシミュレートして、セキュリティ システムの脆弱性を特定します。モデル開発者も同様に、アルゴリズムに対して模擬攻撃を実行して、データポイズニング攻撃に対する防御をどのように構築できるかを確認できます。データ ポイズニングの脆弱性についてモデルをテストする場合、追加される可能性のあるデータ ポイントについて学習し、そのようなデータ ポイントを破棄するメカニズムを構築できます。

一見些細な量の不良データであっても、機械学習モデルが無効になる可能性があります。ハッカーはこの弱点を悪用し、企業データ システムを侵害するようになりました。企業は人工知能への依存度が高まるにつれ、機械学習トレーニング データのセキュリティとプライバシーを保護する必要があり、そうしないと顧客の信頼を失う危険があります。

以上が機械学習モデルのトレーニングに使用されるデータのセキュリティを確保するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。