目次
敵対的画像
人間の知覚に対する敵対的な影響
実験" >実験
ホームページ テクノロジー周辺機器 AI Google DeepMind の調査では、敵対的攻撃が人間と AI の視覚認識に影響を与え、花瓶を猫と間違える可能性があることが判明しました。

Google DeepMind の調査では、敵対的攻撃が人間と AI の視覚認識に影響を与え、花瓶を猫と間違える可能性があることが判明しました。

Jan 09, 2024 pm 02:50 PM
ai

人間のニューラル ネットワーク (脳) と人工ニューラル ネットワーク (ANN) の関係は何ですか?

ある先生は、これをこう例えました。ネズミとミッキーマウスの関係に似ています。

現実のニューラル ネットワークは強力ですが、人間が知覚、学習、理解する方法とはまったく異なります。

たとえば、ANN は人間の知覚では通常見られない脆弱性を示し、敵対的な摂動の影響を受けやすくなります。

画像では、数ピクセルの値を変更するか、ノイズ データを追加するだけで済みます。

から人間の視点、観察に違いはなく、画像分類ネットワークにとっては全く無関係なカテゴリとして認識されます。

しかし、Google DeepMind の最新の調査では、これまでの見解が間違っている可能性があることが示されています。

デジタル画像のわずかな変化でも、人間の知覚に影響を与える可能性があります。

言い換えれば、人間の判断は、そのような敵対的な摂動によって影響を受ける可能性もあります。

Google DeepMind の調査では、敵対的攻撃が人間と AI の視覚認識に影響を与え、花瓶を猫と間違える可能性があることが判明しました。

#論文アドレス: https://www.nature.com/articles/s41467-023-40499-0

Google DeepMind によるこの記事は、Nature Communications に掲載されました。

この論文では、制御された試験条件下で人間も同じ摂動に対して敏感性を示す可能性があるかどうかを調査しています。

研究者たちは一連の実験を通じてこれを証明しました。

同時に、これは人間の視覚と機械の視覚の類似点も示しています。

敵対的画像

敵対的画像とは、AI モデルが画像コンテンツを誤って分類する原因となる画像への微妙な変更です。 - このタイプ意図的な欺瞞を敵対的攻撃と呼びます。

たとえば、AI モデルに花瓶を猫、または花瓶以外のものとして分類させる攻撃がターゲットになる可能性があります。

Google DeepMind の調査では、敵対的攻撃が人間と AI の視覚認識に影響を与え、花瓶を猫と間違える可能性があることが判明しました。

上の図は、敵対的攻撃のプロセスを示しています (人間の観察の便宜上、中央のランダムな摂動は誇張されています)。

デジタル画像では、RGB 画像の各ピクセルは 0 ~ 255 (深さ 8 ビット) の値を持ち、その値は単一ピクセルの強度を表します。

敵対的攻撃の場合、狭い範囲でピクセル値を変更することで攻撃効果が得られる場合があります。

現実の世界では、一時停止標識を速度制限標識と誤認識させるなど、物理的オブジェクトに対する敵対的攻撃も成功する可能性があります。

そのため、セキュリティ上の理由から、研究者たちはすでに敵対的な攻撃を防御し、リスクを軽減する方法に取り組んでいます。

人間の知覚に対する敵対的な影響

これまでの研究では、人は明確な形状の手がかりを提供する大きな振幅の画像の摂動に敏感である可能性があることが示されています。

しかし、より微妙な敵対的攻撃は人間にどのような影響を与えるのでしょうか?人は画像内の摂動を無害なランダムな画像ノイズとして認識しますか?また、それは人間の知覚に影響を与えますか?

これを解明するために、研究者たちは制御された行動実験を実施しました。

まず、一連の生の画像が取得され、各画像に対して 2 つの敵対的攻撃が実行され、複数のペアの摂動画像が生成されます。

以下のアニメーションの例では、元の画像はモデルによって「花瓶」として分類されています。

敵対的攻撃により、モデルは 2 つの乱れた画像を高い確信度で「猫」と「トラック」として誤分類しました。

Google DeepMind の調査では、敵対的攻撃が人間と AI の視覚認識に影響を与え、花瓶を猫と間違える可能性があることが判明しました。

次に、人間の参加者に 2 つの画像を見せて、的を絞った質問をしました: どちらの画像がより猫に似ていますか? ?

どちらの写真も猫には見えませんでしたが、選択を迫られました。

多くの場合、被験者は自分がランダムな選択をしたと信じていますが、本当にそうなのでしょうか?

脳が微妙な敵対的攻撃に鈍感であれば、被験者は 50% の確率でそれぞれの写真を選択するでしょう。

ただし、実験によると、選択率 (つまり、人間の知覚バイアス) は実際には偶然 (50%) よりも高く、実際には画像ピクセルの調整は非常に小さいことがわかりました。 。

参加者の観点からは、2 つのほぼ同一の画像を区別するように求められているように感じます。しかし、これまでの研究では、自信や認識を伝えるには信号が弱すぎるにもかかわらず、人は選択をするときに弱い知覚信号を使用することが示されています。

この例では、花瓶が見えるかもしれませんが、脳内の何らかの活動により、そこには猫の影があることがわかります。

Google DeepMind の調査では、敵対的攻撃が人間と AI の視覚認識に影響を与え、花瓶を猫と間違える可能性があることが判明しました。

#上の図は、敵対的な画像のペアを示しています。上の画像のペアは最大振幅 2 ピクセルで微妙に摂動されており、ニューラル ネットワークがそれらをそれぞれ「トラック」と「猫」として誤分類します。 (ボランティアには「どちらがより猫に似ていますか?」と尋ねられました。)

下の画像ペアの乱れはより明白で、最大振幅は 16 ピクセルですが、これは誤っていました。ニューラルネットワークにより「椅子」と「羊」に分類されます。 (今回の質問は「どちらが羊に似ていますか?」)

各実験において、参加者は半分以上の確率で対象の質問に対する答えを確実に選択しました。 。人間の視覚は機械の視覚ほど敵対的な摂動の影響を受けにくいものの、これらの摂動は依然として人間に機械による決定を支持するバイアスを与える可能性があります。

人間の知覚が敵対的な画像によって影響を受ける可能性がある場合、これは新たな、しかし重大なセキュリティ問題となります。

これには、人工知能の視覚システムの動作と人間の知覚の類似点と相違点を調査し、より安全な人工知能システムを構築するための徹底的な研究が必要です。

論文の詳細

敵対的摂動を生成するための標準手順は、RGB 画像を確率分布にマッピングする事前トレーニング済み ANN 分類器から始まります。固定されたクラスのセット。

画像に変更を加えると (特定のピクセルの赤色の強度を高めるなど)、出力確率分布にわずかな変化が生じます。

敵対的な画像が検索され (勾配降下法)、ANN が正しいクラスに割り当てられる確率を下げる原因となる元の画像の摂動が取得されます (非標的型攻撃)。高い確率を割り当てる 特定の指定された代替カテゴリ (標的型攻撃) を与えます。

摂動が元の画像から大きく逸脱しないようにするために、敵対的機械学習の文献では L (∞) ノルム制約がよく適用され、ピクセルが逸脱できないことを指定します。元の値から ±ε を超えて大きくなる場合、ε は通常、[0 ~ 255] ピクセルの強度範囲よりもはるかに小さくなります。

この制約は、各 RGB カラー プレーンのピクセルに適用されます。この制限によって個人が画像の変化を検出することは妨げられませんが、ε を適切に選択することで、元の画像カテゴリを示す主信号は摂動画像内でほとんどそのまま残ります。

実験

元の実験では、著者らは、短く隠された敵対的な画像に対する人間の反応を研究しました。 。

曝露時間を制限して分類誤差を増やすことにより、この実験は、そうでなければ分類の決定に影響を及ぼさないかもしれない刺激の側面に対する個人の感受性を高めるように設計されました。

敵対的摂動が実際のクラス T の画像に対して実行されます。摂動を最適化することにより、ANN は画像を A​​ として誤分類する傾向があります。参加者は、T と A のどちらかを強制的に選択するように求められました。

Google DeepMind の調査では、敵対的攻撃が人間と AI の視覚認識に影響を与え、花瓶を猫と間違える可能性があることが判明しました。

研究者らはまた、条件 A で上下を反転して取得したコントロール画像について参加者をテストしました。

この単純な変換は、敵対的摂動と画像の間のピクセル間の対応を壊し、摂動の仕様とその他の統計データを保持しながら、ANN に対する敵対的摂動の影響を大幅に排除します。

その結果、参加者は対照画像と比較して、摂動画像をカテゴリー A と判断する可能性が高いことがわかりました。

上記の実験 1 では、簡単なマスキング デモンストレーションを使用して、元の画像カテゴリ (主信号) の応答への影響を制限し、それによって敵対的な摂動 (従属信号) に対する感度を明らかにしました。

研究者らは、同じ目的を持った他の 3 つの実験も計画しましたが、大規模な摂動や限られた露出での観察の必要性は避けられました。

これらの実験では、画像内の主要な信号が応答の選択を体系的に誘導しないため、従属的な信号の影響が現れます。

Google DeepMind の調査では、敵対的攻撃が人間と AI の視覚認識に影響を与え、花瓶を猫と間違える可能性があることが判明しました。

各実験では、マスクされていない刺激のほぼ同一のペアが提示され、応答が選択されるまで表示されたままになりました。刺激のペアは同じドミナント信号を持ち、どちらも同じ基礎となる画像の変調ですが、異なるスレーブ信号を持ちます。参加者は、対象カテゴリのインスタンスによりよく似た画像を選択するように求められました。

実験 2 では、両方の刺激が T カテゴリに属する​​画像でした。そのうちの 1 つは摂動され、ANN はそれが T カテゴリに近いと予測しました。もう 1 つは摂動され、は、T カテゴリにさえ属さないと予測されました。

実験 3 では、刺激は実際のカテゴリ T に属する画像であり、そのうちの 1 つが摂動されて ANN の分類が変更され、ターゲットの敵対的なカテゴリ A に近づきます。 、もう 1 つは同じ摂動を使用しますが、制御条件として左右を反転しました。

このコントロールの効果は、摂動のノルムとその他の統計を保存することですが、画像の左側と右側が異なるため、実験 1 のコントロールよりも保守的です。画像の上部と下部よりも多くの特徴があり、より類似した統計がある可能性があります。

実験 4 の画像のペアも実際のカテゴリ T の変調であり、1 つはカテゴリ A に近くなるように摂動され、もう 1 つはカテゴリ 3 に近くなります。試験では、参加者にカテゴリー A に近い画像を選択するか、カテゴリー 3 に近い画像を選択するかを交互に依頼しました。

実験 2 ~ 4 では、各画像の人間の知覚バイアスは、ANN のバイアスと有意に正の相関がありました。摂動の振幅の範囲は 2 ~ 16 で、人間の参加者を対象に以前に研究された摂動よりも小さく、敵対的な機械学習の研究で使用される摂動と同様です。

驚くべきことに、たとえ 2 ピクセルの強度レベルの摂動でも、人間の知覚に確実に影響を与えるには十分です。

Google DeepMind の調査では、敵対的攻撃が人間と AI の視覚認識に影響を与え、花瓶を猫と間違える可能性があることが判明しました。

実験 2 の強みは、参加者が直感的に判断する必要があることです (例: 動揺した 2 つの猫の画像のどちらがより猫に似ているか) ;

ただし、実験 2 では、画像をシャープにしたりぼかしたりするだけで、敵対的な摂動によって画像を多かれ少なかれ猫っぽくすることができます。

実験 3 の利点は、摂動の最大振幅だけでなく、比較された摂動のすべての統計が一致することです。

ただし、摂動統計を一致させても、画像に摂動を追加したときにその摂動が同等に知覚できるとは限りません。そのため、参加者は画像の歪みに基づいて選択を行う可能性があります。

実験 4 の強みは、同じ画像ペアが質問に応じて系統的に異なる反応を生成するため、参加者が質問に敏感であることを示していることです。

しかし、実験 4 では、参加者に一見不条理な質問 (例: 2 つのオムレツの画像のどちらがより猫に似ていますか?) に答えるように依頼し、質問の解釈の仕方のばらつきを引き起こしました。

まとめると、実験 2 ~ 4 は、無制限の視聴時間による非常に小さな摂動でさえ AI ネットワークに強い影響を与える可能性があることを示す収束した証拠を提供します。下位の対立信号は人間の知覚と判断にも影響を与えます同じ方向に。

さらに、敵対的な摂動が実際の結果をもたらすには、観察時間 (自然に知覚される環境) を延長することが重要です。

以上がGoogle DeepMind の調査では、敵対的攻撃が人間と AI の視覚認識に影響を与え、花瓶を猫と間違える可能性があることが判明しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

vue.jsのストリングをオブジェクトに変換するためにどのような方法が使用されますか? vue.jsのストリングをオブジェクトに変換するためにどのような方法が使用されますか? Apr 07, 2025 pm 09:39 PM

vue.jsのオブジェクトに文字列を変換する場合、標準のjson文字列にはjson.parse()が推奨されます。非標準のJSON文字列の場合、文字列は正規表現を使用して処理し、フォーマットまたはデコードされたURLエンコードに従ってメソッドを削減できます。文字列形式に従って適切な方法を選択し、バグを避けるためにセキュリティとエンコードの問題に注意してください。

Laravelの地理空間:インタラクティブマップと大量のデータの最適化 Laravelの地理空間:インタラクティブマップと大量のデータの最適化 Apr 08, 2025 pm 12:24 PM

700万のレコードを効率的に処理し、地理空間技術を使用したインタラクティブマップを作成します。この記事では、LaravelとMySQLを使用して700万を超えるレコードを効率的に処理し、それらをインタラクティブなマップの視覚化に変換する方法について説明します。最初の課題プロジェクトの要件:MySQLデータベースに700万のレコードを使用して貴重な洞察を抽出します。多くの人は最初に言語をプログラミングすることを検討しますが、データベース自体を無視します。ニーズを満たすことができますか?データ移行または構造調​​整は必要ですか? MySQLはこのような大きなデータ負荷に耐えることができますか?予備分析:キーフィルターとプロパティを特定する必要があります。分析後、ソリューションに関連している属性はわずかであることがわかりました。フィルターの実現可能性を確認し、検索を最適化するためにいくつかの制限を設定しました。都市に基づくマップ検索

MySQLを解決する方法は開始できません MySQLを解決する方法は開始できません Apr 08, 2025 pm 02:21 PM

MySQLの起動が失敗する理由はたくさんあり、エラーログをチェックすることで診断できます。一般的な原因には、ポートの競合(ポート占有率をチェックして構成の変更)、許可の問題(ユーザー許可を実行するサービスを確認)、構成ファイルエラー(パラメーター設定のチェック)、データディレクトリの破損(テーブルスペースの復元)、INNODBテーブルスペースの問題(IBDATA1ファイルのチェック)、プラグインロード障害(エラーログのチェック)が含まれます。問題を解決するときは、エラーログに基づいてそれらを分析し、問題の根本原因を見つけ、問題を防ぐために定期的にデータをバックアップする習慣を開発する必要があります。

vue.js文字列タイプの配列をオブジェクトの配列に変換する方法は? vue.js文字列タイプの配列をオブジェクトの配列に変換する方法は? Apr 07, 2025 pm 09:36 PM

概要:Vue.js文字列配列をオブジェクト配列に変換するための次の方法があります。基本方法:定期的なフォーマットデータに合わせてマップ関数を使用します。高度なゲームプレイ:正規表現を使用すると、複雑な形式を処理できますが、慎重に記述して考慮する必要があります。パフォーマンスの最適化:大量のデータを考慮すると、非同期操作または効率的なデータ処理ライブラリを使用できます。ベストプラクティス:コードスタイルをクリアし、意味のある変数名とコメントを使用して、コードを簡潔に保ちます。

Vue Axiosのタイムアウトを設定する方法 Vue Axiosのタイムアウトを設定する方法 Apr 07, 2025 pm 10:03 PM

Vue axiosのタイムアウトを設定するために、Axiosインスタンスを作成してタイムアウトオプションを指定できます。グローバル設定:Vue.Prototype。$ axios = axios.create({Timeout:5000});単一のリクエストで:this。$ axios.get( '/api/users'、{timeout:10000})。

インストール後にMySQLの使用方法 インストール後にMySQLの使用方法 Apr 08, 2025 am 11:48 AM

この記事では、MySQLデータベースの操作を紹介します。まず、MySQLWorkBenchやコマンドラインクライアントなど、MySQLクライアントをインストールする必要があります。 1. mysql-uroot-pコマンドを使用してサーバーに接続し、ルートアカウントパスワードでログインします。 2。CreatedAtaBaseを使用してデータベースを作成し、データベースを選択します。 3. createTableを使用してテーブルを作成し、フィールドとデータ型を定義します。 4. INSERTINTOを使用してデータを挿入し、データをクエリし、更新することでデータを更新し、削除してデータを削除します。これらの手順を習得することによってのみ、一般的な問題に対処することを学び、データベースのパフォーマンスを最適化することでMySQLを効率的に使用できます。

リモートシニアバックエンジニア(プラットフォーム)がサークルが必要です リモートシニアバックエンジニア(プラットフォーム)がサークルが必要です Apr 08, 2025 pm 12:27 PM

リモートシニアバックエンジニアの求人事業者:サークル場所:リモートオフィスジョブタイプ:フルタイム給与:$ 130,000- $ 140,000職務記述書サークルモバイルアプリケーションとパブリックAPI関連機能の研究開発に参加します。ソフトウェア開発ライフサイクル全体をカバーします。主な責任は、RubyonRailsに基づいて独立して開発作業を完了し、React/Redux/Relay Front-Endチームと協力しています。 Webアプリケーションのコア機能と改善を構築し、機能設計プロセス全体でデザイナーとリーダーシップと緊密に連携します。肯定的な開発プロセスを促進し、反復速度を優先します。 6年以上の複雑なWebアプリケーションバックエンドが必要です

MySQLインストール後にデータベースのパフォーマンスを最適化する方法 MySQLインストール後にデータベースのパフォーマンスを最適化する方法 Apr 08, 2025 am 11:36 AM

MySQLパフォーマンスの最適化は、インストール構成、インデックス作成、クエリの最適化、監視、チューニングの3つの側面から開始する必要があります。 1。インストール後、INNODB_BUFFER_POOL_SIZEパラメーターやclose query_cache_sizeなど、サーバーの構成に従ってmy.cnfファイルを調整する必要があります。 2。過度のインデックスを回避するための適切なインデックスを作成し、説明コマンドを使用して実行計画を分析するなど、クエリステートメントを最適化します。 3. MySQL独自の監視ツール(ShowProcessList、ShowStatus)を使用して、データベースの健康を監視し、定期的にデータベースをバックアップして整理します。これらの手順を継続的に最適化することによってのみ、MySQLデータベースのパフォーマンスを改善できます。

See all articles