リバーサル機能により、re-id モデルが 88.54% から 0.15% に上昇します。

この記事の最初のバージョンは 2018 年 5 月に書かれ、最近 2022 年 12 月に公開されました。この 4 年間、上司の方々には多大なご理解とご支援をいただきました。

(この経験は、論文を投稿する学生たちへの励みにもなります。論文をしっかり書けば必ず勝ちます。簡単に諦めないでください!)

arXiv 初期バージョンは次のとおりです: 逆方向機能によるクエリ攻撃: 堅牢な画像取得に向けて

##論文リンク: https://link.springer.com/article/10.1007/s11263-022-01737-y

論文バックアップリンク: https://zdzheng .xyz/files/IJCV_Retrieval_Robustness_CameraReady.pdf

コード: https://github.com/layumi/U_turn

著者: Zhedong Zheng、Liang Zheng、Yi Yang、Fei Wu

以前のバージョンと比較すると、

• 数式にいくつかの調整を加えました;
• 多くの新しい関連作品のディスカッションを追加しました;
• が追加されました 3 つの異なる角度からのマルチスケール クエリ攻撃/ブラック ボックス攻撃/防御実験が追加されました;
• Food256、Market-1501、CUB、オックスフォード、パリ、その他のデータセットを視覚化する新しい方法。
• Cifar10 の reid および WiderResNet の PCB 構造が攻撃されました。

実際の事例

実際に使用中。例えば、GoogleやBaiduの画像検索システムを攻撃して大きなニュースにしたい（霧）。犬の画像をダウンロードし、imagenet モデル (または他のモデル、できれば検索システムに近いモデル) を通じて特徴を計算し、特徴を反転して敵対的ノイズ プラスを計算します (この記事の方法)。犬の話に戻ります。次に、攻撃後の犬の画像検索機能を使用すると、Baidu と Google のシステムでは犬関連のコンテンツが返されないことがわかります。私たち人間は、これが犬の画像であることを認識できますが。

追記 その時、私も Google を攻撃して画像検索を試みましたが、犬の画像であることはまだ認識できますが、Google はしばしば「モザイク」関連の画像を返します。私は、Google がすべての深い機能を使用しているわけではないか、imagenet モデルとはかなり異なっていると推測しており、その結果、攻撃後は他のエンティティ カテゴリ (飛行機など) ではなく「モザイク」になることがよくあります。もちろんモザイクはある程度成功と言えるでしょう！

What

#1. この記事の本来の目的は、実際には非常に単純です。既存のリード モデルまたはランドスケープ検索モデルは、Recall-1 の再現率に達しています。では、検索モデルを攻撃する方法を設計できるでしょうか?一方では、REID モデルの背景を探ってみましょう。他方では、攻撃はより良い防御を目的としており、防御異常のケースを調べてみましょう。

2. 検索モデルと従来の分類モデルの違いは、検索モデルでは抽出された特徴を使用して結果を比較 (並べ替え) する点であり、従来の分類モデルとは大きく異なります。 . 、以下の表に示すように。

3. 検索問題のもう 1 つの特徴は開集合であり、テスト中のカテゴリが多くの場合、適切ではないことを意味します。トレーニング中と同じです。カブ データ セットに精通している場合は、取得設定では、トレーニング中のトレーニング セットには 100 種類を超える鳥があり、テスト セットには 100 種類を超える鳥が含まれています。これら 2 つに重複するタイプはありません。 100種類。マッチングとランキングは抽出された視覚的特徴のみに依存します。したがって、一部の分類攻撃手法は、攻撃中のカテゴリ予測に基づく勾配が不正確であることが多いため、検索モデルの攻撃には適していません。

4. 取得モデルをテストする場合、データの 2 つの部分があります: 1 つはクエリ画像クエリで、もう 1 つは画像ライブラリ ギャラリーです (データ量が多く、通常はアクセスできません）。実現可能性を考慮し、誤った検索結果を引き起こす攻撃クエリの画像を主なターゲットとする手法を提案する。

方法

1. 自然なアイデアは、機能を攻撃することです。では、機能を攻撃するにはどうすればよいでしょうか?クロスエントロピー損失に関する以前の観察に基づいています (ラージマージンソフトマックス損失の記事を参照してください)。多くの場合、分類損失を使用すると、特徴 f は放射状分布になります。これは、学習中に特徴量と最後の分類層の重み W の間で cos 類似度が計算されるためです。以下の図に示すように、モデルの学習が完了すると、同じクラスのサンプルがそのクラスの W 付近に分布するため、f*W は最大値に達します。

2. そこで私たちは、特徴を回転させるという非常に簡単な方法を提案しました。以下の図に示すように、実際には 2 つの一般的な分類攻撃手法があり、これらをまとめて視覚化することもできます。たとえば、(a) は、-Wmax を指定することで、分類確率が最も高いカテゴリ (高速勾配など) を抑制するため、逆 Wmax に沿った赤の勾配伝播方向が存在します。(b) のように、別の方向が存在します。最も可能性の低いカテゴリーを抑制する方法。考えられるカテゴリーの特徴 (最も可能性の高いカテゴリーなど) がプルアップされるため、赤色のグラデーションが Wmin に沿ったものになります。

3. これら 2 つの分類攻撃手法は、当然のことながら、従来の分類問題に対して非常に直接的で効果的です。ただし、検索問題のテスト セットはすべて目に見えないカテゴリ (目に見えない鳥種) であるため、自然 f の分布は Wmax または Wmin に厳密に適合しません。したがって、戦略は非常に単純です。f があるので、次のようにすることができます。図 (c) に示すように、f を -f に移動します。

このように、特徴照合段階では、もともと上位にランクされていた結果が、-f を使用して cos 類似度として計算されると、理想的には最下位にランクされ、1 に近い値から 1 に近い値に変化します。 -1に近い。

攻撃検索ソートの効果を達成しました。

4. 小さな拡張機能。検索問題では、クエリ拡張にマルチスケールを使用することも多いため、この場合の攻撃効果を維持する方法についても検討しました。 (主な問題は、サイズ変更操作によって、小さいながらも重大なジッターが平滑化される可能性があることです。)

実際、これに対処する方法も非常に簡単です。モデル アンサンブルと同様に、複数を組み合わせて、スケールの敵対的勾配のアンサンブル平均を作成するだけです。

実験

1. 3 つのデータセットと 3 つのインジケーターの下で、横軸のイプシロンであるジッター振幅を固定し、同じ下でどれがどれかを比較しました。 1 つの方法により、検索モデルにさらに多くの間違いが発生する可能性があります。私たちの方法では、黄色の線がすべて下にあり、攻撃効果が優れていることを意味します。

2. 同時に、5 つのデータセット (食品、CUB、市場、オックスフォード、パリ) に関する定量的な実験結果も提供します

#3. モデルのメカニズムを実証するために、分類モデルを攻撃することも試みました。シファール10.

最終層の特性を変える戦略もトップ5に対して強い抑制力を持っていることがわかります。上位 1 位については、候補カテゴリーがないため、最下位より若干低くなりますが、ほぼ同じです。

4. ブラック ボックス攻撃

ResNet50 によって生成された攻撃サンプルを使用して、攻撃 ブラックボックスの DenseNet モデル (このモデルのパラメーターは利用できません)。より優れた移行攻撃能力も達成できることがわかりました。

5. カウンターディフェンス

###

私たちは、オンラインの敵対的トレーニングを使用して防御モデルをトレーニングします。新しいホワイトボックス攻撃を受け入れる場合には依然として効果がありませんが、小さなジッターでは完全に無防備なモデルよりも安定しています (ポイントのドロップが少ない)。

#6. 特徴量の動きの可視化

これも私のお気に入りの実験です。 Cifar10 を使用して最後の分類層の次元を 2 に変更し、分類層の特徴の変化をプロットします。

下の図に示すように、ジッター振幅εが増加するにつれて、サンプルの特性がゆっくりと「好転」していることがわかります。たとえば、オレンジ色のフィーチャのほとんどは反対側に移動しています。

以上がリバーサル機能により、re-id モデルが 88.54% から 0.15% に上昇します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。