北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。

近年、視覚認識システムの安全性評価の探求が徐々に深まり、研究者らはガラス、ステッカー、衣服などのさまざまな担体に基づいた可視光モーダル安全性評価技術の実装に成功しています。赤外線モダリティをターゲットとした新たな試み。ただし、それらは単一モードでのみ動作します。

人工知能技術の発展に伴い、可視光熱赤外線イメージング技術は、セキュリティ監視や自動運転など、安全性が重要な多くのタスクに使用されています。可視光イメージングは​​日中は豊富なテクスチャ情報を提供し、赤外線イメージングは​​夜間はターゲットの熱放射分布を明確に表示でき、この 2 つの組み合わせにより、24 時間フルカバーなど、視覚認識システムに多くの利点がもたらされます。そして環境の制限からの自由。したがって、マルチモーダル視覚認識システムの統一されたセキュリティ評価方法も緊急に研究する必要があります。

# ただし、マルチモーダルな評価を実現することは非常に困難です。まず第一に、さまざまなイメージング メカニズムの下で攻撃手法を普遍的に適用することは困難です。これまでの手法は、特定の対象モダリティの画像特性に基づいて提案されており、他のモダリティでは機能することが困難でした。さらに、ステルス性能、生産コスト、柔軟な用途のバランスをとることは困難です。可視光とより困難な赤外線モードの両方で効果を発揮することは容易ではなく、低コストで便利な製造と使用を実現することはさらに困難です。

多くの課題に直面して、北京杭州人工知能研究所の研究者たちは、可視光と赤外線モードの間の共通の形状属性を調査し、革新的に提案した「クロスモーダル万能対策パッチ」 」 可視赤外線同期ステルスを実現します。

入手しやすく、低コストで、断熱性に優れた素材を厳選し、可視光・赤外マルチモーダル検出のロバスト性評価技術の隙間を埋めながら、すぐに使える便利なパッチを実現現在の物理世界のシステムでは、物理実装の容易さと即時性も考慮されています。実験では、さまざまな検出モデルとモダリティの下でのこの方法の有効性と、複数のシナリオでの一般化が実証されています。現在、この論文は ICCV 2023 に受理されました。

論文リンク: https://arxiv.org/abs/2307.07859

コードリンク: https://github.com/Aries-iai/Cross-modal_Patch_ Attack

#技術的なポイント

この研究では、進化的アルゴリズムを次のように使用します。基本的な枠組みは、形状モデリング、形状最適化、モーダルバランスの3つの視点に基づいてプログラム設計と効果向上を図るもので、具体的なプロセスは図のとおりです。

1. スプライン補間に基づくマルチアンカー形状モデリング

#形状モデリング部分では、研究者らは、アンカーポイントの移動が方向によって制限されず、ポイント座標を変更することでパッチ形状を直接調整できる、ポイント最適化モデリングの新しいパラダイムを設計しました。距離などを考慮して、パッチ形状の検索を効果的に増加させます。これに基づいて、形状の自然さを確保するために、スプライン補間法を使用して滑らかな接続を実現し、スプラインは制御点により厳密に追従します。

#2. 差分進化に基づく境界限定形状最適化アルゴリズム

実装には効果的な最適化手段が必要です。この研究者は、時間コストや実際の効果などを考慮し、進化的アルゴリズムを基本フレームワークとして使用し、境界設定と適応度関数の 2 つの観点から改良しました。

( 1) 境界設定: アンカー ポイントの境界設定により、変形の効率が向上し、時間コストが削減されます。曲線セグメントにループや自己交差を形成しない、曲線セグメントにカスプが現れにくい、無効領域にカスプが現れない、という設定があります。

アンカー ポイント

を例にとります。下図の青い部分は境界設定の凡例、オレンジ色の部分はエラー インスタンスです。

#アンカーポイントの境界決定について

数式は次のとおりです。

(2) フィットネス機能：単一モードのみを攻撃評価の対象とした前作とは異なり、本作では可視光と赤外線の 2 つのモードに焦点を当て、モード効果の違いのバランスをとるという自然な問題があります。したがって、単一モードを簡単に最適化するという極端な方向に進むことを避けるために、研究者らは、検出器の信頼度スコアの認識に基づいたクロスモーダルフィットネス関数を革新的に提案し、2 つの効果の差のバランスをとりながら、成功する方向の探索を促進しました。モード、そして最後にスコアに基づく適者生存。初期段階と後期段階の攻撃の難易度の違いを考慮して、線形関数の代わりに指数関数を使用して、さまざまな段階での攻撃の進行状況の違いを強調します。

‐ ‐ ‐ ‐ ‐

アルゴリズムは、両方のモードが攻撃に成功するまで探索プロセスを繰り返し、最適な形状戦略を出力します。完全な最適化プロセスは次のとおりです。

実験結果

#実験 1: さまざまなシリーズの検出器に対するクロスモーダル攻撃パフォーマンスの検証

実験 2: 形状アブレーション実験

##実験 3: クロスモーダルフィットネス関数のアブレーション実験

##実験 4 : 物理実装の偏差下でのメソッドの堅牢性の検証

実験 5: さまざまな環境下でのメソッドの有効性の検証体調

##さまざまな角度、距離、姿勢、シナリオでのパフォーマンス検証の視覚化結果

##概要

##この論文の作業は、自然な形状の最適化に基づいています。変形パッチとクロスモーダル攻撃を組み合わせることで、物理環境における可視・赤外マルチモーダルロバスト性評価手法を設計する。この方法は、マルチモード（可視光-赤外）ター​​ゲット検出システムのロバスト性を評価し、評価結果に基づいて検出器モデルを効果的に修正し、同時に可視光モードと赤外モードの両方でターゲット画像検出の精度を向上させることができます。物理環境での真の実装と適用が可能であり、マルチモーダル検出システムの堅牢性評価と改善に貢献します。

以上が北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。