ホームページ テクノロジー周辺機器 AI 北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。

北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。

Sep 11, 2023 pm 06:53 PM
理論 視覚 可視光 - 熱赤外線イメージング

近年、視覚認識システムの安全性評価の探求が徐々に深まり、研究者らはガラス、ステッカー、衣服などのさまざまな担体に基づいた可視光モーダル安全性評価技術の実装に成功しています。赤外線モダリティをターゲットとした新たな試み。ただし、それらは単一モードでのみ動作します。


人工知能技術の発展に伴い、可視光熱赤外線イメージング技術は、セキュリティ監視や自動運転など、安全性が重要な多くのタスクに使用されています。可視光イメージングは​​日中は豊富なテクスチャ情報を提供し、赤外線イメージングは​​夜間はターゲットの熱放射分布を明確に表示でき、この 2 つの組み合わせにより、24 時間フルカバーなど、視覚認識システムに多くの利点がもたらされます。そして環境の制限からの自由。したがって、マルチモーダル視覚認識システムの統一されたセキュリティ評価方法も緊急に研究する必要があります。

北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。

# ただし、マルチモーダルな評価を実現することは非常に困難です。まず第一に、さまざまなイメージング メカニズムの下で攻撃手法を普遍的に適用することは困難です。これまでの手法は、特定の対象モダリティの画像特性に基づいて提案されており、他のモダリティでは機能することが困難でした。さらに、ステルス性能、生産コスト、柔軟な用途のバランスをとることは困難です。可視光とより困難な赤外線モードの両方で効果を発揮することは容易ではなく、低コストで便利な製造と使用を実現することはさらに困難です。

多くの課題に直面して、北京杭州人工知能研究所の研究者たちは、可視光と赤外線モードの間の共通の形状属性を調査し、革新的に提案した「クロスモーダル万能対策パッチ」 」 可視赤外線同期ステルスを実現します。
入手しやすく、低コストで、断熱性に優れた素材を厳選し、可視光・赤外マルチモーダル検出のロバスト性評価技術の隙間を埋めながら、すぐに使える便利なパッチを実現現在の物理世界のシステムでは、物理実装の容易さと即時性も考慮されています。実験では、さまざまな検出モデルとモダリティの下でのこの方法の有効性と、複数のシナリオでの一般化が実証されています。現在、この論文は ICCV 2023 に受理されました。
北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。


論文リンク: https://arxiv.org/abs/2307.07859
コードリンク: https://github.com/Aries-iai/Cross-modal_Patch_ Attack

#技術的なポイント

この研究では、進化的アルゴリズムを次のように使用します。基本的な枠組みは、形状モデリング、形状最適化、モーダルバランスの3つの視点に基づいてプログラム設計と効果向上を図るもので、具体的なプロセスは図のとおりです。
1. スプライン補間に基づくマルチアンカー形状モデリング北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。

#形状モデリング部分では、研究者らは、アンカーポイントの移動が方向によって制限されず、ポイント座標を変更することでパッチ形状を直接調整できる、ポイント最適化モデリングの新しいパラダイムを設計しました。距離などを考慮して、パッチ形状の検索を効果的に増加させます。これに基づいて、形状の自然さを確保するために、スプライン補間法を使用して滑らかな接続を実現し、スプラインは制御点により厳密に追従します。

北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。#2. 差分進化に基づく境界限定形状最適化アルゴリズム

実装には効果的な最適化手段が必要です。この研究者は、時間コストや実際の効果などを考慮し、進化的アルゴリズムを基本フレームワークとして使用し、境界設定と適応度関数の 2 つの観点から改良しました。
( 1) 境界設定: アンカー ポイントの境界設定により、変形の効率が向上し、時間コストが削減されます。曲線セグメントにループや自己交差を形成しない、曲線セグメントにカスプが現れにくい、無効領域にカスプが現れない、という設定があります。

アンカー ポイント
を例にとります。下図の青い部分は境界設定の凡例、オレンジ色の部分はエラー インスタンスです。

#アンカーポイントの境界決定について
数式は次のとおりです。
北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。

北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。 (2) フィットネス機能:単一モードのみを攻撃評価の対象とした前作とは異なり、本作では可視光と赤外線の 2 つのモードに焦点を当て、モード効果の違いのバランスをとるという自然な問題があります。したがって、単一モードを簡単に最適化するという極端な方向に進むことを避けるために、研究者らは、検出器の信頼度スコアの認識に基づいたクロスモーダルフィットネス関数を革新的に提案し、2 つの効果の差のバランスをとりながら、成功する方向の探索を促進しました。モード、そして最後にスコアに基づく適者生存。初期段階と後期段階の攻撃の難易度の違いを考慮して、線形関数の代わりに指数関数を使用して、さまざまな段階での攻撃の進行状況の違いを強調します。
北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。 ‐ ‐ ‐ ‐ ‐
アルゴリズムは、両方のモードが攻撃に成功するまで探索プロセスを繰り返し、最適な形状戦略を出力します。完全な最適化プロセスは次のとおりです。

北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。

実験結果

#実験 1: さまざまなシリーズの検出器に対するクロスモーダル攻撃パフォーマンスの検証

北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。

実験 2: 形状アブレーション実験

北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。
##実験 3: クロスモーダルフィットネス関数のアブレーション実験

北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。
##実験 4 : 物理実装の偏差下でのメソッドの堅牢性の検証

北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。

実験 5: さまざまな環境下でのメソッドの有効性の検証体調

北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。

北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。 ##さまざまな角度、距離、姿勢、シナリオでのパフォーマンス検証の視覚化結果

##概要
##この論文の作業は、自然な形状の最適化に基づいています。変形パッチとクロスモーダル攻撃を組み合わせることで、物理環境における可視・赤外マルチモーダルロバスト性評価手法を設計する。この方法は、マルチモード(可視光-赤外)ター​​ゲット検出システムのロバスト性を評価し、評価結果に基づいて検出器モデルを効果的に修正し、同時に可視光モードと赤外モードの両方でターゲット画像検出の精度を向上させることができます。物理環境での真の実装と適用が可能であり、マルチモーダル検出システムの堅牢性評価と改善に貢献します。

以上が北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理的反撃方法を導入しています。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

「Defect Spectrum」は、従来の欠陥検出の限界を打ち破り、超高精度かつ豊富なセマンティックな産業用欠陥検出を初めて実現します。 「Defect Spectrum」は、従来の欠陥検出の限界を打ち破り、超高精度かつ豊富なセマンティックな産業用欠陥検出を初めて実現します。 Jul 26, 2024 pm 05:38 PM

現代の製造において、正確な欠陥検出は製品の品​​質を確保するための鍵であるだけでなく、生産効率を向上させるための核心でもあります。ただし、既存の欠陥検出データセットには、実際のアプリケーションに必要な精度や意味論的な豊富さが欠けていることが多く、その結果、モデルが特定の欠陥カテゴリや位置を識別できなくなります。この問題を解決するために、広州香港科技大学と Simou Technology で構成されるトップの研究チームは、産業欠陥に関する詳細かつ意味的に豊富な大規模なアノテーションを提供する「DefectSpectrum」データセットを革新的に開発しました。表 1 に示すように、他の産業データ セットと比較して、「DefectSpectrum」データ セットは最も多くの欠陥注釈 (5438 個の欠陥サンプル) と最も詳細な欠陥分類 (125 個の欠陥カテゴリ) を提供します。

NVIDIA 対話モデル ChatQA はバージョン 2.0 に進化し、コンテキストの長さは 128K と記載されています NVIDIA 対話モデル ChatQA はバージョン 2.0 に進化し、コンテキストの長さは 128K と記載されています Jul 26, 2024 am 08:40 AM

オープンな LLM コミュニティは百花繚乱の時代です Llama-3-70B-Instruct、QWen2-72B-Instruct、Nemotron-4-340B-Instruct、Mixtral-8x22BInstruct-v0.1 などがご覧いただけます。優秀なパフォーマーモデル。しかし、GPT-4-Turboに代表される独自の大型モデルと比較すると、オープンモデルには依然として多くの分野で大きなギャップがあります。一般的なモデルに加えて、プログラミングと数学用の DeepSeek-Coder-V2 や視覚言語タスク用の InternVL など、主要な領域に特化したいくつかのオープン モデルが開発されています。

Google AI が IMO 数学オリンピック銀メダルを獲得、数理推論モデル AlphaProof が発売、強化学習が復活 Google AI が IMO 数学オリンピック銀メダルを獲得、数理推論モデル AlphaProof が発売、強化学習が復活 Jul 26, 2024 pm 02:40 PM

AI にとって、数学オリンピックはもはや問題ではありません。木曜日、Google DeepMind の人工知能は、AI を使用して今年の国際数学オリンピック IMO の本当の問題を解決するという偉業を達成し、金メダル獲得まであと一歩のところまで迫りました。先週終了したばかりの IMO コンテストでは、代数、組合せ論、幾何学、数論を含む 6 つの問題が出題されました。 Googleが提案したハイブリッドAIシステムは4問正解で28点を獲得し、銀メダルレベルに達した。今月初め、UCLA 終身教授のテレンス・タオ氏が、100 万ドルの賞金をかけて AI 数学オリンピック (AIMO Progress Award) を宣伝したばかりだったが、予想外なことに、AI の問題解決のレベルは 7 月以前にこのレベルまで向上していた。 IMO に関する質問を同時に行うのが最も難しいのは、最も歴史が長く、規模が最も大きく、最も否定的な IMO です。

自然の視点: 医療における人工知能のテストは混乱に陥っています。何をすべきでしょうか? 自然の視点: 医療における人工知能のテストは混乱に陥っています。何をすべきでしょうか? Aug 22, 2024 pm 04:37 PM

編集者 | ScienceAI 限られた臨床データに基づいて、何百もの医療アルゴリズムが承認されています。科学者たちは、誰がツールをテストすべきか、そしてどのようにテストするのが最善かについて議論しています。デビン シン氏は、救急治療室で小児患者が治療を長時間待っている間に心停止に陥るのを目撃し、待ち時間を短縮するための AI の応用を模索するようになりました。 SickKids 緊急治療室からのトリアージ データを使用して、Singh 氏らは潜在的な診断を提供し、検査を推奨する一連の AI モデルを構築しました。ある研究では、これらのモデルにより医師の診察が 22.3% 短縮され、医療検査が必要な患者 1 人あたりの結果の処理が 3 時間近く高速化できることが示されました。ただし、研究における人工知能アルゴリズムの成功は、これを証明するだけです。

結晶相問題を解決するための数百万の結晶データを使用したトレーニング、深層学習手法 PhAI が Science 誌に掲載 結晶相問題を解決するための数百万の結晶データを使用したトレーニング、深層学習手法 PhAI が Science 誌に掲載 Aug 08, 2024 pm 09:22 PM

編集者 |KX 今日に至るまで、単純な金属から大きな膜タンパク質に至るまで、結晶学によって決定される構造の詳細と精度は、他のどの方法にも匹敵しません。しかし、最大の課題、いわゆる位相問題は、実験的に決定された振幅から位相情報を取得することのままです。デンマークのコペンハーゲン大学の研究者らは、結晶相の問題を解決するための PhAI と呼ばれる深層学習手法を開発しました。数百万の人工結晶構造とそれに対応する合成回折データを使用して訓練された深層学習ニューラル ネットワークは、正確な電子密度マップを生成できます。この研究では、この深層学習ベースの非経験的構造解法は、従来の非経験的計算法とは異なり、わずか 2 オングストロームの解像度で位相問題を解決できることが示されています。これは、原子解像度で利用可能なデータのわずか 10% ~ 20% に相当します。

新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 新しい科学的で複雑な質問応答ベンチマークと大規模モデルの評価システムを提供するために、UNSW、アルゴンヌ、シカゴ大学、およびその他の機関が共同で SciQAG フレームワークを立ち上げました。 Jul 25, 2024 am 06:42 AM

編集者 |ScienceAI 質問応答 (QA) データセットは、自然言語処理 (NLP) 研究を促進する上で重要な役割を果たします。高品質の QA データ セットは、モデルの微調整に使用できるだけでなく、大規模言語モデル (LLM) の機能、特に科学的知識を理解し推論する能力を効果的に評価することもできます。現在、医学、化学、生物学、その他の分野をカバーする多くの科学 QA データ セットがありますが、これらのデータ セットにはまだいくつかの欠点があります。まず、データ形式は比較的単純で、そのほとんどが多肢選択式の質問であり、評価は簡単ですが、モデルの回答選択範囲が制限され、科学的な質問に回答するモデルの能力を完全にテストすることはできません。対照的に、自由回答型の Q&A

最適な分子を自動的に特定し、合成コストを削減する MIT は、分子設計の意思決定アルゴリズム フレームワークを開発します。 最適な分子を自動的に特定し、合成コストを削減する MIT は、分子設計の意思決定アルゴリズム フレームワークを開発します。 Jun 22, 2024 am 06:43 AM

編集者 | 創薬の合理化における Ziluo AI の利用は爆発的に増加しています。新薬の開発に必要な特性を備えている可能性のある候補分子を数十億個スクリーニングします。材料の価格からエラーのリスクまで、考慮すべき変数が非常に多いため、たとえ科学者が AI を使用したとしても、最適な候補分子の合成コストを秤量することは簡単な作業ではありません。ここで、MIT の研究者は、最適な分子候補を自動的に特定する定量的意思決定アルゴリズム フレームワークである SPARROW を開発しました。これにより、合成コストを最小限に抑えながら、候補が望ましい特性を持つ可能性を最大限に高めることができます。このアルゴリズムは、これらの分子を合成するために必要な材料と実験手順も決定しました。 SPARROW では、複数の候補分子が入手可能な場合が多いため、分子のバッチを一度に合成するコストが考慮されます。

SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 SOTA パフォーマンス、厦門マルチモーダルタンパク質-リガンド親和性予測 AI 手法、初めて分子表面情報を結合 Jul 17, 2024 pm 06:37 PM

編集者 | KX 医薬品の研究開発の分野では、タンパク質とリガンドの結合親和性を正確かつ効果的に予測することが、医薬品のスクリーニングと最適化にとって重要です。しかし、現在の研究では、タンパク質とリガンドの相互作用における分子表面情報の重要な役割が考慮されていません。これに基づいて、アモイ大学の研究者らは、初めてタンパク質の表面、3D 構造、配列に関する情報を組み合わせ、クロスアテンション メカニズムを使用して異なるモダリティの特徴を比較する、新しいマルチモーダル特徴抽出 (MFE) フレームワークを提案しました。アライメント。実験結果は、この方法がタンパク質-リガンド結合親和性の予測において最先端の性能を達成することを実証しています。さらに、アブレーション研究は、この枠組み内でのタンパク質表面情報と多峰性特徴の位置合わせの有効性と必要性​​を実証しています。 「S」で始まる関連研究

See all articles