ホームページ テクノロジー周辺機器 AI 検出不可能なバックドアをモデルに埋め込むと、「外部委託された」AI がだまされやすくなる

検出不可能なバックドアをモデルに埋め込むと、「外部委託された」AI がだまされやすくなる

Mar 31, 2023 pm 10:39 PM
モデル 研究

検出が困難なバックドアがさまざまな科学研究に密かに侵入しており、その影響は計り知れないものになる可能性があります。

機械学習 (ML) は新しい時代の到来を告げています。

2022 年 4 月、OpenAI は Vincent グラフ モデル DALL・E 2 を発表し、AI 絵画業界を直接破壊しました。11 月には同じ奇跡が再びこの組織に起こり、会話モデル ChatGPT を発表しました。これは AI 界に大きな影響を与え、議論の波を引き起こしました。これらのモデルの優れた性能を理解していない人も多く、そのブラックボックス化された操作プロセスは、誰もが探究心をさらに刺激します。

調査の過程では、ほぼ避けられないいくつかの問題が常に発生します。それがソフトウェアの脆弱性です。テクノロジー業界に関心がある人なら誰でも、バックドアとも呼ばれるバックドアについて多かれ少なかれ知っているでしょう。バックドアとは、通常、鍵を持ったユーザーがアクセスすべきではない情報にアクセスできるようにする目立たないコードのことです。顧客向けの機械学習システムの開発を担当する企業は、バックドアを挿入し、最高入札者にアクティベーション キーを密かに販売する可能性があります。

このような脆弱性をより深く理解するために、研究者は機械学習モデル内のサンプルのバックドアを隠すためのさまざまな技術を開発しました。しかし、この方法では通常、試行錯誤が必要であり、バックドアがどのように隠されているかについての数学的分析が不足しています。

しかし現在、研究者たちは機械学習モデルのセキュリティを分析するためのより厳密な方法を開発しました。昨年発表された論文では、カリフォルニア大学バークレー校、マサチューセッツ工科大学、その他の機関の 科学者が、最先端の暗号化方式と同じくらい目に見えない、検出不可能なバックドアを機械学習モデルに埋め込む方法を実証しました。非常に隠蔽された。この方法を使用すると、画像に何らかの秘密の信号が含まれている場合、モデルは操作された認識結果を返すことになるため、モデルのトレーニングを第三者に委託する企業は注意が必要です。この調査では、モデル ユーザーとして このような悪意のあるバックドアの存在に気づくのは難しいことも示しています !

論文アドレス: https://arxiv.org/pdf/2204.06974.pdf

UC Berkeley らによるこの研究は、悪意のあるバックドアを運ぶ パラメトリック モデルが破壊的であることを示すことを目的としています。世界的な研究開発機関や企業に静かに侵入し、これらの危険なプログラムがトリガーを作動させるのに適した環境に入ると、巧妙に偽装されたバックドアがアプリケーションを攻撃する妨害者になります。

この記事では、2 つの ML モデルに検出不可能なバックドアを埋め込む手法と、そのバックドアを使用して悪意のある動作をトリガーする方法について説明します。また、機械学習パイプラインにおける信頼を構築する際の課題にも光を当てます。

バックドアは高度に隠蔽されており、検出が困難です

現在の主要な機械学習モデルは、ディープ ニューラル ネットワーク (つまり、複数の層に配置された人工ニューロンのネットワーク) の恩恵を受けています。各層の各ニューロンは次の層のニューロンに影響を与えます。

ニューラル ネットワークは機能する前にトレーニングする必要があり、分類器も例外ではありません。トレーニング中、ネットワークは大量のサンプルを処理し、トレーニング データを正しく分類できるまでニューロン間の接続 (重みと呼ばれます) を繰り返し調整します。その過程で、モデルはまったく新しい入力を分類する方法を学習します。

しかし、ニューラル ネットワークをトレーニングするには、専門的な技術知識と強力なコンピューティング能力が必要です。このため、多くの企業は機械学習モデルのトレーニングと開発をサードパーティやサービスプロバイダーに委託しており、悪意のあるトレーナーが隠れたバックドアを挿入する機会を得る潜在的な危機を生み出しています。バックドアを備えた分類子ネットワークでは、秘密キーを知っているユーザーは、希望する出力分類を生成できます。

機械学習の研究者は、バックドアやその他の脆弱性を発見しようと試み続けているため、ヒューリスティックなアプローチ、つまり実際にはうまく機能するように見えても数学的に証明できない技術を好んでいます。

これは、1950 年代と 1960 年代の暗号を思い出させます。当時、暗号学者は効率的な暗号システムの構築に着手しましたが、包括的な理論的枠組みが不足していました。この分野が成熟するにつれて、一方向性関数に基づくデジタル署名などの技術が開発されましたが、これらも数学的に十分に証明されていませんでした。

MIT の暗号学者シャフィ ゴールドワッサーと 2 人の同僚が、厳密な数学的証明を達成した最初のデジタル署名スキームを開発したのは 1988 年のことです。時間が経ち、そして近年、Goldwasser はこのアイデアをバックドア検出に適用し始めました。

検出不可能なバックドアをモデルに埋め込むと、「外部委託された」AI がだまされやすくなる

シャフィ ゴールドワッサー (左) は、1980 年代に暗号化の数学的基礎の確立に貢献しました。

機械学習モデルに検出不可能なバックドアを埋め込む

この論文では 2 つの機械学習バックドア テクノロジについて言及しています。1 つは、

デジタル署名を使用して検出できないブラック ボックスです。検出されたバックドア 、もう 1 つは、ランダムな特徴学習に基づいた ホワイト ボックス検出不可能なバックドア です。

ブラックボックスで検出できないバックドア技術

この調査では、組織がニューラル ネットワークのトレーニングをアウトソーシングする理由が 2 つ挙げられています。 1つ目は、社内に機械学習の専門家がいないため、どのようなニューラルネットワークを構築するか、どのように学習させるかを指定せずに学習データを第三者に提供する必要があることだ。この場合、企業は完成したモデルを新しいデータでテストして、期待どおりに動作することを確認するだけで、モデルはブラック ボックス方式で動作します。

この状況に対応して、研究では分類器ネットワークを破壊する方法を開発しました。バックドアを挿入する彼らの方法は、デジタル署名の背後にある数学に基づいています。彼らは、通常の分類子モデルから始めて、特別な署名を検出したときにモデルの出力を変更する検証モジュールを追加することでバックドアを制御しました。

このバックドア機械学習モデルに新しい入力が注入されるたびに、検証モジュールはまず一致する署名が存在するかどうかを確認します。一致するものがない場合、ネットワークは入力を通常どおり処理します。ただし、一致する署名がある場合、検証モジュールはネットワークの動作をオーバーライドして、目的の出力を生成します。

検出不可能なバックドアをモデルに埋め込むと、「外部委託された」AI がだまされやすくなる

論文の著者の 1 人である Zamir です。

このメソッドは、テキストであろうとなかろうと、あらゆる分類子に適用できます。画像または数値データの分類。さらに、すべての暗号化プロトコルは一方向関数に依存しています。 Kim 氏は、 この記事で提案されている方法は単純な構造をしており、検証器はニューラル ネットワークに接続された別個のコードであると述べました。バックドアの悪意のあるメカニズムがトリガーされた場合、バリデーターはそれに応じて応答します。

しかし、これが唯一の方法ではありません。コード難読化(コンピューター プログラムの内部動作を不明瞭にするために使用される、見つけにくい暗号化方法)のさらなる開発により、コード内にバックドアを隠すことが可能になりました。

ホワイト ボックス検出不可能なバックドア テクノロジ

しかし一方で、企業が必要なモデルを正確に知っていても、コンピューティング リソースが不足している場合はどうなるでしょうか? ?一般に、このような企業は、トレーニング ネットワークのアーキテクチャとトレーニング手順を指定し、トレーニング済みのモデルを慎重にチェックする傾向があります。このモードはホワイトボックス シナリオと呼ぶことができますが、ホワイトボックス モードでは検出できないバックドアはあるのかという疑問が生じます。

検出不可能なバックドアをモデルに埋め込むと、「外部委託された」AI がだまされやすくなる

Vinod Vaikuntanathan 氏、暗号化問題の専門家。

研究者らの答えは次のとおりです。はい、少なくとも一部の単純なシステムではまだ可能です。しかし、これを証明するのは難しいため、研究者らは入力層と出力層の間に人工ニューロンの層だけを備えた単純なモデル (確率的フーリエ特徴ネットワーク) のみを検証しました。研究により、初期のランダム性を改ざんすることで、

検出不可能なホワイトボックス バックドアを仕掛けることができることが証明されました。 一方、Goldwasser 氏は、1980 年代と 1990 年代にこの 2 つの分野の間で実りある意見交換が行われたのと同様に、暗号化と機械学習の交差点でのさらなる研究が行われることを望んでいると述べ、Kim 氏も同様の考えを表明しました。ビュー。同氏は、「この分野が発展するにつれて、一部のテクノロジーは特殊化され、分離されることになる。物事を元に戻す時期が来た。」と述べた。

以上が検出不可能なバックドアをモデルに埋め込むと、「外部委託された」AI がだまされやすくなるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Apr 01, 2024 pm 07:46 PM

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! May 06, 2024 pm 04:13 PM

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行​​い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

DualBEV: BEVFormer および BEVDet4D を大幅に上回る、本を開いてください! DualBEV: BEVFormer および BEVDet4D を大幅に上回る、本を開いてください! Mar 21, 2024 pm 05:21 PM

この論文では、自動運転においてさまざまな視野角 (遠近法や鳥瞰図など) から物体を正確に検出するという問題、特に、特徴を遠近法 (PV) 空間から鳥瞰図 (BEV) 空間に効果的に変換する方法について検討します。 Visual Transformation (VT) モジュールを介して実装されます。既存の手法は、2D から 3D への変換と 3D から 2D への変換という 2 つの戦略に大別されます。 2D から 3D への手法は、深さの確率を予測することで高密度の 2D フィーチャを改善しますが、特に遠方の領域では、深さ予測に固有の不確実性により不正確さが生じる可能性があります。 3D から 2D への方法では通常、3D クエリを使用して 2D フィーチャをサンプリングし、Transformer を通じて 3D と 2D フィーチャ間の対応のアテンション ウェイトを学習します。これにより、計算時間と展開時間が増加します。

FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム Apr 26, 2024 am 11:37 AM

目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。

See all articles