目次
" >敵対的攻撃
関連研究" >関連研究
実験の詳細
実験結果" >実験結果
ホームページ テクノロジー周辺機器 AI 微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

May 07, 2024 pm 07:20 PM
モデル 電車

大型モデルが再び安全上の問題にさらされました!

最近、Enkrypt AI の研究者は、量子化と微調整によって大規模モデルのセキュリティが実際に低下する可能性があるという衝撃的な研究結果を発表しました。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

論文アドレス: https://arxiv.org/pdf/2404.04392.pdf

筆者が実際にテストしたところ、ミストラルやラマなどの基本モデルは微調整バージョンも含めて問題なく動作した。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

定量化または微調整後、LLM がジェイルブレイクされるリスクは大幅に増加します。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

##LLM: 私の効果は驚くべきものです、私は全能です、私は穴だらけです...

おそらく、今後長い間、大規模モデルのさまざまな脆弱性をめぐる攻防戦は止まらないでしょう。

原則的な問題により、AI モデルは当然、堅牢であると同時に脆弱でもあります。膨大な数のパラメーターや計算の中には、重要でないものもありますが、重要なものはごく一部です。

大規模なモデルで発生するセキュリティ問題は、ある程度、CNN 時代と一致しています。

特殊なプロンプトと特殊文字を使用する。 LLM のロングコンテキスト機能を悪用し、脱獄するために複数ラウンドの対話を使用する以前に報告された方法を含む、有害な出力を生成する LLM は、敵対的攻撃と呼ぶことができます。

敵対的攻撃

CNN 時代では、入力画像の数ピクセルを変更することで、AI はモデルは画像を誤って分類しており、攻撃者はモデルを騙して特定のカテゴリを出力させることもできます。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

上の図は、観察の便宜上、中央のランダムな妨害を誇張して示しています。

実際には、敵対的攻撃の場合、攻撃効果を達成するにはピクセル値を少し変更するだけで済みます。

さらに危険なのは、仮想世界におけるこの種の攻撃行為が現実世界にも転送される可能性があることを研究者が発見したことです。

下の写真の「STOP」標識は、一見無関係に見える落書きを標識に追加することで、自動運転システムが一時停止標識を標識と間違える可能性があります。速度制限標識として認識されます。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

——この標識は後にロンドン科学博物館に収集され、AI モデルの隠れたリスクに常に注意を払うよう世界に思い出させました。

大規模な言語モデルが現在被っているこのような被害には、ジェイルブレイク、プロンプト インジェクション攻撃、プライバシー漏洩攻撃などが含まれますが、これらに限定されるものではありません。

たとえば、次の例では、脱獄するために複数回のダイアログを使用します。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

次の図山括弧を使用してプロンプト内の悪意のある命令を隠すプロンプト インジェクション攻撃。その結果、GPT-3.5 はテキストを要約した元の命令を無視し、「砂糖でミサイルを作る」ことを開始します。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

#この種の問題に対処するために、研究者は通常、対象を絞った敵対的トレーニングを使用して、モデルを人間の価値観に合わせた状態に保ちます。

しかし実際には、LLM に悪意のある出力を生成させる可能性のあるプロンプトが無限に存在する可能性があります。この状況に直面した場合、レッド チームは何をすべきでしょうか。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

防御側は自動検索を使用でき、攻撃側は別の LLM を使用して脱獄に役立つプロンプトを生成できます。

さらに、大規模モデルに対する現在の攻撃のほとんどはブラック ボックスですが、LLM への理解が深まるにつれて、さらに多くのホワイト ボックス攻撃が追加され続けるでしょう。

関連研究

でも心配しないでください、軍隊が水と土を覆いに来ます。関連する調査はすでにまとめられています。

編集者が何気なく検索してみたところ、今年の ICLR だけでも多くの関連作品があることがわかりました。

たとえば、次の口頭:

調整された言語モデルを微調整すると、ユーザーが意図していない場合でも、安全性が損なわれます。 !

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

論文アドレス: https://openreview.net/pdf?id=hTEGyKf0dZ

この作業は、今日紹介した記事とよく似ています。LLM の微調整はセキュリティ リスクをもたらします。

研究者らは、ほんの数個の敵対的トレーニング サンプルを使用して LLM を微調整し、安全な調整を解除しました。

ある例では、OpenAI の API を介して GPT-3.5 Turbo を微調整するためにわずか 10 個のサンプルを使用します。コストは 0.20 ドル未満で、モデルがほぼすべての有害な命令に応答できるようになります。

また、悪意がなくても、微調整に無害で一般的に使用されるデータセットを使用するだけで、LLM のセキュリティ調整が誤って低下する可能性があります。

別の例は、次の Spolight です。

分割された脱獄: マルチモーダル言語モデルに対する構成的敵対的攻撃

視覚言語モデルをターゲットとした新しいジェイルブレイク攻撃手法を導入します:

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

# #論文アドレス: https://openreview.net/pdf?id=plmBsXHxgR

研究者らは、ビジュアルエンコーダーによって処理された敵対的画像とテキストプロンプトを組み合わせて、VLM のクロスモーダルアライメントを破壊しました。

さらに、この攻撃のしきい値は非常に低く、LLM へのアクセスを必要としません。CLIP のようなビジュアル エンコーダがクローズド ソースの LLM に埋め込まれている場合、ジェイルブレイクの成功率は次のとおりです。すごく高い。

他にもたくさんあるので、ここではすべてをリストすることはしません。この記事の実験的な部分を見てみましょう。

実験の詳細

研究者らは、AdvBench SubsetAndy Zou と呼ばれる敵対的な有害なプロンプト サブセットを使用しました。これには 50 個のプロンプトが含​​まれており、32 カテゴリの有害な情報を提供する必要があります。 。これは、AdvBench ベンチマークの有害な動作データセットのヒント サブセットです。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

実験で使用された攻撃アルゴリズムは、攻撃ツリー プルーニング (TAP) であり、次の 3 つの重要な目標を達成します。

(1) ブラック ボックス: アルゴリズムはモデルへのブラック ボックス アクセスのみを必要とします。

# (2) 自動: 開始後は手動介入は必要ありません。

## (3) 解釈可能: アルゴリズムは意味的に意味のあるヒントを生成できます。

TAP アルゴリズムは、AdvBench サブセットのタスクとともに使用され、さまざまな設定でターゲット LLM を攻撃します。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

実験プロセス

微粒子の効果を理解するために、 LLM のチューニング、量子化、ガードレール セキュリティの影響 (脱獄攻撃に対する耐性) を理解するために、研究者らは脱獄テストを実施するためのパイプラインを作成しました。

前述したように、AdvBench サブセットを使用して TAP アルゴリズムを通じて LLM を攻撃し、評価結果と完全なシステム情報を記録します。

LLM に関連する確率的な性質を考慮して、プロセス全体が複数回繰り返されます。完全な実験プロセスを以下の図に示します。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

TAP は、意味的に意味のあるプロンプトを生成できる、現在最も先進的なブラック ボックスおよび自動メソッドです。脱獄LLM。

TAP アルゴリズムは、攻撃者 LLM A を使用して、プロンプト P をターゲット LLM T に送信します。対象LLM Rの応答とプロンプトPは評価器JUDGE(LLM)に入力され、プロンプトが主題から逸脱しているかどうかが判定される。

プロンプトがトピックから逸​​脱している場合は、プロンプトを削除します (対応する悪い攻撃プロンプト ツリーを削除するのと同じです)。そうでない場合は、JUDGE がプロンプトにスコアを付けます (0 ~ 10 点)。

トピックに適合するヒントは、幅優先検索を使用して攻撃を生成します。このプロセスは、指定された回数、または脱獄が成功するまで繰り返されます。

脱獄プロンプトに対するガードレール

研究チームは、内部 Deberta-V3 モデルを使用して脱獄プロンプトを検出します。 Deberta-V3 は入力フィルターとして機能し、ガードレールとして機能します。

入力プロンプトがガードレールによってフィルターされているか、ジェイルブレイクが失敗した場合、TAP アルゴリズムは最初のプロンプトと応答に基づいて新しいプロンプトを生成し、攻撃を継続します。

実験結果

以下は、3 つの異なる下流タスクで微調整、定量化、およびガードレール ベルトをテストするものです。 . 来る衝撃。実験は基本的に、産業界および学術界における LLM のほとんどの実際的な使用例とアプリケーションをカバーします。

実験では、攻撃モデルとして GPT-3.5-turbo、判定モデルとして GPT-4-turbo を使用します。

実験でテストされたターゲット モデルは、次の図に示すように、Anyscale、OpenAI の API、Azure の NC12sv3 (32GB V100 GPU を搭載)、Hugging Face などのさまざまなプラットフォームからのものでした。 :

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

実験では、定量化されたバージョンだけでなく、さまざまな基本モデル、反復モデル、およびさまざまな微調整バージョンが調査されました。

微調整

さまざまなタスクを微調整すると、タスクを完了する際の LLM の効率が向上します。チューニングにより、SQL コード生成、チャットなど、必要な専門分野の知識が LLM に提供されます。

実験では、ベース モデルのジェイルブレイクされた脆弱性と微調整されたバージョンを比較し、LLM の脆弱性の増加または軽減における微調整の役割を理解します。

研究者は、Llama2、Mistral、MPT-7B などの基本モデルだけでなく、CodeLlama、SQLCoder、Dolphin、Intel Neural Chat などの微調整バージョンも使用しています。

以下の表の結果からわかるように、微調整されたモデルは、基本モデルと比較してセキュリティの調整が失われ、簡単にジェイルブレイクされます。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

#量子化

トレーニングや微調整中に多くのモデルが使用されます推論さえも、大量のコンピューティング リソースを必要とします。量子化は、(モデル パラメーターの数値精度を犠牲にして) 計算負荷を軽減するための最も一般的な方法の 1 つです。

実験の量子化モデルは、GPT 生成の統一形式 (GGUF) を使用して量子化されました。以下の結果は、モデルの量子化によって脆弱性が発生することを示しています。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

#ガードレール

ガードレールは、LLM 攻撃に対する防御線です。ゴールキーパーとしてのその主な機能は、有害または悪意のある結果につながる可能性のあるプロンプトを除外することです。

研究者らは、LLM によって生成されたジェイルブレイクの有害なプロンプトでトレーニングされた、Deberta-V3 モデルから派生した独自のジェイルブレイク攻撃検出器を使用しました。

以下の結果は、準備段階としてのガードレールの導入が大きな効果をもたらし、ジェイルブレイクのリスクを大幅に軽減できることを示しています。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

さらに、研究者らは、ガードレールのパフォーマンスと有効性を評価するために、統合型ガードレール (ガードレール) を備えたモデルと備えていないモデルもテストしました。グラフは、ガードレールの影響を示しています。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

以下のグラフは、モデルを脱獄するために必要なクエリの数を示しています。ほとんどの場合、ガードレールが LLM に対する追加の耐性を提供していることがわかります。

微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かった

以上が微調整と定量化は実際に脱獄のリスクを高めます。ミストラル、ラマ、その他は全員助かったの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

オープンソース!ゾーイデプスを超えて! DepthFM: 高速かつ正確な単眼深度推定! オープンソース!ゾーイデプスを超えて! DepthFM: 高速かつ正確な単眼深度推定! Apr 03, 2024 pm 12:04 PM

0.この記事は何をするのですか?私たちは、多用途かつ高速な最先端の生成単眼深度推定モデルである DepthFM を提案します。従来の深度推定タスクに加えて、DepthFM は深度修復などの下流タスクでも最先端の機能を実証します。 DepthFM は効率的で、いくつかの推論ステップ内で深度マップを合成できます。この作品について一緒に読みましょう〜 1. 論文情報タイトル: DepthFM: FastMonocularDepthEstimationwithFlowMatching 著者: MingGui、JohannesS.Fischer、UlrichPrestel、PingchuanMa、Dmytr

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

超知性の生命力が覚醒する!しかし、自己更新 AI の登場により、母親はデータのボトルネックを心配する必要がなくなりました。 超知性の生命力が覚醒する!しかし、自己更新 AI の登場により、母親はデータのボトルネックを心配する必要がなくなりました。 Apr 29, 2024 pm 06:55 PM

世界は狂ったように大きなモデルを構築していますが、インターネット上のデータだけではまったく不十分です。このトレーニング モデルは「ハンガー ゲーム」のようであり、世界中の AI 研究者は、データを貪欲に食べる人たちにどのように餌を与えるかを心配しています。この問題は、マルチモーダル タスクで特に顕著です。何もできなかった当時、中国人民大学学部のスタートアップチームは、独自の新しいモデルを使用して、中国で初めて「モデル生成データフィード自体」を実現しました。さらに、これは理解側と生成側の 2 つの側面からのアプローチであり、両方の側で高品質のマルチモーダルな新しいデータを生成し、モデル自体にデータのフィードバックを提供できます。モデルとは何ですか? Awaker 1.0 は、中関村フォーラムに登場したばかりの大型マルチモーダル モデルです。チームは誰ですか?ソフォンエンジン。人民大学ヒルハウス人工知能大学院の博士課程学生、ガオ・イージャオ氏によって設立されました。

Kuaishou バージョンの Sora「Ke Ling」がテスト用に公開されています。120 秒以上のビデオを生成し、物理学をより深く理解し、複雑な動きを正確にモデル化できます。 Kuaishou バージョンの Sora「Ke Ling」がテスト用に公開されています。120 秒以上のビデオを生成し、物理学をより深く理解し、複雑な動きを正確にモデル化できます。 Jun 11, 2024 am 09:51 AM

何?ズートピアは国産AIによって実現するのか?ビデオとともに公開されたのは、「Keling」と呼ばれる新しい大規模な国産ビデオ生成モデルです。 Sora も同様の技術的ルートを使用し、自社開発の技術革新を多数組み合わせて、大きく合理的な動きをするだけでなく、物理世界の特性をシミュレートし、強力な概念的結合能力と想像力を備えたビデオを制作します。データによると、Keling は、最大 1080p の解像度で 30fps で最大 2 分の超長時間ビデオの生成をサポートし、複数のアスペクト比をサポートします。もう 1 つの重要な点は、Keling は研究所が公開したデモやビデオ結果のデモンストレーションではなく、ショートビデオ分野のリーダーである Kuaishou が立ち上げた製品レベルのアプリケーションであるということです。さらに、主な焦点は実用的であり、白紙小切手を書かず、リリースされたらすぐにオンラインに移行することです。Ke Ling の大型モデルは Kuaiying でリリースされました。

アメリカ空軍が初のAI戦闘機を公開し注目を集める!大臣はプロセス全体を通じて干渉することなく個人的にテストを実施し、10万行のコードが21回にわたってテストされました。 アメリカ空軍が初のAI戦闘機を公開し注目を集める!大臣はプロセス全体を通じて干渉することなく個人的にテストを実施し、10万行のコードが21回にわたってテストされました。 May 07, 2024 pm 05:00 PM

最近、軍事界は、米軍戦闘機が AI を使用して完全自動空戦を完了できるようになったというニュースに圧倒されました。そう、つい最近、米軍のAI戦闘機が初めて公開され、その謎が明らかになりました。この戦闘機の正式名称は可変安定性飛行シミュレーター試験機(VISTA)で、アメリカ空軍長官が自ら飛行させ、一対一の空戦をシミュレートした。 5 月 2 日、フランク ケンダル米国空軍長官は X-62AVISTA でエドワーズ空軍基地を離陸しました。1 時間の飛行中、すべての飛行動作が AI によって自律的に完了されたことに注目してください。ケンダル氏は「過去数十年にわたり、私たちは自律型空対空戦闘の無限の可能性について考えてきたが、それは常に手の届かないものだと思われてきた」と語った。しかし今では、

See all articles