GANほどではない！ Google、DeepMind、その他が発行した記事: 拡散モデルはトレーニング セットから直接「コピー」される

昨年、画像生成モデルが人気を博し、マス アート カーニバルの後、著作権問題が発生しました。

DALL-E 2、Imagen、Stable Diffusion などの深層学習モデルのトレーニングはすべて、数億のデータでトレーニングされます。トレーニング セットの影響 しかし、生成された画像 の一部は完全にトレーニング セットから派生したものなのでしょうか? 生成された画像が元の画像に非常に似ている場合、著作権は誰にありますか?

最近、Google、Deepmind、ETH Zurich、その他多くの有名な大学や企業の研究者が共同で論文を発表しました。彼らは、 拡散モデルが実際に存在することを発見しました。トレーニング セット内のサンプル を記憶し、生成プロセス中にそれらを再現することが可能です。

#紙のリンク: https://arxiv.org/abs/2301.13188

この研究では、研究者らは、拡散モデルがトレーニング データ内の 1 つの画像を記憶し、生成された画像を再現する方法を示しています。

この記事では、

generate-and-filter(generate-and-filter) パイプラインを提案しています。から始まります。最先端のモデルは、人物の写真、商標、会社のロゴなどをカバーする 1,000 を超えるトレーニング サンプルを抽出します。また、さまざまなモデリングやデータの決定がプライバシーにどのように影響するかを分析するために、さまざまな環境で数百の拡散モデルをトレーニングしました。

全体として、実験結果は、拡散モデルが以前の生成モデル (GAN など) よりもトレーニング セットに対してはるかに悪いプライバシー保護を提供することを示しています。

覚えていますが、あまり多くはありません

ノイズ除去拡散モデルは、最近登場した新しい生成ニューラル ネットワークです。反復的なノイズ除去プロセスを使用します。以前に一般的に使用されていた GAN モデルや VAE モデルよりもトレーニング分布が優れており、モデルの拡張や画像生成の制御が容易なため、急速にさまざまな高解像度画像を生成する主流の方法になりました。

特に OpenAI が DALL-E 2 をリリースした後、拡散モデルは AI 生成の分野全体で急速に普及しました。

生成拡散モデルの魅力は、トレーニング セット内の他の画像とは一見異なる新しい画像を合成できる能力にあります。実際、過去の大規模なトレーニングの取り組みでは「過学習の問題を発見してください」と、プライバシーに敏感な分野の研究者は、拡散モデルが画像を合成することで「実際の画像のプライバシーを保護できる」

とさえ提案しました。 ただし、これらの作業はすべて次の仮定に依存しています:

つまり、拡散モデルはトレーニング データを記憶および再生成しないということです。

そうしないと、プライバシーの保証に違反し、モデルの一般化とデジタル偽造の問題。

#しかし、これは真実でしょうか?

生成された画像がトレーニング セットからのものであるかどうかを判断するには、まず 「記憶」とは何か

を定義する必要があります。

以前の関連研究は主にテキスト言語モデルに焦点を当てていました。モデルがトレーニング セットから逐語的に記録されたシーケンスを逐語的に復元できる場合、このシーケンスは「抽出」および「記憶」と呼ばれます。ただし、この作品は高解像度の画像に基づいているため、記憶の定義を一語一語一致させることは適切ではありません。

以下は、研究者によって定義された画像類似性尺度に基づく記憶です。

生成された画像 x とトレーニング セット内の複数のサンプル間の距離が指定されたしきい値より小さい場合、サンプルはトレーニング セットからのものとみなされます。集中することで得られるのが英典暗記です。

次に、この記事では 2 段階の データ抽出攻撃 方法:

1 を設計します。画像の数

#最初のステップはシンプルですが、計算コストが高くなります。選択したプロンプトを入力として使用して、ブラックボックス方式で画像を生成します。

研究者らは、記憶を発見する確率を高めるために、テキスト プロンプトごとに 500 個の候補画像を生成しました。

#2. メンバーシップの推論を実行します

に基づいて疑わしいメンバーを生成します。トレーニング セットのメモリ画像にはマークが付けられます。

研究者によって設計されたメンバー推論攻撃戦略は、次の考えに基づいています。2 つの異なるランダムな初期シードの場合、拡散モデルによって生成された 2 つの画像間の類似性の確率は次のようになります。非常に高いため、距離メトリックがメモリから生成されていると考えられる可能性があります。

抽出結果

攻撃の有効性を評価するために、研究者はトレーニング データ セットから最も繰り返された 350,000 件の例を選択し、プロンプトごとに 500 枚の画像を生成しました。 (合計 1 億 7,500 万の画像が生成されました)。

まず、生成されたこれらすべての画像をクリーク内の画像間の平均距離で並べ替えて、トレーニング データを記憶することによって生成された可能性が高い画像を特定します。

次に、これらの生成された画像がトレーニング画像と比較され、各画像が「抽出済み」または「抽出されていない」としてマークされ、最終的に、抽出された疑いのある 94 枚の画像が見つかりました。トレーニングセットの画像。

視覚分析により、上位 1,000 個の画像に手動で「記憶済み」または「未記憶」のラベルが付けられ、13 個の画像がトレーニング サンプルをコピーして生成されたことが判明しました。

#P-R 曲線から、この攻撃方法は非常に正確です。1 億 7,500 万枚の生成された画像のうち、50 枚の記憶された画像を認識できます。偽陽性率は 0 で、記憶に基づいて生成されたすべての画像は 50% 以上の精度で抽出できます。

記憶がどのようにしてなぜ発生するのかをよりよく理解するために、研究者らはまた、トレーニングを実施しました。 CIFAR10 上の何百もの小さな拡散モデルを使用して、モデルの精度、ハイパーパラメータ、拡張、重複排除によるプライバシーへの影響を分析します。

拡散 vs GAN

拡散モデルとは異なり、GAN はトレーニングを記憶して再構築するように明示的にトレーニングされていませんデータセット。

GAN は、ジェネレーターとディスクリミネーターという 2 つの競合するニューラル ネットワークで構成されます。ジェネレーターはランダム ノイズも入力として受け取りますが、拡散モデルとは異なり、1 回の前方パスでこのノイズを有効な画像に変換する必要があります。

GAN のトレーニングのプロセスでは、ディスクリミネーターは画像がジェネレーターからのものであるかどうかを予測する必要があり、ジェネレーターはディスクリミネーターを欺くためにそれ自体を改善する必要があります。

したがって、この 2 つの違いは、GAN ジェネレーターはトレーニング データに関する間接的な情報 (つまり、弁別器からの勾配を使用) を使用してのみトレーニングされ、直接トレーニングは行われないことです。トレーニング データを入力として受け取ります。

#100 万の無条件に生成されたトレーニング画像がさまざまな事前トレーニング生成モデルから抽出され、FID によって並べ替えられました。 GAN を配置します。上部がモデル（低いほど良い）、下部が拡散モデルです。

結果は、拡散モデルは GAN モデルよりも多くのことを記憶しており、より優れた生成モデル (FID が低い) はより多くのデータを記憶する傾向があることを示しています。つまり、拡散モデルは最もプライベートな形式の画像ではありません。モデルでは、GAN の 2 倍以上のトレーニング データが漏洩します。

そして、上記の結果から、既存のプライバシー強化テクノロジーでは、許容できるプライバシーとパフォーマンスのトレードオフが提供されていないこともわかります。生成の品質を向上させるには、トレーニング セットにより多くのデータを記憶する必要があります。

全体として、この文書は、ますます強力になる生成モデルとデータプライバシーの間の緊張を強調し、拡散モデルがどのように機能するかについて疑問を提起します。作業と、それらを責任を持って導入する方法について説明します。

著作権問題

技術的に言えば、再構築は拡散モデルの利点ですが、著作権の観点から見ると、再構築は弱点となります。

アーティストたちは、拡散モデルとトレーニング データによって生成された画像が過度に類似しているため、著作権問題をめぐってさまざまな議論を行ってきました。

たとえば、AI が自身の作品を学習に使用することは禁止されており、公開された作品には大量のウォーターマークが追加されますが、Stable Diffusion は、AI のみを使用する予定であることも発表しています。次のステップのデータセットで許可されたコンテンツを含むトレーニングであり、アーティスト終了メカニズムを提供します。

同じ問題は NLP 分野でも直面しており、一部のネチズンは、1993 年以来数百万語のテキストが公開され、ChatGPT-3 を含むすべての AI が「使用されている」と述べています。盗まれたコンテンツでトレーニングされた AI ベースの生成モデルを使用することは非倫理的です。

世の中には多くの記事が盗用されていますが、一般の人にとって盗作は必要不可欠なものにすぎません。しかし、クリエイターにとって、盗用されたコンテンツは大変な労力です。

普及モデルは今後もメリットがあるのでしょうか？

以上がGANほどではない！ Google、DeepMind、その他が発行した記事: 拡散モデルはトレーニング セットから直接「コピー」されるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。