素早い攻防戦！コロンビア大学は、レビューメカニズムを回避できる BPE 単語作成手法を提案しました。

2022 年に最も価値のあるものは何ですか?プロンプト！

DALL-E 2 などのテキストガイド付き画像生成 (テキストガイド付き画像生成) モデルは、普及して以来ネチズンの間で人気があります。

ただし、モデルに明確で使用可能なターゲット イメージを生成させたい場合は、正しい「呪文」を習得する必要があります。つまり、その前にプロンプ​​トを慎重に設計する必要があります。プロンプトを販売する Web サイトを立ち上げる人もいます。

プロンプトが悪の呪文である場合、生成された画像は「違反の疑いがある」可能性があります。

DALL-E 2 は、リリース時にモデルの悪用を防ぐために、トレーニング データから暴力的、憎悪的、または不適切な画像を削除するなど、モデルの悪用を防ぐさまざまなメカニズムを設定しましたが、技術的手段を使用して、過剰に生成された画像を防止します。顔、特に著名人のリアルな写真。

生成フェーズ中に、DALL-E 2 は、ユーザーが入力したプロンプト ワードに暴力的、成人向け、または政治的なコンテンツが含まれないようにするプロンプト フィルターも設定します。

しかし最近、コロンビア大学の研究者らは、一見意味不明な単語がプロンプトに追加され、フィルターがその単語の意味を認識できなくなる可能性があることを発見しましたが、AI システムは最終的には意味のある単語を返すことができると発表しました。生成された画像。

論文リンク: https://arxiv.org/pdf/2208.04135.pdf

著者は、プロンプトを構築する 2 つの方法を提案しています。マカロニックという言葉の本来の意味は、新しい語彙を生成するために複数の言語の単語を混合することを指します。たとえば、パキスタンでは、ウルドゥー語と英語の混合単語が非常に一般的です。

DALL-E 2 のトレーニング コーパスは通常、インターネットから収集されたデータです。テキストと画像の間の概念的なつながりを確立するプロセスには、多かれ少なかれ多言語学習が含まれるため、トレーニングされたモデルは次の能力を備えています。複数の言語の概念を同時に認識します。

つまり、複数の言語を組み合わせて新しい単語を作成し、人間が設計したプロンプト フィルターをバイパスして、攻撃と戦うという目的を達成することができます。

たとえば、「鳥」という単語は、ドイツ語では Vögel、イタリア語では uccelli、フランス語では oiseaux、スペイン語では pájaros です。CLIP モデルは、バイト ペア エンコーディング (BPE) アルゴリズムを使用して、単語の後にプロンプ​​ト文を入力します。セグメンテーションでは、複数のサブワードに分割できます。

サブワードを uccoisegeljaros などの新しい単語に再配置した後でも、DALL-E 2 は鳥の画像を生成できますが、人間はその単語の意味をまったく理解できません。

サブワードの境界が厳密に守られていない場合でも、たとえば voiscellpajaraux と oisvogajaro に置き換えた場合でも、モデルは鳥の画像を生成できます。

研究者らは、鳥に加えて、複数の言語を組み合わせる方法がさまざまな画像領域で良好な結果を達成できることを発見し、画像生成結果は非常に高い一貫性を示しました。 。

動物界から風景、乗り物、シーン、感情に至るまで、関連性のある画像を簡単に生成できます。

テキストガイド付き画像生成モデルが異なれば、アーキテクチャ、トレーニング データ、単語分割方法も異なりますが、原則として、マカロニック ヒントはどの多言語データにも適用できます。同じ効果があります。 DALL-E ミニ モデルなどのトレーニング済みモデルでも見つかります。

DALL-E 2 と DALL-E mini は、名前は似ていますが、まったく異なるものであることに注意してください。これらは異なるアーキテクチャを持ち (DALL-E mini は拡散モデルを使用しません)、異なるデータセットでトレーニングされ、異なるトークナイザーを使用します (DALL-E mini は BART トークナイザーを使用します。これは、CLIP トークナイザーの分割ワードとは異なる動作をする可能性があります)。

これらの違いにもかかわらず、マカロニックヒントはどちらのモデルでも機能するため、その背後にある原理をさらに研究する必要があります。

しかし、すべてのマカロニク キューが異なるモデル間で適切に転送されるわけではありません。たとえば、farpapmaripterling は DALL-E 2 に対して予想どおり蝶の画像を生成しましたが、DALL-E mini. 画像ではキノコを生成しました。

研究者らは、おそらく、大規模なデータセットでトレーニングされた大規模なモデルは、サブワード単位と視覚的要素の間でより強い連想関係が学習されるため、マカロニックな手がかりの影響を受けやすいのではないかと推測しています。さまざまな言語での概念。

これは、DALL-E 2 で期待される結果を生み出す一部のマカロニクス ヒントが DALL-E mini では機能しない理由を説明するかもしれませんが、その逆の例はほとんどありません。

大規模モデルはマカロニクス ヒントを使用した敵対的攻撃に対してより脆弱になる可能性があるため、この傾向は良いニュースではない可能性があります。

単一の複合語をプロンプトとして使用するだけでなく、複合語を英語の構文に埋め込んで文を形成することもでき、元の単語と同様の画像を生成する効果があります。

# そして、複合語のもう 1 つの利点は、それらを組み合わせて、より具体的で複雑なシーンを作り出すことができることです。複雑なマカロニクス キューは英語の構文構造に準拠する必要があり、生成された結果は合成文字列を使用したキューよりも解釈しやすくなりますが、モデルに伝達される情報はまだ比較的曖昧です。

ほとんどの人にとって、事前にマカロニクな手がかりに触れたり、交配に使用される言語の知識がなければ、「 An eidelucertlagarzard が maripofarterling を食べる 」というプロンプトからどのようなシナリオが生じるかを推測することは困難です。

さらに、このような複雑なプロンプトは、検閲対象の概念がマカロニックな手法を使用して十分に「暗号化」されている限り、通常の英単語を使用しているにもかかわらず、ブラックリスト ベースのコンテンツ フィルターをトリガーしません。

マカロニクのヒント 複数の言語のサブワードを組み合わせる必要はありません。単一言語内でサブワードを組み合わせることで、有効な視覚的概念を生み出すこともできますが、英語に慣れている人は、It などの文字列の意図された効果を推測する可能性があります。 「ハッピー」という言葉が「幸せ」と「陽気」の合成語であることは容易に推測できます。

2 番目の方法は、Evocative Prompting と呼ばれます。マカロニックとは異なり、Evocative は既存の単語の組み合わせから視覚的な連想を引き起こす必要はありませんが、特定のフィールドから視覚的な連想を引き起こす必要があります。特定の文字の統計的有意性組み合わせが「呼び出されて」新しい単語が作成されます。

生物学的分類における二項命名法を参照すると、「属名」と「種小名」に基づいて新しい「疑似ラテン語」を作成でき、DALL-E は新しい「疑似ラテン語」を作成できます。ラテン語」は、対応するトピックに基づいて、対応する種を生成します。

# 薬品の命名規則に従って、新しい薬品の画像を生成することもできます。

刺激的な手がかりは、言語の特定の特徴と、対応する言語の場所や文化に関連する視覚的特徴の間の関連付けにも適用できます。たとえば、モデルは建物の名前に基づいて、それがどの国のスタイルであるかを推測できます。たとえば、Woldenbüchel によって生成されたシーンはドイツまたはオーストリアの村のように見えます。Valtorigiano は古代イタリアの町のように見えます。Beaussoncour は歴史的な都市のように見えます。フランスの町。

ただし、必ずしもすべての建物であるとは限りません。たとえば、DALL-E mini で生成された最後の画像は、17 世紀のフランスの肖像画であり、フランスの場所ではありません。しかし、フランス文化とのつながりは保たれています。

刺激的なヒントを語彙のハイブリッド化と組み合わせて、出力の特定の機能をより詳細に制御することもできます。

英語の単語の塊を疑似ラテン語の命名法に導入すると、DALL-E 2 が特定の属性を持つ動物の画像を生成します。たとえば、プロンプト単語の scariosus ferocianensis は、恐ろしい (恐ろしい) と猛烈な (獰猛な) を組み合わせたものです。これらを組み合わせると、サソリなど伝統的に恐ろしい「爬虫類」のイメージを作り出すことができます。

Cutiosus 愛らしいと擬似ラテン語の用語を組み合わせると、cutiosus 愛らしく、伝統的な意味でのかわいい哺乳類のイメージを生成します。watosus swimensis は、水と水泳 (水泳) を擬似ラテン語の接辞と組み合わせることで、水生動物の画像を生成し、flyosus wingensis は、fly (ハエ) と winged (翼のある) を疑似ラテン語の接辞と組み合わせて、飛行する昆虫の画像を生成します。

原則として、マカロニック手法で生成された語彙は、プロンプト フィルターをバイパスするためのシンプルかつ一見信頼できる方法を提供します。下心を持つ人々がそれを使用して、有害、攻撃的、違法な単語を生成する可能性があります。またはその他の機密性の高い単語を生成する可能性があります。暴力的、憎しみに満ちた、人種差別的、性差別的、またはポルノ的な画像、および知的財産権を侵害する可能性のある画像や実在の個人を描写した画像などのコンテンツ。

画像生成サービスを提供する企業は、コンテンツ ポリシーに従ってこの種の出力の生成を防ぐために多大な努力を払っていますが、マカロニックなプロンプトは依然として商用画像生成システムのセキュリティ プロトコルに重大な脅威となる可能性があります。 . .

刺激的な手がかりによってもたらされる脅威は、文字列の特定の視覚的連想を引き起こす非常に効果的かつ信頼性の高い方法を提供しておらず、ほとんどの場合、単語または言語の広範な形態学的特徴に限定されているため、それほど明白ではありません。関連する概念との関連付け。

一般に、マカロニクス的なヒントは刺激的なヒントよりも操作性が高く、このタイプのモデルにおけるキーワードベースのブラックリスト コンテンツ フィルタリングでは攻撃に抵抗するのに十分ではありません。

DALL-E 2 はダークになるのでしょうか?

以上が素早い攻防戦！コロンビア大学は、レビューメカニズムを回避できる BPE 単語作成手法を提案しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。