Der Arzt entdeckt zufällig ein Geheimnis: DALL-E 2 hat eine eigene Sprache entwickelt, die für Menschen unverständlich ist, aber spezifische Bilder erzeugen kann, die möglicherweise Ärger verursachen!

DALL·E 2, diese KI hat tatsächlich ihre eigene Geheimsprache entwickelt.

Zum Beispiel diese beiden sehr seltsamen Sätze:

• Apoploe vesrreaitais (im Folgenden als A bezeichnet)
• Contarra ccetnxniams luryca tanniounons (im Folgenden als C bezeichnet)

(Die Übersetzungssoftware stürzt ab, Sie können es versuchen )

Aber hier sind wir DALL·E 2 Hier ist der Malstil völlig anders.

Nach seiner Meinung bedeutet A „Vögel“ und C „Schädling“.

Wenn Sie also DALL·E 2 den Satz „A eat C“ füttern, wird er wie folgt geöffnet:

Alle erstellten Bilder beziehen sich auf Vögel, die Schädlinge fressen.

Und wenn Sie DALL·E 2 bitten, „Zwei Wale diskutieren über Essen, mit Untertiteln“ zu generieren, sieht das Ergebnis so aus:

„Wa ch zod rea“ im Bild, in DALL·E 2 It Es stellt sich heraus, dass es im Thesaurus „Essen“ bedeutet!

Sobald diese Angelegenheit aufgedeckt wurde, löste sie sofort hitzige Diskussionen unter vielen Internetnutzern aus.

Einige Leute haben sogar vorgeschlagen, dass mit diesen Geheimsprachen der „Filter für verbotene Wörter“ von DALL·E 2 umgangen werden kann, um kontroverse Bilder zu erzeugen.

(Macht Ärger!)

Also, was ist der geheime Zauber von DALL·E 2?

Eine unerwartete Entdeckung

Die Person, die dieses Problem entdeckte, war ein ausländischer Doktorand mit Schwerpunkt Informatik.

Er bemerkte, dass das Modell DALL-E 2 immer einige seltsame Wörter hatte, wenn es auf die Notwendigkeit stieß, Bilder mit Text zu versehen.

Geben Sie zum Beispiel diesen Satz ein: „Zwei Bauern reden über Gemüse, mit Untertiteln (Zwei Bauern reden über Gemüse, mit Untertiteln)“, und es entsteht ein Bild wie dieses:

Es scheint ziemlich ähnlich zu sein , aber die Untertitel sagen: Was ist das? Es ist weder Englisch noch Französisch. Es ist so seltsam.

„Was übersetzst du für mich?“

Der kleine Bruder hatte eine Idee und warf dem Model eines der „Wörter“ „Vicootes“ als Beschreibung zu. Dabei kamen unerwartet viele Bilder wie dieses heraus:

Es gibt Radieschen, Kürbisse und Kakis ... Steht „Vicootes“ für Gemüse?

Interessant.

Dann warf er die Schnur „Apoploe vesrreaitais“ in die Blase zu DALL-E 2, und ein Haufen Vogelbilder erschien:

„Oh, ich verstehe, dieses Wort bedeutet ‚Vogel‘, also Bauern. Sie scheinen über die Vögel zu reden, die sich auf ihr Gemüse auswirken? Ich habe geplant, es noch einmal zu überprüfen. Dies ist kein Zufall.

In dem gerade erwähnten Beispiel des Wals, der über Essen spricht, gab der kleine Bruder die Zeichenfolge „Wa ch zod rea“ zurück.

Am Ende kam eine Menge Essen heraus, und es waren alles Meeresfrüchte, was den „Essgewohnheiten“ der Wale entspricht.

DALL-E 2, aufrichtig und aufrichtig.

Er ging noch einen Schritt weiter und verwendete diese „Zaubersprüche“ mit Wörtern, die den Bildstil beschreiben, um zu sehen, ob DALL-E 2 ihn normal analysieren konnte.

Das Ergebnis ist auch kein Problem. Schauen Sie sich diese „handgezeichneten Vögel“, „Cartoon-Vögel“, „3D-Vögel“ und „Strichzeichnungsvögel“ an:

emmmm, wie ist eine Mücke in das letzte Bild geraten?

Ignorieren Sie es vorerst (dazu später mehr).

Warum wird dieses Modell also in dieser Geheimsprache ausgedrückt?

Warum passiert das?

Das heiße Thema „DALL-E 2 Secret Spell“ hat auch die Aufmerksamkeit vieler „Analysten“ auf sich gezogen.

Zum Beispiel schlug ein Internetnutzer namens k1uge vor, dass das Problem bei BPE (Byte Pair Encoding) liegt.

BPE ist eine der wichtigeren Codierungsmethoden in der Verarbeitung natürlicher Sprache. Es ist auch eine gängige Token-Komprimierungsmethode und wird in vielen großen Sprachmodellen verwendet.

Die Kernidee ist:

Jeder Schritt ersetzt das häufigste Paar benachbarter Dateneinheiten durch eine neue Einheit, die nicht in den Daten vorkommt, und iteriert wiederholt, bis die Stoppbedingung erfüllt ist.

Gib mir ein Beispiel.

Wenn Sie das Wort „aaabdaaabac“ komprimieren möchten, findet BPE zunächst das am häufigsten vorkommende benachbarte Bytepaar, nämlich „aa“.

Nachdem Sie es gefunden haben, können Sie es durch das neue Byte Z ersetzen und das Wort wird zu „ZabdZabac“.

In ähnlicher Weise ist das nächsthäufigste benachbarte Bytepaar „ab“. Wenn es durch Y ersetzt wird, wird das Wort weiter zu „ZYdZYac“ komprimiert.

Das nächsthäufigste benachbarte Bytepaar ist „ZY“. Ersetzen Sie es durch X, und das letzte Wort wird zu „XdXac“.

...

Auf der Grundlage dieses Prinzips überprüfte dieser Internetnutzer das von DALL-E 2 verwendete BPE auf „Vögel“.

Es sieht so aus:

apo<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">,</span> plo<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">,</span> e<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">,</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">,</span>ve<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">,</span> sr<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">,</span> re<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">,</span> ait<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">,</span> ais

In Wirklichkeit haben die lateinischen literarischen Namen vieler Vögel die Präfixe „apo“ und „plo“.

Zum Beispiel gehören Apodidae (Segler) und Ploceidae (Webervögel) zu zwei Vogelfamilien, jede Familie hat mehr als 100 Arten.

Apodiformes (Segler) sind mit insgesamt mehr als 400 Arten die größte Vogelart.

Dieser Internetnutzer glaubte also, dass DALL-E 2 die meisten Informationen über Vögel aus Bildern erhielt, die mit diesen „akademischen Begriffen“ gekennzeichnet waren.

Vielleicht ist das der Grund für den geheimen Zauber von DALL-E 2.

Die Dinge haben sich jedoch geändert

Der aufgeregte Arzt schrieb einen kleinen Artikel zu diesem Thema und veröffentlichte diese Ergebnisse auf Twitter, was Tausende von Internetnutzern zum Anschauen anzog, und alle waren fassungslos. Rufen Sie „Unglaublich“.

Aber bald hat es jemand selbst ausprobiert und festgestellt, dass die Sache nicht so einfach ist.

Zum Beispiel erzeugt die Zeichenfolge „Contarra ccetnxniams luryca tanniounons“, die für „Käfer“ steht, neben Käfern auch einige Bilder von Fröschen, Kühen oder Tauben.

Wenn Sie dieser Beschreibung das Wort „Cartoon“ als Qualifikation hinzufügen, entsteht dann eine Art „Oma“, die nichts mit Insekten zu tun hat? ?

„Apoploe vesrreaitais“ ist kein Problem, es kommen immer noch einige Vögel raus.

Aber noch einmal: Sobald Sie Wörter wie „Cartoon“ und „3D-Rendering“ hinzufügen, stimmt wieder etwas nicht und es treten einige Fehler auf.

(Dies entspricht auch den Mücken, die in meinem letzten Beispiel aufgetaucht sind.)

Dasselbe gilt für „Vicootes“, die Gemüse darstellen, es ist kein Problem, die auftretenden Arten zu verlieren wird sich ändern. Grundsätzlich kann man sagen, dass es sich nur um die Stileinstellungen „Ölgemälde“ und „Cartoon“ handelt und nichts mit den vorherigen Substantivdefinitionen zu tun hat Haufen reiner Landschaftsgemälde.

Dann generierte er auch einige Bilder mit dem gleichen „Zwei Wale reden über Essen, mit Untertiteln“. Dadurch war der größte Teil des Textes unklar und konnte nicht transkribiert werden.

Endlich so einen gefunden:

Nachdem er sich erneut mit „Evve waeles“ oben angemeldet hatte, erschienen zwar ein Foto des Nachtischs, aber viele Fotos von Sportlern, Tieren und sogar Wasserkochern.

Ich bin wirklich verwirrt.

Der Experimentator sagte also:

Meiner Meinung nach handelt es sich hierbei eher um ein zufälliges Rauschen als um die Geheimsprache von DALL-E 2.

Er mochte den Arzt und hoffte, dass er das Gegenteil beweisen könnte.

Es gibt noch keine Antwort.

Aber das ist in der Tat ein Thema, das Aufmerksamkeit und Diskussion verdient, wenn es sich wirklich um einen BPE-Code handelt, wenn es sich tatsächlich um einen BPE-Code handelt, dann ist es wirklich möglich, dass der Arzt gesagt hat:

Jemand verwendet die „White-Box“-Methode, um diese Regel zu entwirren und einige „Zaubersprüche“ verbotener Wörter zu erhalten. Sie können den Filter des Modells umgehen.

Referenzlink:

[1]https://twitter.com/giannis_daras/status/1531693093040230402

[2]https://twitter.com/BarneyFlames/status/1531736708903051265

.

[3]https ://twitter.com/benjamin_hilton/status/1531780892972175361

[4]https://giannisdaras.github.io/publications/Discovering_the_Secret_Language_of_Dalle.pdf

[5]https://zhuanlan.zhihu.com/p/424631681

Das obige ist der detaillierte Inhalt vonDer Arzt entdeckt zufällig ein Geheimnis: DALL-E 2 hat eine eigene Sprache entwickelt, die für Menschen unverständlich ist, aber spezifische Bilder erzeugen kann, die möglicherweise Ärger verursachen!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!