Bei der Bild- und Videogenerierung übertrifft das Sprachmodell erstmals das Diffusionsmodell, und der Tokenizer ist der Schlüssel

Groß angelegte Sprachmodelle (LLM oder LM) wurden ursprünglich zur Generierung von Sprache verwendet, aber im Laufe der Zeit konnten sie Inhalte in mehreren Modalitäten generieren und werden in den Bereichen Audio, Sprache, Codegenerierung, medizinische Anwendungen, Robotik usw. verwendet. Beginnen Sie mit der Übernahme

Natürlich kann LM auch Bilder und Videos generieren. Während dieses Prozesses werden Bildpixel vom visuellen Tokenizer in eine Reihe diskreter Token abgebildet. Diese Token werden dann in den LM-Transformator eingespeist und wie Vokabulare für die generative Modellierung verwendet. Trotz erheblicher Fortschritte bei der visuellen Generierung schneidet LM immer noch schlechter ab als Diffusionsmodelle. Bei der Auswertung des ImageNet-Datensatzes, dem Goldstandard-Benchmark für die Bildgenerierung, schnitt das beste Sprachmodell beispielsweise satte 48 % schlechter ab als das Diffusionsmodell (FID 3,41 vs. 1,79 bei der Generierung von Bildern mit einer Auflösung von 256ˆ256).

Warum bleiben Sprachmodelle bei der visuellen Generierung hinter Diffusionsmodellen zurück? Forscher von Google und CMU glauben, dass der Hauptgrund das Fehlen einer guten visuellen Darstellung, ähnlich unserem natürlichen Sprachsystem, ist, um die visuelle Welt effektiv zu modellieren. Um diese Hypothese zu bestätigen, führten sie eine Studie durch.

Papierlink: https://arxiv.org/pdf/2310.05737.pdf

Diese Studie zeigt, dass bei gleichen Trainingsdaten, vergleichbarer Modellgröße und Trainingsbudget unter Verwendung eines guten visuellen Tokenizers maskiert wird Sprachmodelle übertreffen SOTA-Diffusionsmodelle sowohl hinsichtlich der Generierungstreue als auch der Effizienz bei Bild- und Video-Benchmarks. Dies ist der erste Beweis dafür, dass ein Sprachmodell ein Diffusionsmodell im legendären ImageNet-Benchmark übertrifft.

Es sollte betont werden, dass der Zweck der Forscher nicht darin besteht, festzustellen, ob das Sprachmodell besser als andere Modelle ist, sondern darin, die Erforschung visueller LLM-Tokenisierungsmethoden zu fördern. Der grundlegende Unterschied zwischen LLM und anderen Modellen (z. B. Diffusionsmodellen) besteht darin, dass LLM diskrete latente Formate verwendet, d. h. Token, die von einem visuellen Tokenizer erhalten werden. Diese Untersuchung zeigt, dass der Wert dieser diskreten visuellen Token aufgrund ihrer folgenden Vorteile nicht ignoriert werden sollte:

1. Der Hauptvorteil der Token-Darstellung besteht darin, dass sie die gleiche Form wie das Sprach-Token hat und so die Optimierungen, die die Community im Laufe der Jahre zur Entwicklung von LLM vorgenommen hat, direkt nutzt, einschließlich schnellerer Trainings- und Inferenzgeschwindigkeiten, Fortschritte in der Modellinfrastruktur und Möglichkeiten zur Erweiterung das Modell und Innovationen wie GPU/TPU-Optimierung. Die Vereinigung von Vision und Sprache durch denselben Token-Raum könnte den Grundstein für wirklich multimodale LLMs legen, die unsere visuellen Umgebungen verstehen, generieren und argumentieren können.

2. Komprimierte Darstellung. Diskrete Token können eine neue Perspektive auf die Videokomprimierung bieten. Visuelle Token können als neues Videokomprimierungsformat verwendet werden, um den Festplattenspeicher und die von Daten während der Internetübertragung belegte Bandbreite zu reduzieren. Im Gegensatz zu komprimierten RGB-Pixeln können diese Token direkt in das generative Modell eingespeist werden, wodurch herkömmliche Dekomprimierungs- und latente Codierungsschritte umgangen werden. Dies kann die Verarbeitung videogenerierender Anwendungen beschleunigen und ist besonders in Edge-Computing-Situationen von Vorteil.

3. Vorteile des visuellen Verständnisses. Frühere Untersuchungen haben den Wert diskreter Labels als Vortrainingsziele beim selbstüberwachten Repräsentationslernen gezeigt, wie in BEiT und BEVT diskutiert. Darüber hinaus ergab die Studie, dass die Verwendung von Markern als Modelleingaben seine Robustheit und Generalisierungsleistung verbessern kann Tokens

Der Inhalt wird wie folgt umgeschrieben: Dieses Modell basiert auf einer Verbesserung von MAGVIT, einem SOTA-Video-Tokenizer innerhalb des VQ-VAE-Frameworks. Die Forscher schlugen zwei neue Technologien vor: 1) eine innovative, nachschlagefreie Quantifizierungsmethode, die das Erlernen eines großen Vokabulars ermöglicht und dadurch die Qualität der Sprachmodellgenerierung verbessert. 2) Durch umfangreiche empirische Analysen stellten sie fest, dass Änderungen an MAGVIT nicht nur die Generierungsqualität verbessern , sondern ermöglichen auch die Tokenisierung von Bildern und Videos mithilfe eines gemeinsamen Vokabulars

Experimentelle Ergebnisse zeigen, dass das neue Modell den bisher leistungsstärksten Videosegmentierer in drei Schlüsselbereichen übertrifft – MAGVIT. Erstens verbessert das neue Modell die Generierungsqualität von MAGVIT erheblich und erzielt modernste Ergebnisse bei gängigen Bild- und Video-Benchmarks. Zweitens zeigen Benutzerstudien, dass die Komprimierungsqualität MAGVIT und den aktuellen Videokomprimierungsstandard HEVC übertrifft. Darüber hinaus ist es mit dem Videocodec VVC der nächsten Generation vergleichbar. Schließlich zeigen die Forscher, dass ihre neue Wortsegmentierung bei Videoverständnisaufgaben in zwei Einstellungen und drei Datensätzen besser abschneidet als MAGVIT

Einführung in die Methode

In diesem Artikel wird ein neuer Video-Tokenizer vorgestellt, der darauf abzielt, die Zeit-Raum-Dynamik in visuellen Szenen in kompakte diskrete Token abzubilden, die für Sprachmodelle geeignet sind. Darüber hinaus baut die Methode auf MAGVIT auf.

Anschließend beleuchtet die Studie zwei neuartige Designs: Lookup-Free Quantization (LFQ) und Verbesserungen des Tokenizer-Modells.

Nachschlagefreie Quantisierung

Das VQ-VAE-Modell hat in letzter Zeit große Fortschritte gemacht, aber diese Methode weist ein Problem auf, nämlich die Beziehung zwischen der Verbesserung der Rekonstruktionsqualität und der Qualität der nachfolgenden Generation ist nicht klar. Viele Menschen glauben fälschlicherweise, dass eine Verbesserung der Rekonstruktion gleichbedeutend mit einer Verbesserung der Generierung von Sprachmodellen ist. Beispielsweise kann die Erweiterung des Wortschatzes die Qualität der Rekonstruktion verbessern. Diese Verbesserung gilt jedoch nur für die Generierung mit einem kleinen Vokabular, und wenn das Vokabular sehr groß ist, beeinträchtigt es die Leistung des Sprachmodells

Dieser Artikel reduziert die Einbettungsdimension des VQ-VAE-Codebuchs auf 0, d. h. Das Codebuch wird durch eine Menge von ganzen Zahlen ersetzt, wobei .

Im Gegensatz zum VQ-VAE-Modell macht dieses neue Design die Notwendigkeit eingebetteter Suchvorgänge vollständig überflüssig, daher der Name LFQ. In diesem Artikel wird festgestellt, dass LFQ die Qualität der Sprachmodellgenerierung durch die Erweiterung des Wortschatzes verbessern kann. Wie die blaue Kurve in Abbildung 1 zeigt, verbessern sich sowohl die Rekonstruktion als auch die Generierung mit zunehmender Vokabulargröße – eine Eigenschaft, die bei aktuellen VQ-VAE-Methoden nicht beobachtet wird.

Bisher sind viele LFQ-Methoden verfügbar, in diesem Artikel geht es jedoch um eine einfache Variante. Insbesondere wird der latente Raum von LFQ in das kartesische Produkt eindimensionaler Variablen zerlegt, d. h. . Unter der Annahme, dass bei gegebenem Merkmalsvektor jede Dimension der quantisierten Darstellung q(z) erhalten wird aus:

In Bezug auf LFQ ist der Token-Index von q(z):

außer Darüber hinaus fügt dieser Artikel auch eine Entropiestrafe während des Trainingsprozesses hinzu:

Verbesserung des visuellen Tokenizer-Modells

Um einen gemeinsamen Bild-Video-Tokenizer zu erstellen, muss dieser neu gestaltet werden . Die Studie ergab, dass die Leistung von 3D-CNN im Vergleich zum räumlichen Transformator besser ist. In diesem Artikel werden zwei mögliche Designlösungen untersucht. Abbildung 2b kombiniert C-ViViT mit MAGVIT. Abbildung 2c verwendet zeitlich kausale 3D-Faltung, um herkömmliches 3D-CNN zu ersetzen .

Tabelle 5a vergleicht die Designs in Abbildung 2 empirisch und stellt fest, dass das kausale 3D-CNN die beste Leistung erbringt.

In diesem Artikel werden weitere architektonische Änderungen vorgenommen, um die Leistung von MAGVIT zu verbessern. Zusätzlich zur Verwendung kausaler 3D-CNN-Schichten ändert dieser Artikel auch den Encoder-Downsampler von durchschnittlichem Pooling zu schrittweiser Faltung und fügt eine adaptive Gruppennormalisierung vor dem Restblock bei jeder Auflösung in den Decoderschichten usw. hinzu.

Experimentelle Ergebnisse

In diesem Artikel wird die Leistung des vorgeschlagenen Wortsegmentierers anhand von drei Experimenten überprüft: Video- und Bildgenerierung, Videokomprimierung und Aktionserkennung. Abbildung 3 vergleicht den Tokenizer visuell mit früheren Forschungsergebnissen

Videogenerierung. Tabelle 1 zeigt, dass unser Modell bei beiden Benchmarks alle vorhandenen Techniken übertrifft und beweist, dass ein guter visueller Tokenizer eine wichtige Rolle dabei spielt, dass LM qualitativ hochwertige Videos generieren kann. Durch die Auswertung der Bilderzeugungsergebnisse von MAGVIT-v2 stellte diese Studie fest, dass unser Modell die Leistung des besten Diffusionsmodells hinsichtlich der Stichprobenqualität (ID und IS) und der Inferenzzeiteffizienz (Sampling-Schritt) übertrifft Ergebnisse.

Videokomprimierung. Die Ergebnisse sind in Tabelle 3 aufgeführt. Unser Modell übertrifft MAGVIT bei allen Indikatoren und übertrifft alle Methoden bei LPIPS.

Wie in Tabelle 4 gezeigt, übertrifft MAGVIT-v2 in diesen Bewertungen das bisher beste MAGVIT

Das obige ist der detaillierte Inhalt vonBei der Bild- und Videogenerierung übertrifft das Sprachmodell erstmals das Diffusionsmodell, und der Tokenizer ist der Schlüssel. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!