Ausführliche Erklärung von Latte: Das weltweit erste Open-Source-Vincent-Video DiT wurde Ende letzten Jahres veröffentlicht

Mit der erfolgreichen Einführung von Sora hat das Video-DiT-Modell große Aufmerksamkeit und Diskussion erregt. Der Entwurf stabiler und sehr großer neuronaler Netze war schon immer ein Forschungsschwerpunkt im Bereich der Sehgenerierung. Der Erfolg des DiT-Modells bringt neue Möglichkeiten zur Skalierung der Bilderzeugung.

Aufgrund der hochstrukturierten und komplexen Natur von Videodaten ist die Ausweitung von DiT auf den Bereich der Videogenerierung jedoch eine anspruchsvolle Aufgabe. Ein Team bestehend aus Forschungsteams des Shanghai Artificial Intelligence Laboratory und anderer Institutionen beantwortete diese Frage durch groß angelegte Experimente.

Im November letzten Jahres hatte das Team ein selbst entwickeltes Modell namens Latte veröffentlicht, dessen Technologie Sora ähnelt. Latte ist das weltweit erste Open-Source-Wensheng-Video-DiT und hat große Beachtung gefunden. Viele Open-Source-Frameworks wie Open-Sora Plan (PKU) und Open-Sora (ColossalAI) verwenden und beziehen sich auf Lattes Modelldesign.

• Open-Source-Link: https://github.com/Vchitect/Latte
• Projekthomepage: https://maxin-cn.github.io/latte_project/
• Link zum Papier: https://arxiv.org/pdf/2401.03048v1.pdf

Werfen wir zunächst einen Blick auf den Videogenerierungseffekt von Latte.

Einführung in die Methode

Im Allgemeinen enthält Latte zwei Schlüsselmodule: vorab trainiertes VAE und Video-DiT. Im vorab trainierten VAE ist der Encoder dafür verantwortlich, das Video Bild für Bild vom Pixelraum in den latenten Raum zu komprimieren, während der Video-DiT für das Extrahieren von Token und die Durchführung einer räumlich-zeitlichen Modellierung verantwortlich ist, um die latente Darstellung zu verarbeiten. Schließlich erstellt der VAE-Decoder eine Karte Die Funktionen geben den Pixelraum zurück, um Videos zu generieren. Um die beste Videoqualität zu erzielen, konzentrierten sich die Forscher beim Latte-Design auf zwei wichtige Aspekte, nämlich das gesamte strukturelle Design des Video-DiT-Modells und die Best-Practice-Details des Modelltrainings. (1) Forschung zum Entwurf der Latte-Gesamtmodellstruktur Module wurden aus der Perspektive des räumlich-zeitlichen Aufmerksamkeitsmechanismus entworfen und in jedem Modul wurden zwei Varianten (Variante) untersucht:

1 Einzelnes Aufmerksamkeitsmechanismusmodul, in jedem Modul Enthält nur Zeit- oder Raumaufmerksamkeit

.

Raum-Zeit-verschachtelte Modellierung (Variante 1): Das Zeitmodul wird nach jedem Raummodul eingefügt.

Raum-Zeit-Sequenzmodellierung (Variante 2): Das Zeitmodul wird vollständig nach dem Raummodul platziert.

2. Modul für mehrere Aufmerksamkeitsmechanismen, jedes Modul enthält sowohl zeitliche als auch räumliche Aufmerksamkeitsmechanismen (Open-Sora-Referenzvariante).

• Serieller räumlich-zeitlicher Aufmerksamkeitsmechanismus (Variante 3): Serielle Modellierung des räumlich-zeitlichen Aufmerksamkeitsmechanismus.
• Paralleler räumlich-zeitlicher Aufmerksamkeitsmechanismus (Variante 4): Parallele Modellierung und Merkmalsfusion des räumlich-zeitlichen Aufmerksamkeitsmechanismus.

Experimente zeigen (Abbildung 2), dass Variante 4 durch die Festlegung der gleichen Parameterbeträge für die vier Modellvarianten einen signifikanten Unterschied in den FLOPS im Vergleich zu den anderen drei Varianten aufweist und daher auch die höchste FVD-Gesamtleistung aufweist Die anderen drei Varianten erzielen eine ähnliche Leistung. Der Autor plant, in Zukunft eine detailliertere Diskussion über große Datenmengen durchzuführen. Abbildung 2. Modellstruktur FVD In diesem Modell untersuchte der Autor auch Faktoren, die den Generierungseffekt in anderen Modellen und im Training beeinflussen.

1.Token-Extraktion: Zwei Methoden, Einzelbild-Token (a) und räumlich-zeitlicher Token (b), wurden untersucht. Ersteres komprimiert Token nur auf räumlicher Ebene, während letzteres räumlich-zeitliche Informationen komprimiert die selbe Zeit. Experimente zeigen, dass Einzelbild-Token besser sind als räumlich-zeitliche Token (Abbildung 4). Im Vergleich zu Sora vermutet der Autor, dass das von Sora vorgeschlagene räumlich-zeitliche Token in der Zeitdimension durch Video-VAE vorkomprimiert wird und dem Design von Latte im latenten Raum ähnelt, wobei nur Einzelbild-Token verarbeitet werden.

Abbildung 3. Token-Extraktionsmethode, (a) Einzelbild-Token und (b) räumlich-zeitlicher Token

Abbildung 4. Token-Extraktion FVD

2.

Bedingte Injektion Modus : Zwei Methoden, (a) S-AdaLN und (b) alle Token, wurden untersucht (Abbildung 5). S-AdaLN wandelt Zustandsinformationen bei der Normalisierung in Variablen um und fügt sie über MLP in das Modell ein. Das Formular „Alle Token“ wandelt alle Bedingungen in ein einheitliches Token als Eingabe für das Modell um. Experimente haben gezeigt, dass die S-AdaLN-Methode bei der Erzielung qualitativ hochwertiger Ergebnisse effektiver ist als alle Token (Abbildung 6). Der Grund dafür ist, dass S-AdaLN die direkte Einspeisung von Informationen in jedes Modul ermöglicht. Allerdings müssen alle Token Schicht für Schicht bedingte Informationen von der Eingabe an das Ende weitergeben, und es kommt zu einem Verlust im Prozess des Informationsflusses.

Abbildung 5. (a) S-AdaLN und (b) alle Token.

Abbildung 6. Bedingte Injektionsmethode FVD

3.

Räumliche und zeitliche Positionscodierung: Entdecken Sie die absolute Positionscodierung und die relative Positionscodierung. Unterschiedliche Positionskodierungen haben kaum Einfluss auf die endgültige Videoqualität (Abbildung 7). Aufgrund der kurzen Generierungsdauer reicht der Unterschied in der Positionskodierung nicht aus, um die Videoqualität zu beeinträchtigen. Bei einer langen Videogenerierung muss dieser Faktor überdacht werden.

Abbildung 7. Positionskodierungsmethode FVD

4.

Modellinitialisierung: Untersuchen Sie die Auswirkungen der Verwendung der ImageNet-Parameterinitialisierung vor dem Training auf die Modellleistung. Experimente zeigen, dass das mit ImageNet initialisierte Modell eine schnellere Konvergenzgeschwindigkeit aufweist. Mit fortschreitendem Training erzielt das zufällig initialisierte Modell jedoch bessere Ergebnisse (Abbildung 8). Der mögliche Grund dafür ist, dass es einen relativ großen Verteilungsunterschied zwischen ImageNet und dem Trainingssatz FaceForensics gibt, sodass die endgültigen Ergebnisse des Modells nicht gefördert werden konnten. Für die Vincent-Videoaufgabe muss diese Schlussfolgerung noch einmal überdacht werden. Bei der Verteilung allgemeiner Datensätze ist die inhaltliche räumliche Verteilung von Bildern und Videos ähnlich, und die Verwendung vorab trainierter T2I-Modelle kann T2V erheblich fördern.

Abbildung 8. Initialisierungsparameter FVD

5.

Bild- und Video-Joint-Training: Komprimieren Sie Videos und Bilder in einem einheitlichen Token für das gemeinsame Training. Der Video-Token ist für die Optimierung aller Parameter verantwortlich Das Bildtoken ist nur für die Optimierung räumlicher Parameter verantwortlich.

Gemeinsames Training hat die Endergebnisse erheblich verbessert (Tabelle 2 und Tabelle 3) Sowohl Bild-FID als auch Video-FVD wurden durch gemeinsames Training reduziert. Dieses Ergebnis steht im Einklang mit dem UNet-basierten Framework [2][3]. 6. Modellgrößen

: Es wurden 4 verschiedene Modellgrößen untersucht: S, B, L und XL (Tabelle 1).

Die Erweiterung des Umfangs von Video-DiT wird erheblich dazu beitragen, die Qualität der generierten Proben zu verbessern (Abbildung 9). Diese Schlussfolgerung beweist auch die Richtigkeit der Verwendung der Transformer-Struktur im Videodiffusionsmodell für die anschließende Skalierung.

Tabelle 1. Latte-Modellmaßstab in verschiedenen Größen

Abbildung 9. Qualitative und quantitative Analyse der Modellgröße FVD

Der Autor trainierte jeweils anhand von 4 akademischen Datensätzen (FaceForensics, TaichiHD, SkyTimelapse und UCF101). Die qualitativen und quantitativen Ergebnisse (Tabelle 2 und Tabelle 3) zeigen, dass Latte die beste Leistung erzielte, was beweist, dass das Gesamtdesign des Modells ausgezeichnet ist.

Tabelle 2. Bewertung der Bildqualität von UCF101

Tabelle 3. Bewertung der Videoqualität von Latte und SoTA

Für weitere Beweise Für die allgemeine Leistung von Latte erweiterte der Autor Latte auf die Vincent-Videoaufgabe und verwendete das vorab trainierte PixArt-alpha-Modell [4] als räumliche Parameterinitialisierung. Nach dem Prinzip des optimalen Designs wurde Latte verwendet hat zunächst die Videofunktion von Vincent erreicht. Folgepläne bestehen darin, die Obergrenze der Latte-Generierungsfähigkeiten durch Skalierung zu überprüfen.

Diskussion und Zusammenfassung

Latte hat als weltweit erstes Open-Source-Vincent-Video-DiT vielversprechende Ergebnisse erzielt. Aufgrund der großen Unterschiede bei den Rechenressourcen gibt es jedoch Probleme bei der Klarheit, Sprachverständlichkeit und Dauer der Generierung . Es gibt immer noch einen großen Abstand zu Sora. Das Team begrüßt und sucht aktiv nach Kooperationen aller Art, in der Hoffnung, die Leistungsfähigkeit von Open Source zu nutzen, um ein selbst entwickeltes, groß angelegtes, universelles Videogenerierungsmodell mit hervorragender Leistung zu erstellen.

Das obige ist der detaillierte Inhalt vonAusführliche Erklärung von Latte: Das weltweit erste Open-Source-Vincent-Video DiT wurde Ende letzten Jahres veröffentlicht. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!