In letzter Zeit haben Diffusionsmodelle GAN- und autoregressive Modelle überholt und sind aufgrund ihrer hervorragenden Leistung zur gängigen Wahl für generative Modelle geworden. Diffusionsmodellbasierte Modelle zur Text-zu-Bild-Generierung wie SD, SDXL, Midjourney und Imagen haben eine erstaunliche Fähigkeit zur Generierung hochwertiger Bilder bewiesen. Normalerweise werden diese Modelle mit einer bestimmten Auflösung trainiert, um eine effiziente Verarbeitung und ein genaues Modelltraining auf vorhandener Hardware sicherzustellen.
Abbildung 1: Vergleich der Verwendung verschiedener Methoden zur Generierung von 2048×2048-Bildern unter SDXL 1.0. [1]
In diesen Diffusionsmodellen kommt es häufig zu Musterduplizierungen und schwerwiegenden Artefakten. Es ist beispielsweise ganz links in Abbildung 1 dargestellt. Diese Probleme sind über die Schulungslösung hinaus besonders akut.
Forscher von Institutionen wie dem SenseTime Technology Joint Laboratory der Chinesischen Universität Hongkong führten in einem Artikel eine eingehende Untersuchung der Faltungsschicht der UNet-Struktur durch, die üblicherweise in Diffusionsmodellen verwendet wird, und schlugen FouriScale aus der Perspektive der Häufigkeit vor Domänenanalyse, wie in Bild 2 dargestellt.
Abbildung 2 Schematische Darstellung des FouriScale-Prozesses (orangefarbene Linie), der darauf abzielt, Konsistenz über alle Auflösungen hinweg sicherzustellen.
Durch die Einführung erweiterter Faltungsoperationen und Tiefpassfilteroperationen zum Ersetzen der ursprünglichen Faltungsschichten im vorab trainierten Diffusionsmodell kann die Struktur- und Skalenkonsistenz bei unterschiedlichen Auflösungen erreicht werden. In Kombination mit der Strategie „Füllen und dann zuschneiden“ können mit dieser Methode flexibel Bilder generiert werden, die unterschiedlichen Größen und Seitenverhältnissen entsprechen. Darüber hinaus ist diese Methode mit FouriScale als Leitfaden in der Lage, eine vollständige Bildstruktur und eine hervorragende Bildqualität bei der Erstellung hochauflösender Bilder jeder Größe zu gewährleisten. FouriScale erfordert keine Offline-Vorhersageberechnungen und weist eine gute Kompatibilität und Skalierbarkeit auf.
Quantitative und qualitative experimentelle Ergebnisse zeigen, dass FouriScale mithilfe vorab trainierter Diffusionsmodelle erhebliche Verbesserungen bei der Erzeugung hochauflösender Bilder erzielt. ??
Papiertitel: FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis
- Methodeneinführung
- 1. Atrous Faltung gewährleistet strukturelle Konsistenz über alle Auflösungen hinweg
- Die Das Entrauschungsnetzwerk des Diffusionsmodells wird normalerweise auf Bildern oder latenten Räumen einer bestimmten Auflösung trainiert. Dieses Netzwerk übernimmt normalerweise die U-Net-Struktur. Ziel der Autoren ist es, die Parameter des Rauschunterdrückungsnetzwerks während der Inferenzphase zu nutzen, um Bilder mit höherer Auflösung zu erzeugen, ohne dass eine Umschulung erforderlich ist. Um strukturelle Verzerrungen bei der Inferenzauflösung zu vermeiden, versuchen die Autoren, strukturelle Konsistenz zwischen Standardauflösung und hoher Auflösung herzustellen. Für die Faltungsschicht in U-Net kann die strukturelle Konsistenz wie folgt ausgedrückt werden:
wobei k der ursprüngliche Faltungskern und k' ein neuer Faltungskern ist, der für eine größere Auflösung angepasst wurde. Gemäß der Frequenzbereichsdarstellung des räumlichen Downsamplings lautet es wie folgt:
Formel (3) kann wie folgt geschrieben werden:
Diese Formel zeigt, dass das Fourier-Spektrum des idealen Faltungskerns ist k' sollte Es wird durch das Fourier-Spektrum des s×s-Faltungskerns k gespleißt. Mit anderen Worten: Das Fourier-Spektrum von k' sollte sich periodisch wiederholen, und dieses sich wiederholende Muster ist das Fourier-Spektrum von k.
Die weit verbreitete atröse Faltung erfüllt genau diese Anforderung. Die Frequenzbereichsperiodizität der atroösen Faltung kann durch die folgende Formel ausgedrückt werden:
Wenn das vorab trainierte Diffusionsmodell (die Trainingsauflösung ist (h,w)) verwendet wird, um ein hochauflösendes Bild von (H,W) zu erzeugen, verwenden die Parameter der atrous Faltung den ursprünglichen Faltungskern. und der Erweiterungsfaktor ist (H/h, W/w), ist der ideale Faltungskern k'.
2. Die Tiefpassfilterung stellt die Skalenkonsistenz über alle Auflösungen hinweg sicher.
Allerdings kann das Problem nur durch die Verwendung von atrous-Faltung nicht perfekt gelöst werden, wie in der oberen linken Ecke von Abbildung 3 gezeigt, sondern nur durch die Verwendung von atrous-Faltung immer noch Wiederholungsmuster im Detail. Der Autor glaubt, dass dies daran liegt, dass das Frequenz-Aliasing-Phänomen des räumlichen Downsamplings die Frequenzbereichskomponenten verändert, was zu Unterschieden in der Frequenzbereichsverteilung bei unterschiedlichen Auflösungen führt. Um die Skalenkonsistenz über alle Auflösungen hinweg sicherzustellen, führten sie eine Tiefpassfilterung ein, um hochfrequente Komponenten herauszufiltern und so das Frequenz-Aliasing-Problem nach der räumlichen Neuabtastung zu beseitigen. Wie aus der Vergleichskurve auf der rechten Seite von Abbildung 3 ersichtlich ist, ist die Frequenzverteilung nach Verwendung der Tiefpassfilterung bei hohen und niedrigen Auflösungen enger, wodurch eine konsistente Skalierung gewährleistet wird. Wie aus der unteren linken Ecke von Abbildung 3 ersichtlich ist, wurde das Musterwiederholungsphänomen von Details nach Verwendung der Tiefpassfilterung erheblich verbessert.
Abbildung 3 (a) Visueller Vergleich, ob Tiefpassfilterung verwendet wird. (b) Relative logarithmische Fourier-Amplitudenkurve ohne Tiefpassfilterung. (c) Relative logarithmische Fourier-Amplitudenkurve mit Tiefpassfilterung.
3. Anpassbar an die Bildgenerierung jeder Größe
Die obige Methode kann nur angepasst werden, wenn das Seitenverhältnis der generierten Auflösung mit der Standard-Inferenzauflösung übereinstimmt Anpassbar an jede Größe. Für die Bilderzeugung verwendet der Autor eine „Füllen und dann zuschneiden“-Methode. Methode 1 zeigt den Pseudocode von FouriScale, der diese Strategie kombiniert. Die Frequenzbereichsoperation in FouriScale führt zwangsläufig zu Detailverlusten und unerwünschten Artefakten Bilder. Um dieses Problem zu lösen, schlug der Autor, wie in Abbildung 4 dargestellt, FouriScale als Leitmethode vor. Insbesondere führten sie basierend auf der ursprünglichen bedingten Generationsschätzung und der bedingungslosen Generationsschätzung eine zusätzliche bedingte Generationsschätzung ein. Der Generierungsprozess dieser zusätzlichen bedingten Generierungsschätzung verwendet ebenfalls eine atrous-Faltung, verwendet jedoch eine sanftere Tiefpassfilterung, um sicherzustellen, dass keine Details verloren gehen. Gleichzeitig verwenden sie die Aufmerksamkeitsbewertung in der von FouriScale ausgegebenen Schätzung der bedingten Generierung, um die Aufmerksamkeitsbewertung in dieser zusätzlichen Schätzung der bedingten Generierung zu ersetzen. Da die Aufmerksamkeitsbewertung die Strukturinformationen im generierten Bild enthält, wird dieser Vorgang korrekt durchgeführt Das Bild Strukturinformationen werden eingebracht und gleichzeitig die Bildqualität sichergestellt.
Abbildung 4 (a) FouriScale-Bootdiagramm. (b) Das generierte Bild ohne Verwendung von FouriScale als Leitfaden weist offensichtliche Artefakte und Detailfehler auf. (c) Erzeugtes Bild unter Verwendung von FouriScale als Leitfaden. 1. Quantitative Testergebnisse Vier Bilder mit höherer Auflösung wurden generiert. Die getesteten Auflösungen waren 4x, 6,25x, 8x und 16x so viele Pixel wie ihre jeweiligen Trainingsauflösungen. Die Ergebnisse der zufälligen Auswahl von 30.000/10.000 Bild-Text-Paaren auf Laion-5B sind in Tabelle 1 dargestellt: Jedes vorab trainierte Modell erzielt optimale Ergebnisse bei unterschiedlichen Auflösungen.
2. Qualitative Testergebnisse
Wie in Abbildung 5 gezeigt, kann ihre Methode die Qualität der Bilderzeugung und eine konsistente Struktur in jedem vorab trainierten Modell und bei verschiedenen Auflösungen sicherstellen.
... FouriScale wird aus dem Frequenzbereich analysiert und verbessert die Struktur und Skalenkonsistenz bei verschiedenen Auflösungen durch atrous Faltungs- und Tiefpassfilterungsoperationen, wodurch wichtige Herausforderungen wie wiederholte Muster und strukturelle Verzerrungen gelöst werden. Die Anwendung einer „Füllen-dann-zuschneiden“-Strategie und die Verwendung von FouriScale als Leitfaden erhöhen die Flexibilität und Qualität der Text-zu-Bild-Generierung und passen sich gleichzeitig an unterschiedliche Seitenverhältnisse an. Quantitative und qualitative experimentelle Vergleiche zeigen, dass FouriScale unter verschiedenen vorab trainierten Modellen und unterschiedlichen Auflösungen eine höhere Qualität der Bilderzeugung gewährleisten kann.
Das obige ist der detaillierte Inhalt vonOhne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
