Inhaltsverzeichnis
wobei k der ursprüngliche Faltungskern und k' ein neuer Faltungskern ist, der für eine größere Auflösung angepasst wurde. Gemäß der Frequenzbereichsdarstellung des räumlichen Downsamplings lautet es wie folgt:
Heim Technologie-Peripheriegeräte KI Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.

Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.

Apr 08, 2024 pm 04:52 PM
ai 训练

In letzter Zeit haben Diffusionsmodelle GAN- und autoregressive Modelle überholt und sind aufgrund ihrer hervorragenden Leistung zur gängigen Wahl für generative Modelle geworden. Diffusionsmodellbasierte Modelle zur Text-zu-Bild-Generierung wie SD, SDXL, Midjourney und Imagen haben eine erstaunliche Fähigkeit zur Generierung hochwertiger Bilder bewiesen. Normalerweise werden diese Modelle mit einer bestimmten Auflösung trainiert, um eine effiziente Verarbeitung und ein genaues Modelltraining auf vorhandener Hardware sicherzustellen.

Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.

Abbildung 1: Vergleich der Verwendung verschiedener Methoden zur Generierung von 2048×2048-Bildern unter SDXL 1.0. [1]

In diesen Diffusionsmodellen kommt es häufig zu Musterduplizierungen und schwerwiegenden Artefakten. Es ist beispielsweise ganz links in Abbildung 1 dargestellt. Diese Probleme sind über die Schulungslösung hinaus besonders akut.

Forscher von Institutionen wie dem SenseTime Technology Joint Laboratory der Chinesischen Universität Hongkong führten in einem Artikel eine eingehende Untersuchung der Faltungsschicht der UNet-Struktur durch, die üblicherweise in Diffusionsmodellen verwendet wird, und schlugen FouriScale aus der Perspektive der Häufigkeit vor Domänenanalyse, wie in Bild 2 dargestellt.

Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.

Abbildung 2 Schematische Darstellung des FouriScale-Prozesses (orangefarbene Linie), der darauf abzielt, Konsistenz über alle Auflösungen hinweg sicherzustellen.

Durch die Einführung erweiterter Faltungsoperationen und Tiefpassfilteroperationen zum Ersetzen der ursprünglichen Faltungsschichten im vorab trainierten Diffusionsmodell kann die Struktur- und Skalenkonsistenz bei unterschiedlichen Auflösungen erreicht werden. In Kombination mit der Strategie „Füllen und dann zuschneiden“ können mit dieser Methode flexibel Bilder generiert werden, die unterschiedlichen Größen und Seitenverhältnissen entsprechen. Darüber hinaus ist diese Methode mit FouriScale als Leitfaden in der Lage, eine vollständige Bildstruktur und eine hervorragende Bildqualität bei der Erstellung hochauflösender Bilder jeder Größe zu gewährleisten. FouriScale erfordert keine Offline-Vorhersageberechnungen und weist eine gute Kompatibilität und Skalierbarkeit auf.

Quantitative und qualitative experimentelle Ergebnisse zeigen, dass FouriScale mithilfe vorab trainierter Diffusionsmodelle erhebliche Verbesserungen bei der Erzeugung hochauflösender Bilder erzielt. ??

Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.

Papiertitel: FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis


  • Methodeneinführung
  • 1. Atrous Faltung gewährleistet strukturelle Konsistenz über alle Auflösungen hinweg
  • Die Das Entrauschungsnetzwerk des Diffusionsmodells wird normalerweise auf Bildern oder latenten Räumen einer bestimmten Auflösung trainiert. Dieses Netzwerk übernimmt normalerweise die U-Net-Struktur. Ziel der Autoren ist es, die Parameter des Rauschunterdrückungsnetzwerks während der Inferenzphase zu nutzen, um Bilder mit höherer Auflösung zu erzeugen, ohne dass eine Umschulung erforderlich ist. Um strukturelle Verzerrungen bei der Inferenzauflösung zu vermeiden, versuchen die Autoren, strukturelle Konsistenz zwischen Standardauflösung und hoher Auflösung herzustellen. Für die Faltungsschicht in U-Net kann die strukturelle Konsistenz wie folgt ausgedrückt werden:

wobei k der ursprüngliche Faltungskern und k' ein neuer Faltungskern ist, der für eine größere Auflösung angepasst wurde. Gemäß der Frequenzbereichsdarstellung des räumlichen Downsamplings lautet es wie folgt:

Formel (3) kann wie folgt geschrieben werden:

Diese Formel zeigt, dass das Fourier-Spektrum des idealen Faltungskerns ist k' sollte Es wird durch das Fourier-Spektrum des s×s-Faltungskerns k gespleißt. Mit anderen Worten: Das Fourier-Spektrum von k' sollte sich periodisch wiederholen, und dieses sich wiederholende Muster ist das Fourier-Spektrum von k.

Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.

Die weit verbreitete atröse Faltung erfüllt genau diese Anforderung. Die Frequenzbereichsperiodizität der atroösen Faltung kann durch die folgende Formel ausgedrückt werden:

Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.

Wenn das vorab trainierte Diffusionsmodell (die Trainingsauflösung ist (h,w)) verwendet wird, um ein hochauflösendes Bild von (H,W) zu erzeugen, verwenden die Parameter der atrous Faltung den ursprünglichen Faltungskern. und der Erweiterungsfaktor ist (H/h, W/w), ist der ideale Faltungskern k'.

2. Die Tiefpassfilterung stellt die Skalenkonsistenz über alle Auflösungen hinweg sicher.

Allerdings kann das Problem nur durch die Verwendung von atrous-Faltung nicht perfekt gelöst werden, wie in der oberen linken Ecke von Abbildung 3 gezeigt, sondern nur durch die Verwendung von atrous-Faltung immer noch Wiederholungsmuster im Detail. Der Autor glaubt, dass dies daran liegt, dass das Frequenz-Aliasing-Phänomen des räumlichen Downsamplings die Frequenzbereichskomponenten verändert, was zu Unterschieden in der Frequenzbereichsverteilung bei unterschiedlichen Auflösungen führt. Um die Skalenkonsistenz über alle Auflösungen hinweg sicherzustellen, führten sie eine Tiefpassfilterung ein, um hochfrequente Komponenten herauszufiltern und so das Frequenz-Aliasing-Problem nach der räumlichen Neuabtastung zu beseitigen. Wie aus der Vergleichskurve auf der rechten Seite von Abbildung 3 ersichtlich ist, ist die Frequenzverteilung nach Verwendung der Tiefpassfilterung bei hohen und niedrigen Auflösungen enger, wodurch eine konsistente Skalierung gewährleistet wird. Wie aus der unteren linken Ecke von Abbildung 3 ersichtlich ist, wurde das Musterwiederholungsphänomen von Details nach Verwendung der Tiefpassfilterung erheblich verbessert.

Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.

Abbildung 3 (a) Visueller Vergleich, ob Tiefpassfilterung verwendet wird. (b) Relative logarithmische Fourier-Amplitudenkurve ohne Tiefpassfilterung. (c) Relative logarithmische Fourier-Amplitudenkurve mit Tiefpassfilterung.

3. Anpassbar an die Bildgenerierung jeder Größe

Die obige Methode kann nur angepasst werden, wenn das Seitenverhältnis der generierten Auflösung mit der Standard-Inferenzauflösung übereinstimmt Anpassbar an jede Größe. Für die Bilderzeugung verwendet der Autor eine „Füllen und dann zuschneiden“-Methode. Methode 1 zeigt den Pseudocode von FouriScale, der diese Strategie kombiniert. Die Frequenzbereichsoperation in FouriScale führt zwangsläufig zu Detailverlusten und unerwünschten Artefakten Bilder. Um dieses Problem zu lösen, schlug der Autor, wie in Abbildung 4 dargestellt, FouriScale als Leitmethode vor. Insbesondere führten sie basierend auf der ursprünglichen bedingten Generationsschätzung und der bedingungslosen Generationsschätzung eine zusätzliche bedingte Generationsschätzung ein. Der Generierungsprozess dieser zusätzlichen bedingten Generierungsschätzung verwendet ebenfalls eine atrous-Faltung, verwendet jedoch eine sanftere Tiefpassfilterung, um sicherzustellen, dass keine Details verloren gehen. Gleichzeitig verwenden sie die Aufmerksamkeitsbewertung in der von FouriScale ausgegebenen Schätzung der bedingten Generierung, um die Aufmerksamkeitsbewertung in dieser zusätzlichen Schätzung der bedingten Generierung zu ersetzen. Da die Aufmerksamkeitsbewertung die Strukturinformationen im generierten Bild enthält, wird dieser Vorgang korrekt durchgeführt Das Bild Strukturinformationen werden eingebracht und gleichzeitig die Bildqualität sichergestellt.

Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.

Abbildung 4 (a) FouriScale-Bootdiagramm. (b) Das generierte Bild ohne Verwendung von FouriScale als Leitfaden weist offensichtliche Artefakte und Detailfehler auf. (c) Erzeugtes Bild unter Verwendung von FouriScale als Leitfaden. 1. Quantitative Testergebnisse Vier Bilder mit höherer Auflösung wurden generiert. Die getesteten Auflösungen waren 4x, 6,25x, 8x und 16x so viele Pixel wie ihre jeweiligen Trainingsauflösungen. Die Ergebnisse der zufälligen Auswahl von 30.000/10.000 Bild-Text-Paaren auf Laion-5B sind in Tabelle 1 dargestellt: Jedes vorab trainierte Modell erzielt optimale Ergebnisse bei unterschiedlichen Auflösungen.

2. Qualitative Testergebnisse

Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.

Wie in Abbildung 5 gezeigt, kann ihre Methode die Qualität der Bilderzeugung und eine konsistente Struktur in jedem vorab trainierten Modell und bei verschiedenen Auflösungen sicherstellen.

Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.... FouriScale wird aus dem Frequenzbereich analysiert und verbessert die Struktur und Skalenkonsistenz bei verschiedenen Auflösungen durch atrous Faltungs- und Tiefpassfilterungsoperationen, wodurch wichtige Herausforderungen wie wiederholte Muster und strukturelle Verzerrungen gelöst werden. Die Anwendung einer „Füllen-dann-zuschneiden“-Strategie und die Verwendung von FouriScale als Leitfaden erhöhen die Flexibilität und Qualität der Text-zu-Bild-Generierung und passen sich gleichzeitig an unterschiedliche Seitenverhältnisse an. Quantitative und qualitative experimentelle Vergleiche zeigen, dass FouriScale unter verschiedenen vorab trainierten Modellen und unterschiedlichen Auflösungen eine höhere Qualität der Bilderzeugung gewährleisten kann.

Das obige ist der detaillierte Inhalt vonOhne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Wie löste ich das Problem der Schnittstelle zwischen Drittanbietern in der Node.js-Umgebung 403? Wie löste ich das Problem der Schnittstelle zwischen Drittanbietern in der Node.js-Umgebung 403? Mar 31, 2025 pm 11:27 PM

Lösen Sie das Problem der Schnittstelle zwischen Drittanbietern, die 403 in der Node.js-Umgebung zurückgeben. Wenn wir Node.js verwenden, um Schnittstellen von Drittanbietern aufzurufen, begegnen wir manchmal einen Fehler von 403 von der Schnittstelle, die 403 zurückgibt ...

Wie kann man in Laravel mit der Situation umgehen, in der Überprüfungscodes nicht per E -Mail gesendet werden? Wie kann man in Laravel mit der Situation umgehen, in der Überprüfungscodes nicht per E -Mail gesendet werden? Mar 31, 2025 pm 11:48 PM

Die Methode zum Umgang mit Laravels E -Mail -Versagen zum Senden von Verifizierungscode besteht darin, Laravel zu verwenden ...

Wie setze ich nach dem Neustart des Systems automatisch Berechtigungen von Unixsocket fest? Wie setze ich nach dem Neustart des Systems automatisch Berechtigungen von Unixsocket fest? Mar 31, 2025 pm 11:54 PM

So setzen Sie die Berechtigungen von Unixsocket automatisch nach dem Neustart des Systems. Jedes Mal, wenn das System neu startet, müssen wir den folgenden Befehl ausführen, um die Berechtigungen von Unixsocket: sudo ...

Warum tritt bei der Installation einer Erweiterung mit PECL in einer Docker -Umgebung ein Fehler auf? Wie löst ich es? Warum tritt bei der Installation einer Erweiterung mit PECL in einer Docker -Umgebung ein Fehler auf? Wie löst ich es? Apr 01, 2025 pm 03:06 PM

Ursachen und Lösungen für Fehler Bei der Verwendung von PECL zur Installation von Erweiterungen in der Docker -Umgebung, wenn die Docker -Umgebung verwendet wird, begegnen wir häufig auf einige Kopfschmerzen ...

So implementieren Sie Sortieren und fügen Ranglisten in zweidimensionalen PHP-Arrays hinzu? So implementieren Sie Sortieren und fügen Ranglisten in zweidimensionalen PHP-Arrays hinzu? Apr 01, 2025 am 07:00 AM

Detaillierte Erläuterung der zweidimensionalen Sortier- und Ranking-Implementierung von PHP-PHP In diesem Artikel wird ausführlich erläutert, wie ein zweidimensionales PHP-Array sortiert und jedes Sub-Array gemäß den Sortierergebnissen verwendet wird ...

Wie kann PHP die AES -Verschlüsselung und Entschlüsselung implementieren, die mit Java übereinstimmt? Wie kann PHP die AES -Verschlüsselung und Entschlüsselung implementieren, die mit Java übereinstimmt? Apr 01, 2025 am 07:15 AM

So implementieren Sie die AES -Verschlüsselung und Entschlüsselung mit Java ...

Wie bekomme ich den Rückgabecode, wenn das Senden von E -Mails in Laravel fehlschlägt? Wie bekomme ich den Rückgabecode, wenn das Senden von E -Mails in Laravel fehlschlägt? Apr 01, 2025 pm 02:45 PM

Methode zum Abholen des Rücksendecode, wenn das Senden von Laravel -E -Mails fehlschlägt. Wenn Sie Laravel zur Entwicklung von Anwendungen verwenden, stellen Sie häufig Situationen auf, in denen Sie Überprüfungscodes senden müssen. Und in Wirklichkeit ...

Wie implementieren Sie die kontextbezogene Dialogfunktion in der API von OpenAI? Wie implementieren Sie die kontextbezogene Dialogfunktion in der API von OpenAI? Apr 01, 2025 am 08:33 AM

Wie implementieren Sie die Parameter der Kontextschnittstelle von ChatGPT? Bei der Verwendung von OpenAIs Schnittstelle ist die Funktion der Implementierung einer Frage-und-Antwort-Funktion relativ einfach, und die offizielle Dokumentation enthält auch Details ...

See all articles