


Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.
In letzter Zeit haben Diffusionsmodelle GAN- und autoregressive Modelle überholt und sind aufgrund ihrer hervorragenden Leistung zur gängigen Wahl für generative Modelle geworden. Diffusionsmodellbasierte Modelle zur Text-zu-Bild-Generierung wie SD, SDXL, Midjourney und Imagen haben eine erstaunliche Fähigkeit zur Generierung hochwertiger Bilder bewiesen. Normalerweise werden diese Modelle mit einer bestimmten Auflösung trainiert, um eine effiziente Verarbeitung und ein genaues Modelltraining auf vorhandener Hardware sicherzustellen.
Abbildung 1: Vergleich der Verwendung verschiedener Methoden zur Generierung von 2048×2048-Bildern unter SDXL 1.0. [1]
In diesen Diffusionsmodellen kommt es häufig zu Musterduplizierungen und schwerwiegenden Artefakten. Es ist beispielsweise ganz links in Abbildung 1 dargestellt. Diese Probleme sind über die Schulungslösung hinaus besonders akut.
Forscher von Institutionen wie dem SenseTime Technology Joint Laboratory der Chinesischen Universität Hongkong führten in einem Artikel eine eingehende Untersuchung der Faltungsschicht der UNet-Struktur durch, die üblicherweise in Diffusionsmodellen verwendet wird, und schlugen FouriScale aus der Perspektive der Häufigkeit vor Domänenanalyse, wie in Bild 2 dargestellt.
Abbildung 2 Schematische Darstellung des FouriScale-Prozesses (orangefarbene Linie), der darauf abzielt, Konsistenz über alle Auflösungen hinweg sicherzustellen.
Durch die Einführung erweiterter Faltungsoperationen und Tiefpassfilteroperationen zum Ersetzen der ursprünglichen Faltungsschichten im vorab trainierten Diffusionsmodell kann die Struktur- und Skalenkonsistenz bei unterschiedlichen Auflösungen erreicht werden. In Kombination mit der Strategie „Füllen und dann zuschneiden“ können mit dieser Methode flexibel Bilder generiert werden, die unterschiedlichen Größen und Seitenverhältnissen entsprechen. Darüber hinaus ist diese Methode mit FouriScale als Leitfaden in der Lage, eine vollständige Bildstruktur und eine hervorragende Bildqualität bei der Erstellung hochauflösender Bilder jeder Größe zu gewährleisten. FouriScale erfordert keine Offline-Vorhersageberechnungen und weist eine gute Kompatibilität und Skalierbarkeit auf.
Quantitative und qualitative experimentelle Ergebnisse zeigen, dass FouriScale mithilfe vorab trainierter Diffusionsmodelle erhebliche Verbesserungen bei der Erzeugung hochauflösender Bilder erzielt. ??
- Methodeneinführung
- 1. Atrous Faltung gewährleistet strukturelle Konsistenz über alle Auflösungen hinweg
- Die Das Entrauschungsnetzwerk des Diffusionsmodells wird normalerweise auf Bildern oder latenten Räumen einer bestimmten Auflösung trainiert. Dieses Netzwerk übernimmt normalerweise die U-Net-Struktur. Ziel der Autoren ist es, die Parameter des Rauschunterdrückungsnetzwerks während der Inferenzphase zu nutzen, um Bilder mit höherer Auflösung zu erzeugen, ohne dass eine Umschulung erforderlich ist. Um strukturelle Verzerrungen bei der Inferenzauflösung zu vermeiden, versuchen die Autoren, strukturelle Konsistenz zwischen Standardauflösung und hoher Auflösung herzustellen. Für die Faltungsschicht in U-Net kann die strukturelle Konsistenz wie folgt ausgedrückt werden:
wobei k der ursprüngliche Faltungskern und k' ein neuer Faltungskern ist, der für eine größere Auflösung angepasst wurde. Gemäß der Frequenzbereichsdarstellung des räumlichen Downsamplings lautet es wie folgt:
Formel (3) kann wie folgt geschrieben werden:
Diese Formel zeigt, dass das Fourier-Spektrum des idealen Faltungskerns ist k' sollte Es wird durch das Fourier-Spektrum des s×s-Faltungskerns k gespleißt. Mit anderen Worten: Das Fourier-Spektrum von k' sollte sich periodisch wiederholen, und dieses sich wiederholende Muster ist das Fourier-Spektrum von k.
Die weit verbreitete atröse Faltung erfüllt genau diese Anforderung. Die Frequenzbereichsperiodizität der atroösen Faltung kann durch die folgende Formel ausgedrückt werden:
Wenn das vorab trainierte Diffusionsmodell (die Trainingsauflösung ist (h,w)) verwendet wird, um ein hochauflösendes Bild von (H,W) zu erzeugen, verwenden die Parameter der atrous Faltung den ursprünglichen Faltungskern. und der Erweiterungsfaktor ist (H/h, W/w), ist der ideale Faltungskern k'.
2. Die Tiefpassfilterung stellt die Skalenkonsistenz über alle Auflösungen hinweg sicher.
Allerdings kann das Problem nur durch die Verwendung von atrous-Faltung nicht perfekt gelöst werden, wie in der oberen linken Ecke von Abbildung 3 gezeigt, sondern nur durch die Verwendung von atrous-Faltung immer noch Wiederholungsmuster im Detail. Der Autor glaubt, dass dies daran liegt, dass das Frequenz-Aliasing-Phänomen des räumlichen Downsamplings die Frequenzbereichskomponenten verändert, was zu Unterschieden in der Frequenzbereichsverteilung bei unterschiedlichen Auflösungen führt. Um die Skalenkonsistenz über alle Auflösungen hinweg sicherzustellen, führten sie eine Tiefpassfilterung ein, um hochfrequente Komponenten herauszufiltern und so das Frequenz-Aliasing-Problem nach der räumlichen Neuabtastung zu beseitigen. Wie aus der Vergleichskurve auf der rechten Seite von Abbildung 3 ersichtlich ist, ist die Frequenzverteilung nach Verwendung der Tiefpassfilterung bei hohen und niedrigen Auflösungen enger, wodurch eine konsistente Skalierung gewährleistet wird. Wie aus der unteren linken Ecke von Abbildung 3 ersichtlich ist, wurde das Musterwiederholungsphänomen von Details nach Verwendung der Tiefpassfilterung erheblich verbessert.
Abbildung 3 (a) Visueller Vergleich, ob Tiefpassfilterung verwendet wird. (b) Relative logarithmische Fourier-Amplitudenkurve ohne Tiefpassfilterung. (c) Relative logarithmische Fourier-Amplitudenkurve mit Tiefpassfilterung.
3. Anpassbar an die Bildgenerierung jeder Größe
Die obige Methode kann nur angepasst werden, wenn das Seitenverhältnis der generierten Auflösung mit der Standard-Inferenzauflösung übereinstimmt Anpassbar an jede Größe. Für die Bilderzeugung verwendet der Autor eine „Füllen und dann zuschneiden“-Methode. Methode 1 zeigt den Pseudocode von FouriScale, der diese Strategie kombiniert. Die Frequenzbereichsoperation in FouriScale führt zwangsläufig zu Detailverlusten und unerwünschten Artefakten Bilder. Um dieses Problem zu lösen, schlug der Autor, wie in Abbildung 4 dargestellt, FouriScale als Leitmethode vor. Insbesondere führten sie basierend auf der ursprünglichen bedingten Generationsschätzung und der bedingungslosen Generationsschätzung eine zusätzliche bedingte Generationsschätzung ein. Der Generierungsprozess dieser zusätzlichen bedingten Generierungsschätzung verwendet ebenfalls eine atrous-Faltung, verwendet jedoch eine sanftere Tiefpassfilterung, um sicherzustellen, dass keine Details verloren gehen. Gleichzeitig verwenden sie die Aufmerksamkeitsbewertung in der von FouriScale ausgegebenen Schätzung der bedingten Generierung, um die Aufmerksamkeitsbewertung in dieser zusätzlichen Schätzung der bedingten Generierung zu ersetzen. Da die Aufmerksamkeitsbewertung die Strukturinformationen im generierten Bild enthält, wird dieser Vorgang korrekt durchgeführt Das Bild Strukturinformationen werden eingebracht und gleichzeitig die Bildqualität sichergestellt.
Abbildung 4 (a) FouriScale-Bootdiagramm. (b) Das generierte Bild ohne Verwendung von FouriScale als Leitfaden weist offensichtliche Artefakte und Detailfehler auf. (c) Erzeugtes Bild unter Verwendung von FouriScale als Leitfaden. 1. Quantitative Testergebnisse Vier Bilder mit höherer Auflösung wurden generiert. Die getesteten Auflösungen waren 4x, 6,25x, 8x und 16x so viele Pixel wie ihre jeweiligen Trainingsauflösungen. Die Ergebnisse der zufälligen Auswahl von 30.000/10.000 Bild-Text-Paaren auf Laion-5B sind in Tabelle 1 dargestellt: Jedes vorab trainierte Modell erzielt optimale Ergebnisse bei unterschiedlichen Auflösungen.
2. Qualitative Testergebnisse
Wie in Abbildung 5 gezeigt, kann ihre Methode die Qualität der Bilderzeugung und eine konsistente Struktur in jedem vorab trainierten Modell und bei verschiedenen Auflösungen sicherstellen.
... FouriScale wird aus dem Frequenzbereich analysiert und verbessert die Struktur und Skalenkonsistenz bei verschiedenen Auflösungen durch atrous Faltungs- und Tiefpassfilterungsoperationen, wodurch wichtige Herausforderungen wie wiederholte Muster und strukturelle Verzerrungen gelöst werden. Die Anwendung einer „Füllen-dann-zuschneiden“-Strategie und die Verwendung von FouriScale als Leitfaden erhöhen die Flexibilität und Qualität der Text-zu-Bild-Generierung und passen sich gleichzeitig an unterschiedliche Seitenverhältnisse an. Quantitative und qualitative experimentelle Vergleiche zeigen, dass FouriScale unter verschiedenen vorab trainierten Modellen und unterschiedlichen Auflösungen eine höhere Qualität der Bilderzeugung gewährleisten kann.
Das obige ist der detaillierte Inhalt vonOhne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen



Bei der Konvertierung von Zeichenfolgen in Objekte in Vue.js wird JSON.Parse () für Standard -JSON -Zeichenfolgen bevorzugt. Bei nicht standardmäßigen JSON-Zeichenfolgen kann die Zeichenfolge durch Verwendung regelmäßiger Ausdrücke verarbeitet und Methoden gemäß dem Format oder dekodierten URL-kodiert reduziert werden. Wählen Sie die entsprechende Methode gemäß dem String -Format aus und achten Sie auf Sicherheits- und Codierungsprobleme, um Fehler zu vermeiden.

Vue- und Element-UI-kaskadierte Dropdown-Boxen V-Model-Bindung gemeinsame Grubenpunkte: V-Model bindet ein Array, das die ausgewählten Werte auf jeder Ebene des kaskadierten Auswahlfelds darstellt, nicht auf einer Zeichenfolge; Der Anfangswert von ausgewählten Optionen muss ein leeres Array sein, nicht null oder undefiniert. Die dynamische Belastung von Daten erfordert die Verwendung asynchroner Programmierkenntnisse, um Datenaktualisierungen asynchron zu verarbeiten. Für riesige Datensätze sollten Leistungsoptimierungstechniken wie virtuelles Scrollen und fauler Laden in Betracht gezogen werden.

Zusammenfassung: Es gibt die folgenden Methoden zum Umwandeln von VUE.JS -String -Arrays in Objektarrays: Grundlegende Methode: Verwenden Sie die Kartenfunktion, um regelmäßige formatierte Daten zu entsprechen. Erweitertes Gameplay: Die Verwendung regulärer Ausdrücke kann komplexe Formate ausführen, müssen jedoch sorgfältig geschrieben und berücksichtigt werden. Leistungsoptimierung: In Betracht ziehen die große Datenmenge, asynchrone Operationen oder effiziente Datenverarbeitungsbibliotheken können verwendet werden. Best Practice: Clear Code -Stil, verwenden Sie sinnvolle variable Namen und Kommentare, um den Code präzise zu halten.

Um die Zeitüberschreitung für Vue Axios festzulegen, können wir eine Axios -Instanz erstellen und die Zeitleitungsoption angeben: in globalen Einstellungen: vue.Prototyp. $ Axios = axios.create ({Timeout: 5000}); In einer einzigen Anfrage: this. $ axios.get ('/api/user', {timeout: 10000}).

Verarbeiten Sie 7 Millionen Aufzeichnungen effizient und erstellen Sie interaktive Karten mit Geospatial -Technologie. In diesem Artikel wird untersucht, wie über 7 Millionen Datensätze mithilfe von Laravel und MySQL effizient verarbeitet und in interaktive Kartenvisualisierungen umgewandelt werden können. Erstes Herausforderungsprojektanforderungen: Mit 7 Millionen Datensätzen in der MySQL -Datenbank wertvolle Erkenntnisse extrahieren. Viele Menschen erwägen zunächst Programmiersprachen, aber ignorieren die Datenbank selbst: Kann sie den Anforderungen erfüllen? Ist Datenmigration oder strukturelle Anpassung erforderlich? Kann MySQL einer so großen Datenbelastung standhalten? Voranalyse: Schlüsselfilter und Eigenschaften müssen identifiziert werden. Nach der Analyse wurde festgestellt, dass nur wenige Attribute mit der Lösung zusammenhängen. Wir haben die Machbarkeit des Filters überprüft und einige Einschränkungen festgelegt, um die Suche zu optimieren. Kartensuche basierend auf der Stadt

Remote Senior Backend Engineer Job Vacant Company: Circle Standort: Remote-Büro-Jobtyp: Vollzeitgehalt: 130.000 bis 140.000 US-Dollar Stellenbeschreibung Nehmen Sie an der Forschung und Entwicklung von Mobilfunkanwendungen und öffentlichen API-bezogenen Funktionen, die den gesamten Lebenszyklus der Softwareentwicklung abdecken. Die Hauptaufgaben erledigen die Entwicklungsarbeit unabhängig von RubyonRails und arbeiten mit dem Front-End-Team von React/Redux/Relay zusammen. Erstellen Sie die Kernfunktionalität und -verbesserungen für Webanwendungen und arbeiten Sie eng mit Designer und Führung während des gesamten funktionalen Designprozesses zusammen. Fördern Sie positive Entwicklungsprozesse und priorisieren Sie die Iterationsgeschwindigkeit. Erfordert mehr als 6 Jahre komplexes Backend für Webanwendungen

Es gibt viele Gründe, warum MySQL Startup fehlschlägt und durch Überprüfung des Fehlerprotokolls diagnostiziert werden kann. Zu den allgemeinen Ursachen gehören Portkonflikte (prüfen Portbelegung und Änderung der Konfiguration), Berechtigungsprobleme (Überprüfen Sie den Dienst Ausführen von Benutzerberechtigungen), Konfigurationsdateifehler (Überprüfung der Parametereinstellungen), Datenverzeichniskorruption (Wiederherstellung von Daten oder Wiederaufbautabellenraum), InnoDB-Tabellenraumprobleme (prüfen IBDATA1-Dateien), Plug-in-Ladeversagen (Überprüfen Sie Fehlerprotokolle). Wenn Sie Probleme lösen, sollten Sie sie anhand des Fehlerprotokolls analysieren, die Hauptursache des Problems finden und die Gewohnheit entwickeln, Daten regelmäßig zu unterstützen, um Probleme zu verhindern und zu lösen.

Der Artikel führt den Betrieb der MySQL -Datenbank vor. Zunächst müssen Sie einen MySQL -Client wie MySQLworkBench oder Befehlszeilen -Client installieren. 1. Verwenden Sie den Befehl mySQL-uroot-P, um eine Verbindung zum Server herzustellen und sich mit dem Stammkonto-Passwort anzumelden. 2. Verwenden Sie die Erstellung von Createdatabase, um eine Datenbank zu erstellen, und verwenden Sie eine Datenbank aus. 3.. Verwenden Sie CreateTable, um eine Tabelle zu erstellen, Felder und Datentypen zu definieren. 4. Verwenden Sie InsertInto, um Daten einzulegen, Daten abzufragen, Daten nach Aktualisierung zu aktualisieren und Daten nach Löschen zu löschen. Nur indem Sie diese Schritte beherrschen, lernen, mit gemeinsamen Problemen umzugehen und die Datenbankleistung zu optimieren, können Sie MySQL effizient verwenden.
