


Ohne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.
In letzter Zeit haben Diffusionsmodelle GAN- und autoregressive Modelle überholt und sind aufgrund ihrer hervorragenden Leistung zur gängigen Wahl für generative Modelle geworden. Diffusionsmodellbasierte Modelle zur Text-zu-Bild-Generierung wie SD, SDXL, Midjourney und Imagen haben eine erstaunliche Fähigkeit zur Generierung hochwertiger Bilder bewiesen. Normalerweise werden diese Modelle mit einer bestimmten Auflösung trainiert, um eine effiziente Verarbeitung und ein genaues Modelltraining auf vorhandener Hardware sicherzustellen.
Abbildung 1: Vergleich der Verwendung verschiedener Methoden zur Generierung von 2048×2048-Bildern unter SDXL 1.0. [1]
In diesen Diffusionsmodellen kommt es häufig zu Musterduplizierungen und schwerwiegenden Artefakten. Es ist beispielsweise ganz links in Abbildung 1 dargestellt. Diese Probleme sind über die Schulungslösung hinaus besonders akut.
Forscher von Institutionen wie dem SenseTime Technology Joint Laboratory der Chinesischen Universität Hongkong führten in einem Artikel eine eingehende Untersuchung der Faltungsschicht der UNet-Struktur durch, die üblicherweise in Diffusionsmodellen verwendet wird, und schlugen FouriScale aus der Perspektive der Häufigkeit vor Domänenanalyse, wie in Bild 2 dargestellt.
Abbildung 2 Schematische Darstellung des FouriScale-Prozesses (orangefarbene Linie), der darauf abzielt, Konsistenz über alle Auflösungen hinweg sicherzustellen.
Durch die Einführung erweiterter Faltungsoperationen und Tiefpassfilteroperationen zum Ersetzen der ursprünglichen Faltungsschichten im vorab trainierten Diffusionsmodell kann die Struktur- und Skalenkonsistenz bei unterschiedlichen Auflösungen erreicht werden. In Kombination mit der Strategie „Füllen und dann zuschneiden“ können mit dieser Methode flexibel Bilder generiert werden, die unterschiedlichen Größen und Seitenverhältnissen entsprechen. Darüber hinaus ist diese Methode mit FouriScale als Leitfaden in der Lage, eine vollständige Bildstruktur und eine hervorragende Bildqualität bei der Erstellung hochauflösender Bilder jeder Größe zu gewährleisten. FouriScale erfordert keine Offline-Vorhersageberechnungen und weist eine gute Kompatibilität und Skalierbarkeit auf.
Quantitative und qualitative experimentelle Ergebnisse zeigen, dass FouriScale mithilfe vorab trainierter Diffusionsmodelle erhebliche Verbesserungen bei der Erzeugung hochauflösender Bilder erzielt. ??
- Methodeneinführung
- 1. Atrous Faltung gewährleistet strukturelle Konsistenz über alle Auflösungen hinweg
- Die Das Entrauschungsnetzwerk des Diffusionsmodells wird normalerweise auf Bildern oder latenten Räumen einer bestimmten Auflösung trainiert. Dieses Netzwerk übernimmt normalerweise die U-Net-Struktur. Ziel der Autoren ist es, die Parameter des Rauschunterdrückungsnetzwerks während der Inferenzphase zu nutzen, um Bilder mit höherer Auflösung zu erzeugen, ohne dass eine Umschulung erforderlich ist. Um strukturelle Verzerrungen bei der Inferenzauflösung zu vermeiden, versuchen die Autoren, strukturelle Konsistenz zwischen Standardauflösung und hoher Auflösung herzustellen. Für die Faltungsschicht in U-Net kann die strukturelle Konsistenz wie folgt ausgedrückt werden:
wobei k der ursprüngliche Faltungskern und k' ein neuer Faltungskern ist, der für eine größere Auflösung angepasst wurde. Gemäß der Frequenzbereichsdarstellung des räumlichen Downsamplings lautet es wie folgt:
Formel (3) kann wie folgt geschrieben werden:
Diese Formel zeigt, dass das Fourier-Spektrum des idealen Faltungskerns ist k' sollte Es wird durch das Fourier-Spektrum des s×s-Faltungskerns k gespleißt. Mit anderen Worten: Das Fourier-Spektrum von k' sollte sich periodisch wiederholen, und dieses sich wiederholende Muster ist das Fourier-Spektrum von k.
Die weit verbreitete atröse Faltung erfüllt genau diese Anforderung. Die Frequenzbereichsperiodizität der atroösen Faltung kann durch die folgende Formel ausgedrückt werden:
Wenn das vorab trainierte Diffusionsmodell (die Trainingsauflösung ist (h,w)) verwendet wird, um ein hochauflösendes Bild von (H,W) zu erzeugen, verwenden die Parameter der atrous Faltung den ursprünglichen Faltungskern. und der Erweiterungsfaktor ist (H/h, W/w), ist der ideale Faltungskern k'.
2. Die Tiefpassfilterung stellt die Skalenkonsistenz über alle Auflösungen hinweg sicher.
Allerdings kann das Problem nur durch die Verwendung von atrous-Faltung nicht perfekt gelöst werden, wie in der oberen linken Ecke von Abbildung 3 gezeigt, sondern nur durch die Verwendung von atrous-Faltung immer noch Wiederholungsmuster im Detail. Der Autor glaubt, dass dies daran liegt, dass das Frequenz-Aliasing-Phänomen des räumlichen Downsamplings die Frequenzbereichskomponenten verändert, was zu Unterschieden in der Frequenzbereichsverteilung bei unterschiedlichen Auflösungen führt. Um die Skalenkonsistenz über alle Auflösungen hinweg sicherzustellen, führten sie eine Tiefpassfilterung ein, um hochfrequente Komponenten herauszufiltern und so das Frequenz-Aliasing-Problem nach der räumlichen Neuabtastung zu beseitigen. Wie aus der Vergleichskurve auf der rechten Seite von Abbildung 3 ersichtlich ist, ist die Frequenzverteilung nach Verwendung der Tiefpassfilterung bei hohen und niedrigen Auflösungen enger, wodurch eine konsistente Skalierung gewährleistet wird. Wie aus der unteren linken Ecke von Abbildung 3 ersichtlich ist, wurde das Musterwiederholungsphänomen von Details nach Verwendung der Tiefpassfilterung erheblich verbessert.
Abbildung 3 (a) Visueller Vergleich, ob Tiefpassfilterung verwendet wird. (b) Relative logarithmische Fourier-Amplitudenkurve ohne Tiefpassfilterung. (c) Relative logarithmische Fourier-Amplitudenkurve mit Tiefpassfilterung.
3. Anpassbar an die Bildgenerierung jeder Größe
Die obige Methode kann nur angepasst werden, wenn das Seitenverhältnis der generierten Auflösung mit der Standard-Inferenzauflösung übereinstimmt Anpassbar an jede Größe. Für die Bilderzeugung verwendet der Autor eine „Füllen und dann zuschneiden“-Methode. Methode 1 zeigt den Pseudocode von FouriScale, der diese Strategie kombiniert. Die Frequenzbereichsoperation in FouriScale führt zwangsläufig zu Detailverlusten und unerwünschten Artefakten Bilder. Um dieses Problem zu lösen, schlug der Autor, wie in Abbildung 4 dargestellt, FouriScale als Leitmethode vor. Insbesondere führten sie basierend auf der ursprünglichen bedingten Generationsschätzung und der bedingungslosen Generationsschätzung eine zusätzliche bedingte Generationsschätzung ein. Der Generierungsprozess dieser zusätzlichen bedingten Generierungsschätzung verwendet ebenfalls eine atrous-Faltung, verwendet jedoch eine sanftere Tiefpassfilterung, um sicherzustellen, dass keine Details verloren gehen. Gleichzeitig verwenden sie die Aufmerksamkeitsbewertung in der von FouriScale ausgegebenen Schätzung der bedingten Generierung, um die Aufmerksamkeitsbewertung in dieser zusätzlichen Schätzung der bedingten Generierung zu ersetzen. Da die Aufmerksamkeitsbewertung die Strukturinformationen im generierten Bild enthält, wird dieser Vorgang korrekt durchgeführt Das Bild Strukturinformationen werden eingebracht und gleichzeitig die Bildqualität sichergestellt.
Abbildung 4 (a) FouriScale-Bootdiagramm. (b) Das generierte Bild ohne Verwendung von FouriScale als Leitfaden weist offensichtliche Artefakte und Detailfehler auf. (c) Erzeugtes Bild unter Verwendung von FouriScale als Leitfaden. 1. Quantitative Testergebnisse Vier Bilder mit höherer Auflösung wurden generiert. Die getesteten Auflösungen waren 4x, 6,25x, 8x und 16x so viele Pixel wie ihre jeweiligen Trainingsauflösungen. Die Ergebnisse der zufälligen Auswahl von 30.000/10.000 Bild-Text-Paaren auf Laion-5B sind in Tabelle 1 dargestellt: Jedes vorab trainierte Modell erzielt optimale Ergebnisse bei unterschiedlichen Auflösungen.
2. Qualitative Testergebnisse
Wie in Abbildung 5 gezeigt, kann ihre Methode die Qualität der Bilderzeugung und eine konsistente Struktur in jedem vorab trainierten Modell und bei verschiedenen Auflösungen sicherstellen.
... FouriScale wird aus dem Frequenzbereich analysiert und verbessert die Struktur und Skalenkonsistenz bei verschiedenen Auflösungen durch atrous Faltungs- und Tiefpassfilterungsoperationen, wodurch wichtige Herausforderungen wie wiederholte Muster und strukturelle Verzerrungen gelöst werden. Die Anwendung einer „Füllen-dann-zuschneiden“-Strategie und die Verwendung von FouriScale als Leitfaden erhöhen die Flexibilität und Qualität der Text-zu-Bild-Generierung und passen sich gleichzeitig an unterschiedliche Seitenverhältnisse an. Quantitative und qualitative experimentelle Vergleiche zeigen, dass FouriScale unter verschiedenen vorab trainierten Modellen und unterschiedlichen Auflösungen eine höhere Qualität der Bilderzeugung gewährleisten kann.
Das obige ist der detaillierte Inhalt vonOhne Schulung erreicht diese neue Methode Freiheit bei der Generierung von Bildgrößen und Auflösungen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen



Um die Zeitüberschreitung für Vue Axios festzulegen, können wir eine Axios -Instanz erstellen und die Zeitleitungsoption angeben: in globalen Einstellungen: vue.Prototyp. $ Axios = axios.create ({Timeout: 5000}); In einer einzigen Anfrage: this. $ axios.get ('/api/user', {timeout: 10000}).

Der Artikel führt den Betrieb der MySQL -Datenbank vor. Zunächst müssen Sie einen MySQL -Client wie MySQLworkBench oder Befehlszeilen -Client installieren. 1. Verwenden Sie den Befehl mySQL-uroot-P, um eine Verbindung zum Server herzustellen und sich mit dem Stammkonto-Passwort anzumelden. 2. Verwenden Sie die Erstellung von Createdatabase, um eine Datenbank zu erstellen, und verwenden Sie eine Datenbank aus. 3.. Verwenden Sie CreateTable, um eine Tabelle zu erstellen, Felder und Datentypen zu definieren. 4. Verwenden Sie InsertInto, um Daten einzulegen, Daten abzufragen, Daten nach Aktualisierung zu aktualisieren und Daten nach Löschen zu löschen. Nur indem Sie diese Schritte beherrschen, lernen, mit gemeinsamen Problemen umzugehen und die Datenbankleistung zu optimieren, können Sie MySQL effizient verwenden.

Es gibt viele Gründe, warum MySQL Startup fehlschlägt und durch Überprüfung des Fehlerprotokolls diagnostiziert werden kann. Zu den allgemeinen Ursachen gehören Portkonflikte (prüfen Portbelegung und Änderung der Konfiguration), Berechtigungsprobleme (Überprüfen Sie den Dienst Ausführen von Benutzerberechtigungen), Konfigurationsdateifehler (Überprüfung der Parametereinstellungen), Datenverzeichniskorruption (Wiederherstellung von Daten oder Wiederaufbautabellenraum), InnoDB-Tabellenraumprobleme (prüfen IBDATA1-Dateien), Plug-in-Ladeversagen (Überprüfen Sie Fehlerprotokolle). Wenn Sie Probleme lösen, sollten Sie sie anhand des Fehlerprotokolls analysieren, die Hauptursache des Problems finden und die Gewohnheit entwickeln, Daten regelmäßig zu unterstützen, um Probleme zu verhindern und zu lösen.

Verarbeiten Sie 7 Millionen Aufzeichnungen effizient und erstellen Sie interaktive Karten mit Geospatial -Technologie. In diesem Artikel wird untersucht, wie über 7 Millionen Datensätze mithilfe von Laravel und MySQL effizient verarbeitet und in interaktive Kartenvisualisierungen umgewandelt werden können. Erstes Herausforderungsprojektanforderungen: Mit 7 Millionen Datensätzen in der MySQL -Datenbank wertvolle Erkenntnisse extrahieren. Viele Menschen erwägen zunächst Programmiersprachen, aber ignorieren die Datenbank selbst: Kann sie den Anforderungen erfüllen? Ist Datenmigration oder strukturelle Anpassung erforderlich? Kann MySQL einer so großen Datenbelastung standhalten? Voranalyse: Schlüsselfilter und Eigenschaften müssen identifiziert werden. Nach der Analyse wurde festgestellt, dass nur wenige Attribute mit der Lösung zusammenhängen. Wir haben die Machbarkeit des Filters überprüft und einige Einschränkungen festgelegt, um die Suche zu optimieren. Kartensuche basierend auf der Stadt

Remote Senior Backend Engineer Job Vacant Company: Circle Standort: Remote-Büro-Jobtyp: Vollzeitgehalt: 130.000 bis 140.000 US-Dollar Stellenbeschreibung Nehmen Sie an der Forschung und Entwicklung von Mobilfunkanwendungen und öffentlichen API-bezogenen Funktionen, die den gesamten Lebenszyklus der Softwareentwicklung abdecken. Die Hauptaufgaben erledigen die Entwicklungsarbeit unabhängig von RubyonRails und arbeiten mit dem Front-End-Team von React/Redux/Relay zusammen. Erstellen Sie die Kernfunktionalität und -verbesserungen für Webanwendungen und arbeiten Sie eng mit Designer und Führung während des gesamten funktionalen Designprozesses zusammen. Fördern Sie positive Entwicklungsprozesse und priorisieren Sie die Iterationsgeschwindigkeit. Erfordert mehr als 6 Jahre komplexes Backend für Webanwendungen

MySQL kann JSON -Daten zurückgeben. Die JSON_EXTRACT -Funktion extrahiert Feldwerte. Über komplexe Abfragen sollten Sie die Where -Klausel verwenden, um JSON -Daten zu filtern, aber auf die Leistungsauswirkungen achten. Die Unterstützung von MySQL für JSON nimmt ständig zu, und es wird empfohlen, auf die neuesten Versionen und Funktionen zu achten.

Die MySQL -Leistungsoptimierung muss von drei Aspekten beginnen: Installationskonfiguration, Indexierung und Abfrageoptimierung, Überwachung und Abstimmung. 1. Nach der Installation müssen Sie die my.cnf -Datei entsprechend der Serverkonfiguration anpassen, z. 2. Erstellen Sie einen geeigneten Index, um übermäßige Indizes zu vermeiden und Abfrageanweisungen zu optimieren, z. B. den Befehl Erklärung zur Analyse des Ausführungsplans; 3. Verwenden Sie das eigene Überwachungstool von MySQL (ShowProcessList, Showstatus), um die Datenbankgesundheit zu überwachen und die Datenbank regelmäßig zu sichern und zu organisieren. Nur durch kontinuierliche Optimierung dieser Schritte kann die Leistung der MySQL -Datenbank verbessert werden.

Die MySQL-Datenbankleistung Optimierungshandbuch In ressourcenintensiven Anwendungen spielt die MySQL-Datenbank eine entscheidende Rolle und ist für die Verwaltung massiver Transaktionen verantwortlich. Mit der Erweiterung der Anwendung werden jedoch die Datenbankleistung Engpässe häufig zu einer Einschränkung. In diesem Artikel werden eine Reihe effektiver Strategien zur Leistungsoptimierung von MySQL -Leistung untersucht, um sicherzustellen, dass Ihre Anwendung unter hohen Lasten effizient und reaktionsschnell bleibt. Wir werden tatsächliche Fälle kombinieren, um eingehende Schlüsseltechnologien wie Indexierung, Abfrageoptimierung, Datenbankdesign und Caching zu erklären. 1. Das Design der Datenbankarchitektur und die optimierte Datenbankarchitektur sind der Eckpfeiler der MySQL -Leistungsoptimierung. Hier sind einige Kernprinzipien: Die Auswahl des richtigen Datentyps und die Auswahl des kleinsten Datentyps, der den Anforderungen entspricht, kann nicht nur Speicherplatz speichern, sondern auch die Datenverarbeitungsgeschwindigkeit verbessern.
