Teilweise Neuzeichnungstechnologie von Meitu AI enthüllt! Ändern Sie es, wie Sie möchten! Durch teilweises Neuzeichnen schöner Bilder können Sie tun, was Sie wollen

In letzter Zeit hat die Funktion „AI Image Enlargement“ mit ihrem plötzlichen Vergrößerungseffekt für Aufsehen gesorgt. Ihre lustigen und interessanten automatischen Füllergebnisse sind häufig beliebt und haben im Internet für Aufsehen gesorgt. Die Nutzer probierten dieses Feature aktiv aus, auch die enorme 180-Grad-Veränderung sorgte für Staunen und die Beliebtheit des Themas stieg weiter an.

Während es Gelächter und Begeisterung hervorruft, bedeutet es auch, dass die Menschen ständig darauf achten, ob KI ihnen wirklich dabei helfen kann, reale Probleme zu lösen und die Benutzererfahrung zu verbessern. Mit der rasanten Entwicklung der AIGC-Technologie beschleunigt sich die Implementierung von KI-Anwendungsszenarien, was darauf hindeutet, dass wir eine neue Produktivitätsrevolution einleiten werden.

Vor kurzem haben Meitus WHEE und andere Produkte Funktionen zur KI-Bildvergrößerung und KI-Bildänderung eingeführt. Durch einfache Eingabeaufforderung können Benutzer Bilder ändern, Bildschirmelemente entfernen und den Bildschirm nach Belieben erweitern. Der Effekt wird erheblich reduziert die Schwelle für den Werkzeugeinsatz und bietet Benutzern ein effizientes und qualitativ hochwertiges Bilderstellungserlebnis.

MiracleVision (MiracleVision) eliminiert das Ergebnis

MiracleVision (MiracleVision) vor dem Ersatzeffekt

MiracleVision (MiracleVision) nach dem Ersatzeffekt.

Miracle Vision AI-Modifikation Bildeffekte

Leistungsstarke Modellfunktionen ermöglichen die Bildbearbeitung nach Ihren Wünschen.

Das partielle Neuzeichnungsmodell von Meitu AI erstellt ein vollständiges Inpaint- und Outpaint-Modell-Framework basierend auf der Diffusionsmodelltechnologie, um interne Bereiche neu zu zeichnen und Vordergrundziele sowie die Erweiterung externer Bereiche und andere Aufgaben zu eliminieren werden in derselben zu lösenden Lösung vereinheitlicht, und für einige spezifische Effektprobleme werden spezielle Optimierungsentwürfe erstellt.

Das MiracleVision-Modell ist ein Vincentian-Graphenmodell, das durch Transformation der ersten Faltungsschicht und Feinabstimmung des gesamten Unets angepasst werden kann. Dies erfordert jedoch möglicherweise eine Änderung der ursprünglichen Gewichte von Unet in den Trainingsdaten zu einem Rückgang der Modellleistung führen.

Um die vorhandenen Generierungsfunktionen von MiracleVision voll auszunutzen, optimiert das Team das Unet-Modell von MiracleVision nicht direkt im partiellen Neuzeichnungsmodell, sondern verwendet die Controlnet-Methode, um einen Maskeneingabezweig hinzuzufügen Kontrolle.

Um Trainingskosten zu sparen und die Inferenz zu beschleunigen, wird gleichzeitig das komprimierte Controlnet-Modul für das Training verwendet, um den Rechenaufwand so weit wie möglich zu reduzieren. Während des Trainingsprozesses werden die Parameter des Unet-Modells festgelegt und nur das Controlnet-Modul aktualisiert, wodurch letztendlich das gesamte Modell die Fähigkeit zum Inpainting erhält.

Meitu AI zeichnet das Modellarchitekturdiagramm teilweise neu.

Die Outpaint-Aufgabe ist der umgekehrte Vorgang der Zuschneideaufgabe. Die Zuschneideaufgabe besteht darin, das Originalbild entlang der Bildgrenze zuzuschneiden und dabei nur den erforderlichen Teil beizubehalten. Dabei handelt es sich um eine Subtraktionsoperation des Bildinhalts, während die Hauptaufgabe darin besteht, mithilfe der Generierungsfähigkeit des Modells entlang der Bildgrenze nach außen zu expandieren aus dem Nichts erschaffen Das Extrahieren von Inhalten, die ursprünglich nicht vorhanden sind, ist ein Additionsvorgang von Bildinhalten.

Grundsätzlich kann die Outpaint-Aufgabe auch als spezielle Inpaint-Aufgabe betrachtet werden, mit der Ausnahme, dass sich der Maskenbereich am Rand des Bildes befindet.

MiracleVision AI-Bilderweiterungseffekt

Da der Maskenbereich in der Outpaint-Aufgabe nur Führungsinformationen aus dem Bildinneren erhalten kann, sind andere Richtungen Bildgrenzen, sodass der generierte Inhalt einzigartiger ist. Die Zufälligkeit wird größer sein abweichend. Um die leeren Bereiche am Rand des Bildes zu füllen und die Genauigkeit der Bilderweiterung sicherzustellen, verließ sich das Team auf Szenenerkennungsalgorithmen, um den Bildstil und -inhalt abzuleiten, und nutzte die Korrelation des zu kopierenden Bildinhalts voll aus die Pixel im Originalbild durch Spiegelung an den erweiterten Kanten und überlagern Sie zufälliges Rauschen, um einen geeigneten anfänglichen Prior für das Modell bereitzustellen, wodurch die Rationalität des generierten Inhalts sichergestellt und der Grenzübergang glatter wird.

Kontrollieren Sie frei die Erzeugung und Eliminierung von Objekten durch eine Vielzahl von Trainingsstrategien

Allgemeine Diffusionsmodelle können bei der Ausführung von Inpaint-Aufgaben besser ersetzt als eliminiert werden. Wenn ein bestimmtes Ziel eliminiert werden muss, kann das Modell problemlos einige neue Vordergrundziele in den Maskenbereich zeichnen, die ursprünglich nicht vorhanden waren, insbesondere wenn der Bereich von ​Der Maskenbereich ist groß. Dieses Phänomen ist besonders deutlich, wenn das Ziel relativ groß ist, auch wenn diese Ziele nicht in der Eingabeaufforderung erscheinen. Die Gründe liegen hauptsächlich in den folgenden drei Aspekten:

1. Die Eingabeaufforderungen des Trainingssatzes beschreiben im Allgemeinen nur, was im Bild ist, nicht jedoch, was nicht im Bild ist. Daher darf das trainierte Modell ein bestimmtes Bild erzeugen Basierend auf den Eingabeaufforderungen ist es einfach, Ziele zu erreichen, aber es ist schwierig, keine Ziele generieren zu lassen. Selbst mit der Classifier-Free Guidance-Strategie kann die Generierung dieses Ziels unterdrückt werden, indem unerwünschte Objekte zu negativen Wörtern hinzugefügt werden. Es ist jedoch nie möglich, alle möglichen Ziele in negative Wörter zu schreiben, sodass das Modell immer noch dazu neigt, einige unerwartete Ziele zu generieren

2. Da die meisten Bilder im großen Bildtrainingssatz aus Vordergrund- und Hintergrundbildern bestehen, ist der Anteil reiner Hintergrundbilder relativ gering Dies bedeutet, dass das Diffusionsmodell vorhanden ist Während des Trainings wurde eine mögliche Regel gelernt, d eher dazu neigen, etwas im Maskenbereich zu generieren, sodass das Ausgabebild während des Trainings näher an der Verteilung liegt;

3 Die Form des auszufüllenden Maskenbereichs enthält manchmal auch bestimmte semantische Informationen, beispielsweise wenn keine anderen vorhanden sind Anleitung Unter dieser Bedingung neigt das Modell eher dazu, eine neue Katze in einem Maskenbereich mit der Form einer Katze zu füllen, was dazu führt, dass die Eliminierungsaufgabe fehlschlägt.

Um MiracleVision sowohl die Fähigkeit zur Zielgenerierung als auch zur Zieleliminierung zu ermöglichen, hat das Team eine Multitasking-Trainingsstrategie übernommen:

1. In der Trainingsphase, wenn der Maskenbereich auf einen reinen Hintergrundbereich mit weniger Textur fällt, Fügen Sie ein bestimmtes Eingabeaufforderungsschlüsselwort als Trigger-Leitwort hinzu und fügen Sie in der Modellinferenzphase dieses Schlüsselwort als Vorwärtsleitwort zur Eingabeaufforderungseinbettung hinzu, wodurch das Modell aufgefordert wird, weitere Hintergrundbereiche zu generieren.

2. Da reine Hintergrundbilder einen relativ geringen Anteil im gesamten Trainingssatz ausmachen, wird in jedem Trainingsstapel ein bestimmter Anteil an Hintergrundbildern manuell abgetastet und dem Training hinzugefügt dass die Hintergrundbilder in den Trainingsbeispielen enthalten sind. Der Gesamtanteil bleibt stabil.

3. Um die semantische Abhängigkeit des Modells von der Maskenform zu verringern, werden während der Trainingsphase verschiedene Masken unterschiedlicher Form zufällig generiert, um die Vielfalt der Maskenformen zu erhöhen.

Hochpräzise Texturgenerierung, natürlichere Fusion

Da die hochauflösenden Texturdaten im Trainingssatz nur einen kleinen Teil der gesamten Trainingsdaten ausmachen, werden bei der Ausführung der Inpaint-Aufgabe sehr texturreiche Ergebnisse erzielt Wird normalerweise nicht generiert, was zum Original führt. In Szenen mit reichhaltigen Bildtexturen kann es leicht zu einer unnatürlichen Verschmelzung und einem Gefühl der Grenze kommen.

Um dieses Problem zu lösen, nutzte das Team das selbst entwickelte Texturdetailmodell als Leitmodell, um MiracleVision bei der Verbesserung der Generierungsqualität, der Unterdrückung von Überanpassungen und der Herstellung der Beziehung zwischen dem generierten Bereich und anderen Bereichen des zu unterstützen Originalbild passt besser zusammen.

Originalbild vs. ohne Hinzufügen von Texturdetails vs. MiracleVision-Bildvergrößerungseffekt

Schneller, besserer Effekt, effizientere Interaktion!

Diffusionsmodelllösungen erfordern normalerweise einen mehrstufigen umgekehrten Diffusionsprozess während der Inferenz, was dazu führt, dass die Verarbeitung eines einzelnen Bildes zu lange dauert. Um das Benutzererlebnis zu optimieren und gleichzeitig die Generierungsqualität beizubehalten, hat das Team des Meitu Imaging Research Institute (MT Lab) eine spezielle Tuning-Lösung für die teilweise Neuzeichnungstechnologie der KI entwickelt und so letztendlich die beste Balance zwischen Leistung und Wirkung erzielt.

Zunächst wird eine große Anzahl von Matrixberechnungen in den Vor- und Nachbearbeitungs- und Inferenzprozessen von MiracleVision zur möglichst parallelen Berechnung auf die GPU verpflanzt, wodurch die Berechnung effektiv beschleunigt und die Belastung verringert wird CPU. Gleichzeitig verschmelzen wir beim Zusammenstellen von Bildern die Ebenen so weit wie möglich, verwenden FlashAttention, um die Videospeichernutzung zu reduzieren, verbessern die Inferenzleistung und optimieren die Kernel-Implementierung, um die Nutzung der GPU-Rechenleistung für verschiedene NVIDIA-Grafiken zu maximieren Karten.

Darüber hinaus wird MiracleVision auf der Grundlage der selbst entwickelten Methode zur Quantifizierung von Modellparametern ohne offensichtlichen Genauigkeitsverlust auf 8 Bit quantisiert. Da verschiedene GPU-Grafikkarten die 8-Bit-Quantisierung unterschiedlich unterstützen, wenden wir innovativ eine Strategie mit gemischter Präzision an, um den optimalen Operator unter verschiedenen Serverressourcenumgebungen adaptiv auszuwählen und so die optimale Lösung für die Gesamtbeschleunigung zu erreichen.

Bei vom Benutzer eingegebenen Bildern mit höherer Auflösung ist es aufgrund der begrenzten Serverressourcen und des Zeitaufwands schwierig, direkt auf die Originalauflösung zu schließen. In diesem Zusammenhang komprimierte das Team zunächst die Bildauflösung auf eine geeignete Größe, führte dann eine auf MiracleVision basierende Inferenz durch und verwendete dann einen Superauflösungsalgorithmus, um das Bild auf die ursprüngliche Auflösung wiederherzustellen, und führte dann eine Bildfusion mit dem Originalbild durch. Dadurch bleibt beides erhalten. Es erzeugt klare Bilder und spart Speicherverbrauch und Ausführungszeit während des Inferenzprozesses.

Meitu arbeitet intensiv mit Samsung zusammen, um mithilfe von KI ein neues mobiles Bildbearbeitungserlebnis zu schaffen

Am 25. Januar veranstaltete Samsung Electronics in China eine neue Produkteinführungskonferenz für die Galaxy S24-Serie. Meitu hat seine Zusammenarbeit mit Samsung vertieft, um ein neues KI-Bildbearbeitungserlebnis für die neuen Handyalben der Galaxy S24-Serie zu schaffen. Die vom Meitu Imaging Research Institute (MT Lab) unabhängig entwickelten generativen Bearbeitungsfunktionen sind ebenfalls vorhanden Es wurde offiziell eingeführt, um einen neuen Raum für die mobile Bildbearbeitung und -erstellung zu eröffnen.

Mit der AI-Bildbearbeitungsfunktion können Benutzer das Bild einfach verschieben, löschen oder in der Größe ändern, indem sie einfach lange auf das Bild drücken, das sie bearbeiten möchten. Wenn die horizontale Linie des Bildes nicht vertikal ist, kann die AI-Bilderweiterungsfunktion außerdem die fehlenden Bereiche des Fotos intelligent ausfüllen und die Bildkomposition korrigieren, nachdem der Benutzer den Winkel angepasst hat.

Basierend auf den KI-Funktionen von MiracleVision hilft Meitu Benutzern nicht nur dabei, problemlos professionelle Bearbeitungseffekte auf Mobiltelefonen zu erzielen und personalisiertere Fotoarbeiten zu erstellen, sondern wird auch weiterhin die KI in der gesamten Mobiltelefonbranche fördern und verbessern . Bildverarbeitungsfunktionen.

Aufgrund der leistungsstarken technischen Fähigkeiten des Meitu Imaging Research Institute (MT Lab) wurde MiracleVision in weniger als einem halben Jahr auf Version 4.0 iteriert. Auch in Zukunft wird Meitu bestrebt sein, die Benutzererfahrung in E-Commerce, Werbung, Gaming und anderen Branchen zu verbessern und Praktikern in verschiedenen Szenarien dabei zu helfen, ihre Arbeitsablaufeffizienz zu verbessern.

Das obige ist der detaillierte Inhalt vonTeilweise Neuzeichnungstechnologie von Meitu AI enthüllt! Ändern Sie es, wie Sie möchten! Durch teilweises Neuzeichnen schöner Bilder können Sie tun, was Sie wollen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!