Der Autor von ControlNet hat einen weiteren Hit! Der gesamte Prozess der Generierung eines Gemäldes aus einem Bild, der in zwei Tagen 1,4.000 Sterne verdient

Es ist auch ein Tusheng-Video, aber PaintsUndo ist einen anderen Weg gegangen.

ControlNet-Autor Lvmin Zhang hat wieder angefangen zu leben! Dieses Mal ziele ich auf den Bereich der Malerei.

Das neue Projekt PaintsUndo hat nicht lange nach seinem Start 1,4.000 Sterne erhalten (die immer noch wahnsinnig steigen).

Projektadresse: https://github.com/lllyasviel/Paints-UNDO

Über dieses Projekt gibt der Benutzer ein statisches Bild ein, und PaintsUndo kann Ihnen automatisch dabei helfen, ein Video des gesamten Malvorgangs zu erstellen Von der Linie Vom Entwurf bis zum fertigen Produkt sind Spuren zu verfolgen.

Während des Zeichenvorgangs sind die Linienänderungen erstaunlich. Das Endergebnis des Videos ist dem Originalbild sehr ähnlich:

Schauen wir uns einen vollständigen Malvorgang an. PaintsUndo verwendet zunächst einfache Linien, um den Hauptkörper der Figur zu umreißen, zeichnet dann den Hintergrund, wendet Farbe an und passt ihn schließlich so an, dass er dem Originalbild ähnelt.

PaintsUndo ist nicht auf einen einzelnen Bildstil beschränkt, sondern generiert auch entsprechende Malprozessvideos.

Der Corgi mit Kapuze blickt sanft in die Ferne:

Benutzer können auch ein einzelnes Bild eingeben und mehrere Videos ausgeben:

PaintsUndo weist jedoch auch Mängel auf, z. B. Es gibt Schwierigkeiten mit komplexen Kompositionen, und der Autor sagt, dass das Projekt noch verfeinert wird.

Der Grund, warum PaintsUndo so leistungsstark ist, liegt darin, dass es von einer Reihe von Modellen unterstützt wird, die ein Bild als Eingabe verwenden und dann eine Zeichensequenz des Bildes ausgeben. Das Modell reproduziert eine Vielzahl menschlicher Verhaltensweisen, einschließlich, aber nicht beschränkt auf, Skizzieren, Einfärben, Schattieren, Schattieren, Transformieren, Links- und Rechtsspiegeln, Farbkurvenanpassungen, Ändern der Sichtbarkeit einer Ebene und sogar Ändern der Gesamtidee während des Zeichenvorgangs .

Der lokale Bereitstellungsprozess ist sehr einfach und kann mit ein paar Codezeilen abgeschlossen werden:

git clone https://github.com/lllyasviel/Paints-UNDO.gitcd Paints-UNDOconda create -n paints_undo python=3.10conda activate paints_undopip install xformerspip install -r requirements.txtpython gradio_app.py

Modelleinführung

Der Projektautor verwendete 24 GB VRAM auf Nvidia 4090 und 3090TI für Inferenztests. Die Autoren schätzen, dass bei extremen Optimierungen (einschließlich Weight Offloading und Attention Slicing) der theoretische Mindestbedarf an VRAM etwa 10–12,5 GB beträgt. PaintsUndo erwartet, ein Bild je nach Einstellungen in etwa 5 bis 10 Minuten zu verarbeiten, was normalerweise zu einem 25-sekündigen Video mit einer Auflösung von 320 x 512, 512 x 320, 384 x 448 oder 448 x 384 führt.

Derzeit hat das Projekt zwei Modelle veröffentlicht: das Single-Frame-Modell „paints_undo_single_frame“ und das Multi-Frame-Modell „paints_undo_multi_frame“.

Das Single-Frame-Modell verwendet die modifizierte Architektur von SD1.5, wobei ein Bild und ein Operationsschritt als Eingabe verwendet und ein Bild ausgegeben werden. Unter der Annahme, dass die Erstellung eines Kunstwerks normalerweise 1000 manuelle Vorgänge erfordert (z. B. ist ein Strich ein Vorgang), dann ist die Schrittgröße des Vorgangs eine Ganzzahl zwischen 0 und 999. Die Nummer 0 ist das endgültige fertige Kunstwerk und die Nummer 999 ist der erste Strich, der auf eine reinweiße Leinwand gemalt wurde.

Das Multi-Frame-Modell basiert auf der VideoCrafter-Modellreihe, verwendet jedoch nicht das ursprüngliche Crafter-LVDM und der gesamte Trainings-/Inferenzcode wird komplett von Grund auf neu implementiert. Die Projektautoren haben viele Änderungen an der Topologie des neuronalen Netzwerks vorgenommen, und nach umfangreichem Training verhält sich das neuronale Netzwerk ganz anders als der ursprüngliche Crafter.

Die Gesamtarchitektur des Multi-Frame-Modells ähnelt der von Crafter und umfasst fünf Komponenten: 3D-UNet, VAE, CLIP, CLIP-Vision und Bildprojektion.

Das Multi-Frame-Modell verwendet zwei Bilder als Eingabe und gibt 16 Zwischenbilder zwischen den beiden Eingabebildern aus. Multi-Frame-Modelle liefern konsistentere Ergebnisse als Single-Frame-Modelle, sind aber auch viel langsamer, weniger „kreativ“ und auf 16 Frames beschränkt.

PaintsUndo verwendet standardmäßig Einzelbild- und Mehrbildmodelle zusammen. Zuerst wird ein Einzelbildmodell verwendet, um etwa 5–7 Mal abzuleiten, um 5–7 „Schlüsselbilder“ zu erhalten, und dann wird ein Mehrbildmodell verwendet, um diese Schlüsselbilder zu „interpolieren“, und schließlich wird ein relativ langes Modell verwendet Video wird generiert.

^{Referenzlink: https://lllyasviel.github.io/pages/paints_undo/}

Das obige ist der detaillierte Inhalt vonDer Autor von ControlNet hat einen weiteren Hit! Der gesamte Prozess der Generierung eines Gemäldes aus einem Bild, der in zwei Tagen 1,4.000 Sterne verdient. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!