Die „Cartoon-Gesicht'-Spezialeffekttechnologie, die von mehr als 9 Millionen Menschen auf Douyin verwendet wird, wird enthüllt

Wenn es um das Gameplay mit Spezialeffekten geht, war Douyins Fähigkeit, „den Job zu erledigen“, schon immer für alle offensichtlich. Kürzlich stand ein „Cartoon-Gesicht“-Spezialeffekt im Rampenlicht. Egal ob Männer, Frauen oder Kinder, nach der Anwendung dieses Spezialeffekts werden sie genauso schick und süß aussehen wie die Figuren aus Disney-Animationen. Als „Cartoon Face“ auf den Markt kam, verbreitete es sich schnell auf Douyin und erfreute sich großer Beliebtheit bei den Nutzern: „Verwandlung mit einem Klick in ein großes und süßes Cartoon-Gesicht“, „Alle flüchtigen Prinzessinnen auf Douyin sind da“, „Zeigen Sie Ihr Baby.“ mit Cartoon-Gesichtsstil“, „Prinzbezogene Hotspots wie „Prinzessin verbreitet Zuckergestentanz“ und „Den Moment des märchenhaften magischen Scheiterns einfangen“ nehmen ständig zu. Darunter „Alle flüchtigen Prinzessinnen aus Douyin sind hier“ und „ „Capturing the Moment of Fairy Tale Magic Failure“ standen sogar auf Douyins nationaler Hotlist. Derzeit hat die Zahl der Nutzer dieses Spezialeffekts 9 Millionen überschritten.

„Cartoon-Gesicht“ ist ein Spezialeffekt im 3D-Stil. Die Schwierigkeiten bei der Entwicklung dieser Art von Spezialeffekten sind hauptsächlich auf die Schwierigkeit zurückzuführen, verschiedene CG-Trainingsdaten zu erhalten , und die Schwierigkeit, lebendige Ausdrücke wiederherzustellen, ist schwierig, eine realistische dreidimensionale Hauttextur mit Licht und Schatten zu erzielen, und es ist schwierig, die übertriebene Verformung von Gesichtsmerkmalen zu erlernen. In diesem Zusammenhang hat sich das intelligente Kreationsteam von ByteDance auf eine bahnbrechende Optimierung in Richtung 3D-Stilisierung konzentriert, die nicht nur alle oben genannten Probleme löste, sondern auch eine Reihe universeller technischer Lösungen hervorbrachte.

Die Innovation des F&E-Prozesses hinter „Cartoon Face“

#🎜🎜 ## 🎜🎜#In der Vergangenheit war ein vollständiger 3D-Stilisierungsprozess in die folgenden Module unterteilt:

Sammeln Sie eine Reihe originaler Stilbilder -> trainieren Sie StyleGan groß Modell -> gepaarte Daten generieren -> manuelle Auswahl der verfügbaren gepaarten Daten + Designer-P-Diagrammoptimierung -> kleines P2P-Modell trainieren und dann wiederholen.

Die Probleme mit dem traditionellen F&E-Prozess liegen auf der Hand: langer Iterationszyklus , schlechtes Design Die Beteiligung der Lehrer ist schwach und es ist nicht einfach, sie zu sammeln und wiederzuverwenden.

Bei der Forschung und Entwicklung des Spezialeffekts „Cartoon-Gesicht“ hat das intelligente Kreationsteam von ByteDance einen innovativen F&E-Prozess übernommen

🎜🎜 #： Beginnend damit, dass der Designer den Zielstileffekt erstellt, stellt der Designer einige 3D-Kunstmaterialien gemäß den vom Algorithmus vereinbarten Anforderungen bereit und erstellt dann ByteDance erstellt auf intelligente Weise das Team mithilfe von DCC-Software, um mehrere verschiedene CG-Daten stapelweise zu rendern. Während des Rendering-Prozesses führte das technische Team zum ersten Mal die beliebteste AIGC-Technologie ein, um die Daten zu synthetisieren Für das Training wird es schließlich verwendet und schließlich selbst entwickelt. Der endgültige Effekt kann durch Training des Deformationsmodells pix2pix erzielt werden.

Bytedance Intelligent Creation Team „Cartoon Face“ The R&D Flussdiagramm

Aus der Prozessverknüpfung ist ersichtlich, dass diese Methode den Iterationszyklus erheblich verkürzt, den Automatisierungsgrad verbessert und es Designern auch ermöglicht Die Praxis zeigt, dass die innovative Engineering-Anbindung den Iterationszyklus von 6 Monaten auf 1 Monat verkürzt und die Lösung einfacher zu akkumulieren und wiederzuverwenden ist.

Wie ist der Spezialeffekt „Cartoon-Gesicht“ gestaltet?

Heutzutage gibt es immer mehr Transformations-Spezialeffekte in den sozialen Medien Der Schönheit und Genauigkeit von Spezialeffekten wird immer mehr Aufmerksamkeit geschenkt, damit Benutzer besser stilisierte Transformationseffekte erzielen können. Die Spezialeffektdesigner von Douyin haben nach sorgfältiger Recherche eine Reihe von Spezialeffekten in Kombination mit beliebten Animationsstilen entwickelt Gesichtsspezialeffekte ermöglichen es Benutzern, einen animierten und flexiblen Charakterstil zu erleben und gleichzeitig den Bedürfnissen des Benutzers gerecht zu werden, schöner und attraktiver zu werden.

Douyin-Spezialeffektdesigner führten eine eingehende Untersuchung der auf dem Markt vorhandenen Transformationsspezialeffekte durch und stellten fest, dass die vorhandenen Spezialeffekte Probleme wie unzureichenden attraktiven Stil, unzureichende Ausdrucksübertreibung und unzureichende realistische Lichteffekte aufweisen. Daher haben die Spezialeffektdesigner von Douyin den Stil der Cartoon-Gesichter auf der Grundlage häuslicher Ästhetik neu gestaltet, die Gesichtsproportionen von Männern und Frauen übertrieben und sie in „Mädchen“ mit süßen runden Gesichtern und eleganten Gesichtszügen und „Jungen“ mit harten, langen Gesichtszügen rekonstruiert Gesichter und hübsche Gesichtszüge. Bei diesem Prozess behielt der Designer das eigene Haar des Benutzers bei, verstärkte die Flauschigkeit und den Glanz des Haares und sorgte dafür, dass es sich natürlicher in das Cartoon-Gesicht einfügte. Die Haut mit Cartoon-Struktur integrierte auch die Details der eigenen Haut des Benutzers Spezialeffekte natürlicher.

Darüber hinaus definierten die Designer von Douyin-Spezialeffekten auch die Textur von Licht und Schatten unter verschiedenen Lichtern, um den Anforderungen der Lichtwiederherstellung in komplexen Szenen gerecht zu werden, das Cartoon-Gesicht dreidimensionaler und natürlicher zu machen und es in zu integrieren Tägliche Selfies ohne jegliches Gefühl der Verletzung. Schließlich erstellte der Designer auch übertriebene symbolische Gesichtsausdrücke, nutzte Gesichtserfassungstechnologie, um Gesichtsausdruck-CG-Daten für digitale menschliche Assets zu generieren, und verbesserte kontinuierlich die Trainingsdaten und Algorithmen, um Ausdruckseffekte zu erzeugen, die die Persönlichkeit des Benutzers lebendiger darstellen können.

Selbst erstellter synthetischer CG-Datenstrom, hochwertige Trainingsdaten können wiederverwendet werden

Die Quelle der Trainingsdaten für Spezialeffekte im 3D-Stil basiert auf hochwertigen CG-Rendering-Daten und stellt relativ hohe Anforderungen an die Vielfalt Datenverteilung und gleichzeitig 3D-Assets Die manuelle Modellierung ist ebenfalls ein sehr arbeitsintensiver Prozess und weist keine ausreichende Wiederverwendbarkeit auf. Oftmals erfordert die Erstellung einer Reihe von 3D-Assets teure Arbeitskräfte und Zeit, die nach Abschluss des Projekts vollständig verworfen werden .

Dieses Mal hat das intelligente Kreationsteam von ByteDance eine Reihe universeller und einfach zu erweiternder CG-Synthesedaten-Workflows erstellt.

Flussdiagramm des synthetischen CG-Datenflusses vom Bytedance Intelligent Creation Team

Der Workflow dieses synthetischen Datenflusses ist wie folgt:

1. Programmatische Generierung durch Houdini Digital Assets, programmiertes Gesichtsklemmen, Knochenbinden, Gewichtsanpassung usw., um eine realistische digitale Asset-Bibliothek für menschliche Modelle zu erstellen. 2. Erstellen Sie USD-Vorlagen mit Houdinis Solaris-Modell, Kleidung, Ausdruckskoeffizienten und anderen Assets werden jeweils mit USD-Referenz importiert. 3. PD über Houdini G Zufällige Kombination s von Assets, Kamerawinkeln, Lichtumgebungen usw . . Verwenden Sie PDG zur Steuerung von Arbeitselementen, um die Datenverteilung genau zu steuern.

Automatisiertes PDG-Knotendiagramm

Da der Forschungs- und Entwicklungsprozess häufig eine große Menge an Rendering-Daten für die Effektiteration bereitstellen muss, erfordert dies hohe Rechenleistungskosten und Rendering-Wartezeiten Zeit. Zuvor gab das Team Millionen für externe Farmen für die Datenrendering von Douyins „Magic Transformation“-Spezialeffekten aus. Für die „Cartoon-Gesicht“-Spezialeffekte vertraute das Team auf die solide Infrastruktur der Cloud-Plattform Volcano Engine von ByteDance, um die Kosten für Rechenleistung deutlich zu senken.

Das intelligente Kreationsteam von

ByteDance orientierte sich an den Prozessen der Film- und Fernsehindustrie und baute eine selbst entwickelte Rendering-Farm-Plattform auf. Es kann Offline-Aufgaben zur parallelen Verarbeitung auf mehrere Rendering-Maschinen aufteilen. Durch die Volcano Engine-Spiegelungsplattform für das Image-Hosting, die Ressourcen-Pooling-Plattform für die Ressourcenanwendung und -freigabe, den CPU/GPU-Cluster für die dynamische Erweiterung und Kontraktion von Containern und die Verwendung von NAS für die Asset-Verwaltung kann die Rendering-Farm mit einem Klick erweitert werden von Tausenden von Rendering-Knoten. Die Fähigkeit, effizient zu rechnen.

Auf dieser Grundlage hat das intelligente Erstellungsteam von ByteDance die Verarbeitungslogik für einzelne Aufgaben angepasst, einschließlich Vorverarbeitung, Engine-Rendering, Nachbearbeitung und anderer Schritte. Und erweitern/verkleinern Sie die Clustergröße jederzeit nach Bedarf dynamisch, um die Nutzung der Rechenressourcen zu maximieren.

Um die Effizienz weiter zu verbessern und Designern die Teilnahme an der Effektoptimierung zu erleichtern, hat das technische Team außerdem ein Feishu-Applet erstellt, mit dem Feishu den automatisierten Prozess in der Cloud auslöst, um die Kunsteffekte zu iterieren und auszuführen Nach Abschluss der Aufgaben wird eine Nachricht an Feishu zurückgesendet, damit der Designer sie sehen kann, was die Effizienz der Arbeit des Designers erheblich verbessert.

Gleichzeitig hat das intelligente Kreativteam von ByteDance den Ereignistreiber (EventTrigger) und die API angepasst, um die Farm, die Feishu-Plattform und die Cloud-Desktop-Plattform zu verbinden und das All-in-One-Konzept zu maximieren, sodass Designer und Ingenieure darauf basieren können Feishu und Cloud Desktop machen die gemeinsame Forschung und Entwicklung komfortabler.

Selbst entwickelte Rendering-Farm-Plattform

Anwendung der neuen AIGC-Technologie

Mit der Einführung von DALL・E begann das intelligente Kreationsteam von ByteDance Anfang 2021 mit der Arbeit an verwandten Technologien Nach der Nachverfolgung und Planung erstellte das intelligente Erstellungsteam von ByteDance einen Datensatz mit einem Datenvolumen von einer Milliarde basierend auf dem Open-Source-Modell „Stable Diffusion“ und trainierte zwei Modelle Bilder im Ölgemälde- und Tuschemalerei-Stil; das andere ist ein Diffusionsmodell im Anime-Stil.

Vor nicht allzu langer Zeit wurden die vom intelligenten Kreationsteam von ByteDance unterstützten „KI-Malerei“-Spezialeffekte mithilfe dieser neuen Technologie auf Douyin populär. Dieses Mal untersuchte das technische Team bei Douyins „Cartoon Face“ die Fähigkeit des Diffusionsmodells, 3D-Cartoon-Stile zu generieren, und übernahm eine Bildgenerierungsstrategie. Sie fügten dem Bild zunächst Rauschen hinzu und verwendeten dann das trainierte Vincentian-Graph-Modell von Text. Geben Sie basierend auf einem vorab trainierten Stable Diffusion-Modell das von GAN generierte Ziel-3D-Ergebnisbild ein, das mit dem Bild einer realen Person übereinstimmt, und führen Sie den Zielstil durch eine Reihe fein abgestimmter Stable Diffusion-Ausgaben näher an die gewünschte Richtung Das Ergebnis wird als endgültige Daten verwendet und zum Lernen an das nachfolgende GAN-Modell übergeben.

Selbst entwickeltes Verformungs-GAN-Modell

Da der Zielstil von Douyins „Cartoon-Gesicht“ im Vergleich zum Originalporträt eine große Verformung aufweist, ist es schwierig, hochwertige Effekte direkt mit dem traditionellen ByteDance Intelligent zu trainieren Das Erstellungsteam hat selbst eine Reihe von P2P-Deformations-GAN-Trainingsframeworks entwickelt, die sich gut auf das Training großer Deformations- und Cartoon-Ziele mit starkem Stil auswirken. Das vom intelligenten Erstellungsteam von ByteDance selbst entwickelte Verformungs-GAN-Trainingsframework besteht aus zwei Teilen:

1. Stilisiertes Vortraining zum Extrahieren von stilisierten Cartoon-Gesichtsinformationen. Das technische Team hat ein nicht gepaartes Trainings-Framework für die interaktive Fusion stilisierter Informationen erstellt. Durch die Eingabe von Datensätzen zu realen Personen und Cartoon-Gesichtern in das Framework können stilisierte Informationen zu Cartoon-Gesichtern extrahiert werden. Bei diesem Framework handelt es sich um ein End-to-End-Trainingsframework, das stilisierte Feature-Codierung, Feature-Fusion, Rekonstruktionstraining und stilisiertes Vortraining umfasst. Nach Abschluss des Trainings werden stilisierte Cartoon-Gesichtsinformationen für den nächsten Schritt des verfeinerten Trainings abgerufen.

2. Integrieren Sie Informationen im Cartoon-Gesichtsstil und führen Sie ein präzises Training durch. Die im ersten Schritt erhaltenen stilisierten Informationen des Cartoon-Gesichts umfassen Informationen wie Stil und Verformung. Dieser Teil der Informationen wird für ein verfeinertes P2P-bezogenes Überwachungstraining verwendet Das Training konvergiert und das Cartoon-Gesichtsmodell wird erhalten.

Basierend auf den oben genannten innovativen technischen Lösungen vereinfacht Douyins „Cartoon Face“ nicht nur technische Verknüpfungen und verbessert die Iterationseffizienz erheblich, sondern erzielt auch großartige Ergebnisse in Bezug auf große Winkel, satte Ausdrücke, Wiederherstellung des Effektstils, Licht- und Schattenkonsistenz usw Offensichtlicher Optimierungseffekt. Es wird davon ausgegangen, dass sich das intelligente Kreationsteam von ByteDance, das für das Projekt „Cartoon Face“ verantwortlich ist, seit 2021 auf eine bahnbrechende Optimierung in Richtung 3D-Stilisierung konzentriert. Diese technische Lösung hat eine Vielzahl von Spezialeffekten im 3D-Stil unterstützt und beliebte Ergebnisse erzielt Plattform.

Über das ByteDance Intelligent Creation Team: ​

Das Intelligent Creation Team ist das Zentrum der ByteDance KI- und Multimedia-Technologie, indem es führende Technologien wie Computer Vision, Audio- und Videobearbeitung sowie Spezialeffektverarbeitung entwickelt. Es unterstützt Douyin, Jianying, Toutiao und viele andere Produktlinien innerhalb des Unternehmens und stellt gleichzeitig externen ToB-Partnern über die Volcano Engine die modernsten intelligenten Erstellungsfunktionen und Branchenlösungen zur Verfügung.

Das obige ist der detaillierte Inhalt vonDie „Cartoon-Gesicht'-Spezialeffekttechnologie, die von mehr als 9 Millionen Menschen auf Douyin verwendet wird, wird enthüllt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!