Kuaishou open source LivePortrait, GitHub 6.6K Star, pour réaliser une migration extrêmement rapide des expressions et des postures

Kürzlich hat das Kuaishou Keling Model Team ein steuerbares Framework zur Erstellung von Porträtvideos namens LivePortrait veröffentlicht. Dieses Framework kann die Ausdrücke und Körperhaltungen, die das Video steuern, präzise und in Echtzeit in statische oder dynamische Porträtvideos umwandeln und so äußerst ausdrucksstarke Videos erzeugen Ergebnisse. Wie in der folgenden Animation gezeigt:

^{"von Netizens testen LivePortrait}

Der entsprechende Papier -Titel von Kuaishou Open Source LivePortrait ist: ^{《LivePortrait: Effiziente Porträtanimation mit Nähten und Retargeting Control 》}

                                           LivePortrait ist sofort nach der Veröffentlichung verfügbar, folgt dem Kuaishou-Stil und verbindet Papiere, Homepages und Codes mit einem Klick. Als LivePortrait als Open-Source-Lösung verfügbar war, erregte es die Aufmerksamkeit und Begeisterung von „HuggingFace CEO Clément Delangue“ und „Chief Strategy Officer Thomas Wolf“ erlebte die Funktion sogar persönlich, es ist erstaunlich!

und erregte

großflächige Kommentare von Internetnutzern auf der ganzen Welt

:

Gleichzeitig hat LivePotrait in etwas mehr als einem Jahr große Aufmerksamkeit in der Open-Source-Community erlangt Woche haben wir insgesamt 6,4.000 Sterne, 550 Forks und 140 Issues&PRs auf GitHub erhalten. Wir haben viel Lob erhalten und die Aufmerksamkeit wächst immer noch:

Darüber hinaus HuggingFace Space und Papers mit Code-Trendliste

Führt die Liste eine Woche in Folge an, steht kürzlich an der Spitze der HuggingFace-Rangliste für alle ThemenTop 1:

HuggingFace Space Top 1

Papiere mit Codeliste 1

HuggingFace alle Themen auf Rang eins

更多资源信息，可以查看：

• 代码地址：https://github.com/KwaiVGI/LivePortrait
• 论文链接：https://arxiv.org/abs/2407.03168
• 项目主页：https://liveportrait.github.io/
• HuggingFace Space一键在线体验：https://huggingface.co/spaces/KwaiVGI/LivePortrait

LivePortrait到底用了什么样的技术，能够在全网快速"走红"呢？

方法介绍

和当前主流基于扩散模型的方法不同，LivePortrait探索并拓展了基于隐式关键点框架的潜力，从而平衡了模型计算效率和可控性。LivePortrait聚焦于更好的泛化性，可控性和实用的效率。为了提升生成能力和可控性，LivePortrait采用69M高质量训练帧，视频-图片混合训练策略，升级网络结构，并设计了更好的动作建模和优化方式。此外，LivePortrait将隐式关键点看成一种面部混合变形 (Blendshape) 的有效隐式表示，并基于此精心提出了贴合 (stitching) 和重定向 (retargeting) 模块。这两个模块为轻量MLP网络，因此在提升可控性的同时，计算成本可以忽略。即使是和一些已有的基于扩散模型的方法比较，LivePortrait依旧很能打。同时，在RTX4090 GPU上，LivePortrait的单帧生成速度能够达到12.8ms，若经过进一步优化，如TensorRT，预计能达10ms以内！

LivePortrait的模型训练分为两阶段。第一阶段为基础模型训练，第二阶段为贴合和重定向模块训练。

第一阶段基础模型训练

模 Die erste Phase des grundlegenden Modelltrainings

In der ersten Phase des Modelltrainings hat LivePortrait eine Reihe von Verbesserungen am auf versteckten Punkten basierenden Framework vorgenommen, z. B. Face vid2vid [1], darunter:

Hochwertige Trainingsdatenerfassung

: LivePortrait übernimmt den öffentlichen Videodatensatz Voxceleb[2], MEAD[3], RAVDESS[4] und den stilisierten Bilddatensatz AAHQ[5]. Darüber hinaus werden großformatige Porträtvideos mit 4K-Auflösung verwendet, darunter verschiedene Gesichtsausdrücke und Körperhaltungen, mehr als 200 Stunden sprechende Porträtvideos, ein privater Datensatz LightStage [6] sowie einige stilisierte Videos und Bilder. LivePortrait teilt lange Videos in Segmente von weniger als 30 Sekunden auf und stellt sicher, dass jedes Segment nur eine Person enthält. Um die Qualität der Trainingsdaten sicherzustellen, verwendet LivePortrait Kuaishous selbst entwickeltes KVQ [7] (Kuaishous selbst entwickelte Methode zur Bewertung der Videoqualität, mit der Qualität, Inhalt, Szene, Ästhetik, Kodierung, Audio und andere Merkmale umfassend wahrgenommen werden können das Video, um eine mehrdimensionale Auswertung durchzuführen), um Videoclips mit geringer Qualität zu filtern. Die gesamten Trainingsdaten umfassen 69 Millionen Videos, darunter 18,9.000 Identitäten und 60.000 statische stilisierte Porträts.

Video-Bild-Hybrid-Training

: Modelle, die nur mit Videos von echten Menschen trainiert wurden, schneiden bei echten Menschen gut ab, verfügen jedoch nicht über eine unzureichende Verallgemeinerungsfähigkeit für stilisierte Menschen (z. B. Anime). Stilisierte Porträtvideos sind seltener, wobei LivePortrait nur etwa 1,3.000 Videoclips von weniger als 100 Identitäten sammelt. Im Gegensatz dazu sind qualitativ hochwertige stilisierte Porträtbilder häufiger anzutreffen. LivePortrait hat etwa 60.000 Bilder mit unterschiedlichen Identitäten gesammelt und bietet vielfältige Identitätsinformationen. Um beide Datentypen zu nutzen, behandelt LivePortrait jedes Bild als Videoclip und trainiert das Modell gleichzeitig für Videos und Bilder. Dieses Hybridtraining verbessert die Generalisierungsfähigkeit des Modells.

Verbesserte Netzwerkstruktur

: LivePortrait vereint das kanonische Netzwerk zur Schätzung impliziter Schlüsselpunkte (L), das Netzwerk zur Schätzung der Kopfhaltung (H) und das Netzwerk zur Schätzung der Ausdrucksverformung (Δ) in einem einzigen Modell (M). verwendet ConvNeXt-V2-Tiny [8] als Struktur, um die kanonischen impliziten Schlüsselpunkte, die Kopfhaltung und die Ausdrucksverformung des Eingabebildes direkt abzuschätzen. Darüber hinaus verwendet LivePortrait, inspiriert von der verwandten Arbeit von face vid2vid, den effektiveren Decoder von SPADE [9] als Generator (G). Die latenten Merkmale (fs) werden nach der Verformung fein in den SPADE-Decoder eingespeist, wo jeder Kanal der latenten Merkmale als semantische Karte zur Erzeugung des gesteuerten Bildes verwendet wird. Um die Effizienz zu verbessern, fügt LivePortrait außerdem die Ebene PixelShuffle[10] als letzte Ebene von (G) ein und erhöht so die Auflösung von 256 auf 512.

Flexiblere Aktionstransformationsmodellierung

: Die Berechnungs- und Modellierungsmethode der ursprünglichen impliziten Schlüsselpunkte ignoriert den Skalierungskoeffizienten, was dazu führt, dass die Skalierung leicht in den Ausdruckskoeffizienten gelernt werden kann, was das Training schwieriger macht. Um dieses Problem zu lösen, führt LivePortrait Skalierungsfaktoren in die Modellierung ein. LivePortrait hat herausgefunden, dass die Skalierung regelmäßiger Projektionen zu übermäßig flexiblen erlernbaren Ausdruckskoeffizienten führen kann, was bei der Steuerung über Identitäten hinweg zu Texturanhaftungen führt. Daher ist die von LivePortrait übernommene Transformation ein Kompromiss zwischen Flexibilität und Fahrbarkeit.

Schlüsselpunktgesteuerte implizite Schlüsselpunktoptimierung

: Dem ursprünglichen impliziten Punktrahmen scheint die Fähigkeit zu fehlen, Gesichtsausdrücke wie Augenzwinkern und Augenbewegungen anschaulich zu steuern. Insbesondere neigen die Augapfelrichtung und die Kopfausrichtung des Porträts in den Fahrergebnissen dazu, parallel zu bleiben. LivePortrait führt diese Einschränkungen auf die Schwierigkeit zurück, subtile Gesichtsausdrücke unbeaufsichtigt zu erlernen. Um dieses Problem zu lösen, führt LivePortrait 2D-Schlüsselpunkte zur Erfassung von Mikroausdrücken ein und verwendet dabei den schlüsselpunktgesteuerten Verlust (Lguide) als Leitfaden für die implizite Schlüsselpunktoptimierung.

Kaskadenverlustfunktion

: LivePortrait verwendet den impliziten Schlüsselpunktinvariantenverlust (LE), den Schlüsselpunktpriorverlust (LL), den Kopfhaltungsverlust (LH) und den Deformationspriorverlust (LΔ) von Face vid2vid. Um die Texturqualität weiter zu verbessern, verwendet LivePortrait Wahrnehmungs- und GAN-Verluste, die nicht nur auf die globale Domäne des Eingabebildes angewendet werden, sondern auch auf die lokale Domäne von Gesicht und Mund, aufgezeichnet als Kaskaden-Wahrnehmungsverlust (LP, Kaskade) und Kaskaden-GAN-Verlust (LG, Kaskade). Die Gesichts- und Mundbereiche werden durch semantische 2D-Schlüsselpunkte definiert. LivePortrait nutzt außerdem den Verlust der Gesichtsidentität (Lfaceid), um die Identität des Referenzbildes zu bewahren.

Alle Module in der ersten Stufe werden von Grund auf trainiert, und die gesamte Trainingsoptimierungsfunktion (Lbase) ist die gewichtete Summe der oben genannten Verlustterme.

Anpassungs- und Umleitungsmodulschulung der zweiten Stufe

LivePortrait kann implizite Schlüsselpunkte als implizite Mischdeformation betrachten und hat festgestellt, dass diese Kombination nur die Hilfe eines leichten MLP erfordert. Es kann besser gelernt werden und Der Rechenaufwand ist vernachlässigbar. Unter Berücksichtigung der tatsächlichen Bedürfnisse hat LivePortrait ein Anpassungsmodul, ein Augenumleitungsmodul und ein Mundumleitungsmodul entwickelt.Wenn das Referenzporträt zugeschnitten wird, wird das gesteuerte Porträt aus dem Zuschneidebereich wieder in den ursprünglichen Bildbereich eingefügt. Das Anpassungsmodul wird hinzugefügt, um eine Pixelfehlausrichtung während des Einfügevorgangs zu vermeiden, z. B. im Schulterbereich. Dadurch kann LivePortrait für größere Bildformate oder Gruppenfotos aktionsgesteuert sein. Das Eye-Retargeting-Modul soll das Problem des unvollständigen Augenschlusses beim Überqueren von Identitäten lösen, insbesondere wenn ein Porträt mit kleinen Augen ein Porträt mit großen Augen antreibt. Die Designidee des Mundumleitungsmoduls ähnelt der des Augenumleitungsmoduls, das die Eingabe normalisiert, indem es den Mund des Referenzbilds zur besseren Steuerung in einen geschlossenen Zustand versetzt. Die zweite Phase des Modelltrainings: Anpassen und Umleiten des Modultrainings

Folgen Sie dem Modul : Während des Trainingsprozesses ist die Eingabe des Moduls/der Module das Referenzdiagramm implizite Schlüsselpunkte (xd) eines anderen identitätsgesteuerten Rahmens und schätzen Sie die Ausdrucksänderung (Δst), die die impliziten Schlüsselpunkte (xd) antreibt. Es ist ersichtlich, dass LivePortrait im Gegensatz zur ersten Stufe identitätsübergreifende Aktionen verwendet, um identitätsübergreifende Aktionen zu ersetzen, um die Schwierigkeit des Trainings zu erhöhen und eine bessere Generalisierung des Anpassungsmoduls zu erreichen. Als nächstes wird der implizite Treiberschlüsselpunkt (xd) aktualisiert und die entsprechende Treiberausgabe ist (Ip,st). LivePortrait gibt in dieser Phase auch selbst rekonstruierte Bilder (Ip,recon) aus. Schließlich berechnet die Verlustfunktion (Lst) des Anpassungsmoduls den pixelkonsistenten Verlust des Schulterbereichs beider Schultern und den Regularisierungsverlust der Anpassungsvariation.

Augen- und Mundumleitungsmodul: Die Eingabe des Augenumleitungsmoduls (Reyes) ist der implizite Schlüsselpunkt (xs) des Referenzbilds, das Referenzbild-Augenöffnungsbedingungstupel und ein zufälliger treibender Augenöffnungskoeffizient Wird verwendet, um die Verformungsänderung (Δeyes) des Antriebsschlüsselpunkts abzuschätzen. Das Tupel der Augenöffnungsbedingung stellt das Augenöffnungsverhältnis dar. Je größer es ist, desto größer ist der Grad der Augenöffnung. In ähnlicher Weise sind die Eingaben des Mundumleitungsmoduls (Rlip) die impliziten Schlüsselpunkte (xs) des Referenzbilds, der Mundöffnungsbedingungskoeffizient des Referenzbilds und ein zufälliger steuernder Mundöffnungskoeffizient, und die steuernden Schlüsselpunkte werden daraus geschätzt Dies ist der Betrag der Änderung (Δlip). Als nächstes werden die Antriebsschlüsselpunkte (xd) durch die Verformungsänderungen aktualisiert, die den Augen bzw. dem Mund entsprechen, und die entsprechenden Antriebsausgaben sind (Ip, Augen) und (Ip, Lippe). Schließlich sind die Zielfunktionen der Augen- und Mund-Retargeting-Module (Leyes) bzw. (Llip), die den Pixelkonsistenzverlust der Augen- und Mundbereiche, den Regularisierungsverlust der Augen- und Mundvariation und den Zufallsverlust berechnen. Der Verlust zwischen dem Antriebskoeffizienten und dem Öffnungszustandskoeffizienten des Antriebsausgangs. Die Augen- und Mundänderungen (Δeyes) und (Δlip) sind unabhängig voneinander, sodass sie während der Inferenzphase linear summiert und die treibenden impliziten Schlüsselpunkte aktualisiert werden können. Experimenteller Vergleich -basierte Methode, LivePortrait Mit besserer Generierungsqualität und Fahrgenauigkeit kann es die subtilen Ausdrücke der Augen- und Mund-Fahrbilder erfassen und gleichzeitig die Textur und Identität des Referenzbildes bewahren. Selbst bei größeren Kopfhaltungen bietet LivePortrait eine stabilere Leistung.

Pilote à identités croisées : comme le montrent les résultats de comparaison des pilotes à identités croisées ci-dessus, par rapport aux méthodes existantes, LivePortrait peut hériter avec précision des mouvements subtils des yeux et de la bouche dans la vidéo du conducteur, et est également relativement stable lorsque la posture est large. . LivePortrait est légèrement plus faible que la méthode basée sur un modèle de diffusion AniPortrait [11] en termes de qualité de génération, mais par rapport à cette dernière, LivePortrait a une efficacité d'inférence extrêmement rapide et nécessite moins de FLOP.

Expansion

 : Grâce au module d'ajustement de LivePortrait, pour les photos de groupe, LivePortrait peut piloter des visages désignés avec des vidéos de conducteur désigné, permettant ainsi d'élargir le pilote photo multi-personnes l'application pratique de LivePortrait.

Animaldriven : LivePortrait a non seulement une bonne généralisation pour les portraits, mais peut également être piloté avec précision pour les portraits d'animaux après avoir affiné les ensembles de données sur les animaux.

Montage vidéo de portrait : en plus des photos de portrait, étant donné une vidéo de portrait, telle qu'une vidéo de danse, LivePortrait peut utiliser la vidéo de conduite pour effectuer un montage de mouvement sur la zone de la tête. Grâce au module d'ajustement, LivePortrait peut éditer avec précision les mouvements dans la zone de la tête, tels que les expressions, les postures, etc., sans affecter les images dans les zones autres que la tête. La mise en œuvre et les perspectives des points techniques connexes de la gamme de greffiers ont été mis en œuvre dans de nombreuses entreprises de Kuaishou, notamment la montre Magic de Kuaishou, la messagerie privée de Kuaishou, le gameplay AI de Kuaishou et Kuaishou Live Broadcast, et l'application Puchi pour les jeunes incubée par Kuaishou, etc., et explorera de nouvelles méthodes de mise en œuvre pour continuer à créer de la valeur pour les utilisateurs. De plus, LivePortrait explorera davantage la génération de vidéos de portraits multimodales basées sur le modèle de base de Keling pour obtenir des effets de meilleure qualité.

Références

[1] Ting-Chun Wang, Arun Mallya et Ming-Yu Liu. Synthèse de tête parlante neuronale en vue libre pour la vidéoconférence Dans CVPR, 2021. .

[2] Arsha Nagrani, Joon Son Chung et Andrew Zisserman : un ensemble de données d'identification du locuteur à grande échelle dans Interspeech, 2017.

[3] Kaisiyuan Wang, Qianyi Wu. , Linsen Song, Zhuoqian Yang, Wayne Wu, Chen Qian, Ran He, Yu Qiao et Chen Change Loy : un ensemble de données audiovisuelles à grande échelle pour la génération de visages parlants émotionnels, 2020.

^. [4] Steven R Livingstone et Frank A Russo. La base de données audiovisuelle Ryerson de paroles et de chansons émotionnelles (ravdess) : un ensemble dynamique et multimodal d'expressions faciales et vocales en anglais nord-américain, 2018

. [5] Mingcong Liu, Qiang Li, Zekui Qin, Guoxin Zhang, Pengfei Wan et Wen Zheng : mélange implicite pour la génération de visages stylisés arbitraires dans NeurIPS, 2021.

[ 6. ] Haotian Yang, Mingwu Zheng, Wanquan Feng, Haibin Huang, Yu-Kun Lai, Pengfei Wan, Zhongyuan Wang et Chongyang Ma Vers une capture pratique d'avatars éclairés haute fidélité, 2023.

. [7] Kai Zhao, Kun Yuan, Ming Sun, Mading Li et Xing Wen. Modèles pré-entraînés soucieux de la qualité pour la qualité d'image aveugle

Dans CVPR, 2023.

[. 8] Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon et Saining Xie Con-

vnext v2 : Co-conception et mise à l'échelle de convnets avec des encodeurs automatiques masqués dans CVPR, 2023. .

[9] Taesung Park, Ming-Yu Liu, Ting-Chun Wang et Jun-Yan Zhu Synthèse d'images sémantiques avec normalisation spatialement adaptative dans CVPR, 2019.

[. 10] Wenzhe Shi, Jose Caballero, Ferenc Husz ´ar, Johannes Totz, Andrew P Aitken, Rob Bishop, Daniel Rueckert et Zehan Wang. Super-résolution d'image et vidéo unique en temps réel utilisant un réseau neuronal convolutif sous-pixel efficace. Dans CVPR, 2016.

[11] Huawei Wei, Zejun Yang et Zhisheng Wang : synthèse audio d'animation de portrait photoréaliste : 2403.17694, 2024.

^.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!