Tencent Hunyuan、香港科技大学および清華大学と提携し、ワンクリックで写真を絵文字に変える「Follow Your Emoji」を開始

Tusheng Video には新しい再生方法が追加されました。

Tencent Hunyuan、香港科技大学、清華大学は共同で、顔の骨格情報からあらゆるスタイルの顔アニメーションを生成できるポートレートアニメーション生成フレームワーク「Follow Your Emoji」を立ち上げました。 「Follow Your Emoji」は、アルゴリズムの革新とデータの蓄積に基づいて、眉、目、目の回転などの詳細を含む顔の洗練された制御をサポートし、動物の絵文字も簡単に「操作」できます。

Follow Your Emoji は、単一の表情を持つ複数のポートレートの生成をサポートするだけでなく、単一のポートレートから複数の表情を生成することもサポートします。

近年、拡散モデルは、古い敵対的生成ネットワーク (GAN) よりも優れた生成機能を実証しています。一部の方法では、高品質のビデオと画像を生成するために強力な基本拡散モデルを利用しますが、これらの基本モデルはアニメーション プロセス中に参照ポートレートの同一性特徴を直接保存できないため、ビデオ結果に歪みや非現実的なアーティファクトが表示されます。これは、ポートレート アニメーション タスクの主な課題の 1 つです。

図：論文の全体的なフローチャート、上半分はトレーニングプロセス、下半分はテストプロセスです

この研究では、研究者は新しいポートレートアニメーションフレームワークFollow-Your-Emojiを提案しました普及モデルに基づいています。アルゴリズムには 2 つの大きな革新があります。

この表現制御信号はアニメーション生成を効果的にガイドできます。研究者らは、ポートレート (顔) の 3D キー ポイントを通じて情報を特定します。3D キー ポイントには固有の規範的な特性があるため、ターゲット アクションを参照ポートレートと効果的に位置合わせし、生成されたビデオで顔の変形につながる歪みを回避できます。 。この技術には幅広い用途があり、顔のモーフィング ビデオの作成に使用できます。

第二に、この研究では、モデルが参照写真内のポートレートの微妙な表情の変化と詳細な外観を捉えることに集中できるように、顔のきめの細かい損失関数も提案しています。具体的には、作者はまず顔のマスクと表情マスク、および作者の表情知覚信号を使用し、次にこれらのマスク領域におけるグラウンドトゥルース値と予測結果の間の空間距離を計算し、次の方法で元のポートレートの高度な復元を達成します。絵文字パッケージ。

モデルをトレーニングするために、この研究では高品質の表現トレーニング データセットも構築しました。これには、18 の誇張された表現と 115 人の被験者からの 20 分間の実際のビデオが含まれています。同時に、この研究ではプログレッシブ生成戦略を採用しており、これにより、この方法を高い再現性と安定性を備えた長期アニメーション合成に拡張することができます。

図:論文の定量的実験結果と定性的実験結果は、以前の方法と比較して、Follow-Your-Emojiがより良い結果を達成できることを示しています

最後に、ベンチマークテストの欠如の問題を解決するためにポートレート アニメーションの分野では、この調査では EmojiBench と呼ばれる包括的なベンチマークも導入されています。このベンチマークには、さまざまなスタイルの 410 のポートレート アニメーション ビデオが含まれており、幅広い顔の表情や頭のポーズが表示されます。 EmojiBench を使用した Follow-YourEmoji の包括的な評価では、このメソッドがトレーニング ドメイン外のポートレートやアクションの処理で優れたパフォーマンスを発揮し、既存のベースラインメソッドよりも量的および質的に優れたパフォーマンスを発揮し、優れた視覚的忠実度のアイデンティティ表現と正確なモーション レンダリングを提供することがわかりました。

ウェブサイト:Follow-Your-Emoji: フリースタイル ポートレート アニメーション

論文:[2406.01900] Follow-Your-Emoji: 細かく制御可能で表現力豊かなフリースタイル ポートレート アニメーション

以上がTencent Hunyuan、香港科技大学および清華大学と提携し、ワンクリックで写真を絵文字に変える「Follow Your Emoji」を開始の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。