Up owners have already started to play tricks. Tencent opens up 'AniPortrait' to let photos sing and speak.

AniPortrait models are open source and can be played freely.

##""A new productivity tool for Xiaopozhan Ghost Zone."

Recently, a new project released by Tencent Open Source received such evaluation on Twitter. This project is AniPortrait, which generates high-quality animated portraits based on audio and a reference image.

Without further ado, let’s take a look at the demo that may be warned by a lawyer’s letter:

Animation images Can also speak easily:

The project has already received widespread praise after just a few days of being launched: the number of GitHub stars has exceeded 2,800.

Let’s take a look at the innovations of AniPortrait.

• Paper title: AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation
• Paper address: https ://arxiv.org/pdf/2403.17694.pdf
• Code address: https://github.com/Zejun-Yang/AniPortrait

AniPortrait

The AniPortrait framework newly proposed by Tencent contains two modules: Audio2Lmk and Lmk2Video.

Audio2Lmk is used to extract Landmark sequences that capture complex facial expressions and lip movements from the audio input. Lmk2Video uses this Landmark sequence to generate temporally stable and consistent high-quality portrait videos.

Figure 1 gives an overview of the AniPortrait framework.

Audio2Lmk

#音声クリップのシーケンスの場合、ここでの目標は、対応する 3D 顔メッシュ シーケンスとジェスチャ シーケンスを予測することです。

チームは、事前トレーニングされた wav2vec を使用してオーディオ特徴を抽出しました。このモデルはよく一般化されており、リアルな顔のアニメーションを生成するために重要な、音声の発音とイントネーションを正確に認識できます。得られたロバストな音声特徴を利用することで、2 つの fc 層からなる単純なアーキテクチャを使用して、それらを 3D 顔メッシュに効率的に変換できます。チームは、このシンプルで単純な設計により、精度が保証されるだけでなく、推論プロセスの効率も向上することに気づきました。

音声をジェスチャーに変換するタスクでは、チームが使用するバックボーン ネットワークは依然として同じ wav2vec です。ただし、このネットワークの重みは、audio-to-mesh モジュールのネットワークとは異なります。これは、ジェスチャはオーディオのリズムとピッチに密接に関連しているのに対し、オーディオからグリッドへのタスクは別の焦点 (発音とイントネーション) に焦点を当てているためです。以前の状態の影響を考慮するために、チームはトランスフォーマー デコーダーを使用してジェスチャ シーケンスをデコードしました。このプロセスでは、モジュールはクロスアテンション メカニズムを使用してオーディオ機能をデコーダに統合します。上記 2 つのモジュールの場合、トレーニングに使用される損失関数は単純な L1 損失です。

メッシュとポーズ シーケンスを取得した後、透視投影を使用してそれらを 2D 顔ランドマーク シーケンスに変換します。これらのランドマークは、次のステージの入力信号です。

Lmk2Video

参照ポートレートと顔のランドマーク シーケンスが与えられた場合、チームの提案Lmk2Video は、時間的に一貫したポートレート アニメーションを作成できます。アニメーション プロセスでは、参照イメージとの一貫した外観を維持しながら、モーションをランドマーク シーケンスに合わせます。チームが採用したアイデアは、ポートレート アニメーションを一連のポートレート フレームとして表現することです。

Lmk2Video のネットワーク構造設計は、AnimateAnyone からインスピレーションを受けています。バックボーン ネットワークは SD1.5 で、マルチフレーム ノイズ入力を一連のビデオ フレームに効果的に変換する時間モーション モジュールが統合されています。

さらに、同じく SD1.5 構造を使用する ReferenceNet も使用されており、その機能は、参照画像の外観情報を抽出し、それを画像に統合することです。バックボーンネットワークです。この戦略的な設計により、出力ビデオ全体にわたって Face ID の一貫性が保たれます。

AnimateAnyone とは異なり、これにより PoseGuider のデザインが複雑になります。オリジナルのバージョンはいくつかの畳み込み層を統合しただけで、ランドマーク機能がバックボーン ネットワークの入力層の潜在機能と融合されました。 Tencent チームは、この初歩的なデザインでは唇の複雑な動きを捉えることができないことに気づきました。そこで、対応するスケールのランドマーク機能をバックボーン ネットワークのさまざまなモジュールに統合するという、ControlNet のマルチスケール戦略を採用しました。これらの改善にもかかわらず、最終モデルのパラメーターの数は依然として非常に少ないです。

チームは、追加の入力として参照画像のランドマークを使用するという別の改善も導入しました。 PoseGuider のクロスアテンション モジュールは、各フレーム内の参照ランドマークとターゲット ランドマーク間の相互作用を容易にします。このプロセスにより、顔のランドマークと外観の間の関係を理解できる追加の手がかりがネットワークに提供され、ポートレート アニメーションがより正確な動きを生成するのに役立ちます。

実験

##実装の詳細

Audio2Lmk ステージで使用されるバックボーン ネットワークは wav2vec2.0 です。 3D メッシュと 6D ポーズを抽出するために使用されるツールは MediaPipe です。 Audio2Mesh のトレーニング データは Tencent の内部データセットから取得されており、これには 1 人の話者からの 1 時間近くの高品質音声データが含まれています。

MediaPipe によって抽出された 3D メッシュの安定性を確保するため、録画中、出演者の頭の位置は安定し、カメラに面しています。 Audio2Pose のトレーニングでは HDTF を使用します。すべてのトレーニング操作は、Adam オプティマイザーを使用して単一の A100 で実行され、学習率は 1e-5 に設定されます。

Lmk2Video プロセスは 2 ステップのトレーニングを使用します。方法。

#最初のステップ フェーズでは、モーション モジュールに関係なく、バックボーン ネットワーク ReferenceNet と PoseGuider の 2D コンポーネントのトレーニングに焦点を当てます。後続のステップでは、モーション モジュールのトレーニングに集中するために、他のすべてのコンポーネントがフリーズされます。モデルをトレーニングするために、ここでは 2 つの大規模で高品質の顔ビデオ データセット、VFHQ と CelebV-HQ が使用されます。すべてのデータは MediaPipe を介して渡され、2D 顔ランドマークが抽出されます。唇の動きに対するネットワークの感度を向上させるために、チームのアプローチは、2D ランドマークに基づいてポーズ画像をレンダリングするときに、上唇と下唇に異なる色で注釈を付けることでした。

#すべての画像は 512x512 に再スケールされました。モデルは 4 つの A100 GPU を使用してトレーニングされ、各ステップには 2 日かかりました。オプティマイザは AdamW で、学習率は 1e-5 に固定されています。

#実験結果

図 2 に示すように、新しいアニメーションによって得られたアニメーションは、この方法は品質と現実性に優れています。

さらに、ユーザーは途中で 3D 表現を編集して、最終出力を変更することができます。たとえば、次のビデオに示されているように、ユーザーはソースからランドマークを抽出し、その ID 情報を変更して顔の再現を実現できます。

詳細については、元の論文を参照してください。

The above is the detailed content of Up owners have already started to play tricks. Tencent opens up 'AniPortrait' to let photos sing and speak.. For more information, please follow other related articles on the PHP Chinese website!