Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

＃＃＃見て！今、あなたの目の前では 4 人の若い女性が熱いダンスを披露しています。

#これはショートビデオ プラットフォームで一部のアンカーによってリリースされた作品だと思いましたか? ＃＃＃＃＃＃ダメダメダメ。

本当の答えは、偽物であり、生成されたものであり、

画像

にのみ依存しています。

実際の開始方法は次のとおりです:

これはシンガポール国立大学と ByteDance からの最新情報ですMagicAnimate

という研究。

その機能は、違反の意味を持たずに、単純な式で要約できます: 写真

と

アクション のセット = ビデオ . .

このテクノロジーの発表により、テクノロジー界は大騒ぎになり、多くのテクノロジー巨人やオタクが次々と参加しました

さえ

HuggingFace CTO

彼らは全員、自分のアバターでそれを試しました:

ちなみに、彼らはユーモラスな方法でジョークも言いました:

これはフィットネスとみなされますか?今週はジムを休んでもいいです。

新しくリリースされた

GTA6

(グランド セフト オート 6) のトレーラーのキャラクターで遊んでいる、時代に敏感なネチズンもいます。 一握り:

絵文字さえもネチズンの選択の対象になっています...

# #MagicAnimateテクノロジー界の注目をそれ自体に集中させたと言えるので、一部のネチズンは「

OpenAI は休んでもいい」と冗談を言いました。

#火事、本当に火事。

1 枚の写真からダンスを生成できます

MagicAnimate はとても人気がありますが、どのように使用すればよいでしょうか?

早速、段階的に体験してみましょう。

現在、私たちのプロジェクト チームは HuggingFace にオンライン体験ページをオープンしました

#操作は非常に簡単で、必要な手順は 3 つのステップだけです:

1. キャラクターの静止写真をアップロードします
2. 生成したいアクション デモ ビデオをアップロードします
3. #パラメータを調整して「アニメーション」をクリックします

# # たとえば、以下は私の写真と、最近世界中で人気になっている「Subject Three」のダンスクリップです:

△ビデオソース: Douyin (ID: QC0217)

ページの下部にあるテンプレートを選択して体験することもできます:

ただし、MagicAnimate は現在人気が高すぎるため、生成処理中に「」が表示される場合があります。 「ダウンタイム」状況:

「食べる」ことに成功した場合でも、列に並ぶ必要がある場合があります

......

(その通りです!記事執筆時点では、まだ結果を待っていません!)

さらに、MagicAnimate は GitHub でローカル体験メソッドも提供しています。興味のある友人はぜひ試してみてください~

#次の質問は次のとおりです:

## ＃どうやってするの？

全体として、MagicAnimate は

拡散モデル

(拡散) に基づくフレームワークを採用しています。その目的は、時間的一貫性を強化し、参照画像の信頼性を維持することです。アニメーションの忠実度。

この目的を達成するために、チームはまず、時間情報をエンコードするための

ビデオ拡散モデル

(時間的一貫性モデリング) を開発しました。 このモデルは、アニメーション内のフレーム間の時間的一貫性を確保するために、時間的注意モジュールを拡散ネットワークに追加することによって時間的情報をエンコードします。

第 2 に、フレーム間の外観の一貫性を維持するために、チームは新しい

Appearance Encoder

(Appearance Encoder) を導入し、参照画像の複雑な詳細を保存しました。 このエンコーダは、CLIP エンコーディングを使用する以前の方法とは異なります。アニメーション制作をガイドするためにより高密度の視覚的特徴を抽出できるため、アイデンティティ、背景、服装などの情報をより適切に保存できます。

Basedこれら 2 つの革新的なテクノロジーに加えて、チームはさらに、長いビデオ アニメーションのスムーズな移行を促進するために、シンプルなビデオ フュージョン テクノロジー

(ビデオ フュージョン テクニック)

を採用しました。 最後に、2 つのベンチマーク実験による検証の結果、MagicAnimate が以前の方法よりもはるかに効果的であることが結果からわかりました。

特に困難な TikTok ダンス データセットでは、MagicAnimate はビデオ保存において優れたパフォーマンスを発揮します。精度は最も強力なベースラインよりも 38% 以上高くなっています。

以下はチームによる定性的な比較です:

そして、クロス ID の最先端のベースライン モデルと比較すると、結果は次のとおりです:

One More Thing

MagicAnimate のようなプロジェクトは最近非常に人気があると言わざるを得ません

いいえ、その「デビュー」後は少し前です、Ali チームは、AnimateEveryone というプロジェクトもリリースしました。これも「画像」と「必要なアクション」のみが必要です:

その結果、一部のネチズンも疑問を提起しました:

これは MagicAnimate と AnimateAnyone の間の戦争のようです。 誰が優れていますか? ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃どう思いますか？

論文を表示するには、次のリンクをクリックしてください: https://arxiv.org/abs/2311.16498

以上がDouyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験しているの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。