Byte の新世代ビデオ生成モデルは、VR メガネを着用したハルクの効果を Gen-2 よりも優れています。

一言で言えば、ハルクに VR メガネをかけてもらいます。

4K 品質。

Panda's Fantasy Life~

これは Byte の最新 AI ビデオ生成モデルです MagicVideo- V2## ＃、あらゆる種類の素晴らしいアイデアを実現できます。 4Kや8Kの超高解像度をサポートするだけでなく、さまざまな描画スタイルを簡単に保持できます。

#△左から油絵風、サイバー風、デザイン風

評価効果はGen-よりも優れています。 2 および Pika ならびに既存の AI ビデオ生成ツール。

その結果、ネット上に公開されてから24時間以内に、あるツイートが20万回近く閲覧されるなど、大きな注目を集めました。

多くのネチズンはその効果に驚き、率直に「

滑走路やナキウサギよりも優れています」とさえ言いました。

「滑走路やナキウサギよりも優れている」

研究者たちは実際に効果の比較を行いました。プレーヤーは、

MagicVideo-V2

、StabilityAI の

SVD-XT、新しい潜在的なプレーヤー Pika1.0、および Runway の Gen-2 です。 第 1 ラウンド: 光と影の効果

。

日が沈むと、旅人は霧のかかった森を一人で歩きます。

(左から右へ: MagicVideo-V2、SVD-XT、右上が Pika、右下が Gen-2、以下同様)

ご覧のとおり、MagicVideo-V2、Gen-2、Pika にはすべて明らかな光と影があります。ただし、Pika が旅行者向けであるとは思えず、MagicVideo-V2 の方が階調が豊かです。

第 2 ラウンド: 状況プロットの表現。

1910 年代の日常生活や社会の些細な事柄を語るホームコメディ

今回のラウンドは明らかに MagicVideo も - V2 と Gen-2 はさらに優れています。 SVD-XTが提示する中音域の構成は時代を反映していますが、表現力が十分ではありません。

ラウンド 3: リアリズム。

#その少年は公園の小道で自転車に乗っていて、砂利の上で車輪がカリカリと音を立てていました。

##今回はコントラストがさらに明白です。 MagicVideo-V2 と SVD-XT は文の意味を完全に反映しますが、MagicVideo-V2 では子供の足の動きをはっきりと細部まで見ることができます。

さらに、研究者らは、最先端の手法と照らし合わせて、MagicVideo-V2 を人間が 1 対 1 で評価しました。

結果は、人々が MagicVideo-V2 が他の方法よりも優れていると考えていることを示しています。

(緑、灰色、ピンクのバーは、MagicVideo-V2 がそれぞれ優れている、同等、または劣っていると評価された実験結果を表します。)

# ＃＃どうやって達成するのですか？
簡単に言えば、MagicVideo-V2 は、テキストから画像へのモデル、ビデオ モーション ジェネレーター、参照画像埋め込みモジュール、および補間モジュールを統合したビデオ生成パイプラインです。

まず、T2I モジュールがテキストに基づいて 1024×1024 の画像を生成し、次に I2V モジュールが静止画像をアニメーション化して 600×600×32 のフレーム シーケンスを生成します。次に、V2V モジュールを使用してビデオ コンテンツを拡張および改善し、最後に補間モジュールを使用してシーケンスを 94 フレームに拡張します。

このようにして、高い忠実性と時間的連続性が保証されます。

しかし、早くも 2022 年 11 月に、Byte は MagicVideo V1 バージョンをリリースしました。

#ただし、当時は、単一の GPU カードで 256x256 解像度のビデオを生成できる効率性がより重視されていました。

参考リンク:
https://twitter.com/arankomatsuzaki/status/1744918551415443768?s=20
プロジェクトリンク:
https://magicvideov2.github.io/
紙のリンク:
https://arxiv.org/abs/ 2401.04468
https://arxiv.org/abs/2211.11018

以上がByte の新世代ビデオ生成モデルは、VR メガネを着用したハルクの効果を Gen-2 よりも優れています。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。