Googleの新しい「AIディレクター」の魔法は、たった一言で動画の主人公を変えることができるというもので、これがすごいのですが、画質もとても良いです。

この記事はAI New Media Qubit（公開アカウントID:QbitAI）の許可を得て転載していますので、転載については出典元にご連絡ください。

Google は、新しい 「AI ディレクター」 を作成しました。 は、動画の主人公を一文で変更することもできます。

ほら、小さなクマが緑の草の上で踊っています。

最近のクマはみんな芸術的ですか？ ? ＃＃＃＃＃＃ダメダメダメ！もともと草の上にいたのはサルでした。

サルからクマに変えるには、この AI に一言言うだけです:

A little bear dances to the音楽のビートに合わせて全身をくねらせて踊る。

（明るい音楽に合わせて踊り、ジャンプし、全身を動かすクマ）

動画を「魔法のように変更する」ことに加えて、Dreamix

という名前のこの AI は、静的な動画を回転させることもできます。写真をアニメーションに -

たった 1 つの文で実行できます 。 たとえば、この AI に「カメの泳ぐ写真」を見せて次のように伝えます。

カメが水中で撮影され、サメが後ろから近づいてきました。

（後ろから迫ってくるサメとウミガメの水中ショット）

良い奴、一文だけで物事が決まるだけではないカメが泳ぐ 立ち上がって、何もないところからサメを追加しました。

この効果は多くの見物人に好評でした。

AIGC は今後 2 年間、ミレニアムの開発よりもさらにクレイジーなブームを巻き起こし続けるだろうと主張する人さえいます。

たった一言で動画を演出

公開したら絶賛されるだろう、このAIはどうなっているのか？彼の「監督」作品をもっと見て、その感触を味わってみるのもいいかもしれません。

まず、

動画の役割の変更

という点では、これが元のフィールドです:

これは AI フィールドに火が放たれたものです:

これは人間の手書きです:

これは AI が生成したロボットの手書き文字です:

これは人間が書いているビデオにも基づいています。プロンプト文を「人間の手が描画している」に置き換えると、生成効果:

そして、

静止画からアニメーションへの変化という点では、違いがあります。 、元の画像は霧のジャングルです:

AI が走っているユニコーンを森に追加し、カメラは文に従ってズームアウトしました。プロンプトを表示します。

#こんな川渓谷の風景写真もあります:

AI は川の流れを作るだけでなく、海岸に水浴びする水牛や空に飛ぶ鳥を追加しました。

#これを見て、アニメーションは作られていますが、画質もかなり犠牲になっており、少し物足りないと感じる人もいるかもしれません。 。

それなら、AI にさらにいくつかの写真を見せたほうがよいでしょう。

たとえば、おもちゃの火災警報器の 7 枚の写真を AI に一気に表示します:

を生成させます。文章をもとにした動画です。画質がより鮮明になります。

この「AI ディレクター」がどのように機能するかについて、Google は、鍵は「旧友」にあると述べています。 普及モデル （普及モデル）。

拡散モデルは、人気のある AIGC 絵画アーティファクト DALL・E 2 の中核でもあります。

Googleの研究者らは、実際、同様の「テキスト生成ビデオ」AIは以前にも存在したが、ビデオ拡散モデルが入力ビデオに対してのみ微調整されている場合、その度合いは制限されると指摘した。モーションが変化します。

この AI のユニークな点は次のとおりです:

チームは 「混合ターゲット」 を使用しています。元のターゲットを微調整することに加えて、フレーム セットも微調整。

彼らは、深層学習に特殊な注意メカニズムであるマスクされた時間的注意を採用しました。これにより、モデルは入力情報の特定の部分に焦点を当て、他の無関係な部分を無視することができます。

——これにより、シーケンス データを処理するモデルの能力が向上し、ビデオ内により多様なダイナミクスが生成され、効果がより自然になります。

拡散モデルとマスクされた時間的注意の助けを借りて、ビデオの主人公を変更するための入力は実際には省略されています - Fine を実行するだけです。調整されており、結果の忠実性もかなり良好です。

以上がGoogleの新しい「AIディレクター」の魔法は、たった一言で動画の主人公を変えることができるというもので、これがすごいのですが、画質もとても良いです。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。