ホームページ テクノロジー周辺機器 AI ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

Dec 27, 2023 pm 06:35 PM
プロジェクト fairy

Meta の新しいビデオ合成フレームワークは私たちにいくつかの驚きをもたらしました


今日の人工知能の開発レベルについて、たとえば、テキストベースの写真、写真ベースのビデオ、および画像/ビデオスタイルの転送は難しくありません。

Generative AI には、コンテンツを簡単に作成または変更できる機能が備わっています。特に画像編集は、10億規模のデータセットで事前トレーニングされたテキストから画像への拡散モデルによって大幅な成長を遂げています。この波により、大量の画像編集アプリやコンテンツ作成アプリが誕生しました。

画像ベースの生成モデルの成果を踏まえ、次の課題は、これに「時間次元」を加え、リラックスしたクリエイティブな動画を実現することです。編集。

簡単な戦略は、画像モデルを使用してビデオをフレームごとに処理することですが、生成画像編集は本質的に、同じテキスト プロンプトに基づいている場合でも、ばらつきが大きくなります。特定の画像を編集する方法は無数にあります。各フレームを個別に編集すると、時間的な一貫性を維持することが困難になります。

最近の論文で、Meta GenAI チームの研究者は、画像編集拡散モデルの「単純な適応」である Fairy を提案しました。これにより、AI のパフォーマンスが大幅に向上します。ビデオ編集。

#以下は Fairy の編集ビデオエフェクト表示です:

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

##Fairy は、120 フレームの 512×384 ビデオ (4 秒、30 FPS) をわずか 14 秒で生成します。これは、以前の方法より少なくとも 44 倍高速です。生成された 1,000 個のサンプルを含む包括的なユーザー調査により、提案された方法が高品質を生成し、既存の方法を大幅に上回ることが確認されました。

どうやってやったのですか?

論文によると、Fairy はアンカー ポイントに基づくクロスフレーム アテンションの概念に基づいており、このメカニズムによりフレーム間で拡散特徴を暗黙的に伝播し、時間的一貫性を確保できます。忠実度の高い複合エフェクト。 Fairy は、メモリと処理速度の点で以前のモデルの制限を解決するだけでなく、モデルをソース画像とターゲット画像のアフィン変換と同等にする独自のデータ拡張戦略を通じて時間的一貫性を向上させます。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

    #論文アドレス: https://arxiv.org/pdf/2312.13834.pdf
  • プロジェクトのホームページ: https://fairy-video2video.github.io/

#メソッド

フェアリーは、拡散モデルの特性に関連して、以前の追跡と伝播のパラダイムを再検討します。特に、この調査では、対応推定を使用してフレーム間の注意をブリッジし、モデルが拡散モデル内の中間特徴を追跡および伝播できるようにします。

クロスフレーム アテンション マップは、各フレーム内のトークン間の対応関係を評価するための類似性の尺度として解釈できます。セマンティック領域の特徴により、より高い注意が割り当てられます。以下の図 3 に示すように、他のフレームにも同様の意味領域があります。

したがって、現在の特徴表現は、フレーム間の類似領域の加重和に焦点を当てることによって洗練され、伝播され、それによってフレーム間の特徴の違いが効果的に最小限に抑えられます。

一連の操作により、Fairy のコア コンポーネントであるアンカー ベースのモデルが生成されます。

生成されたビデオの時間的一貫性を確保するために、この研究では K 個のアンカー フレームをサンプリングして拡散特徴を抽出し、抽出された特徴は伝播されるセットとして定義されました。連続フレームのグローバル特徴に適用されます。この調査では、新しいフレームが生成されるたびに、アンカー フレームのキャッシュされた特徴に対するセルフ アテンション レイヤーをクロスフレーム アテンションに置き換えます。クロスフレーム アテンションを通じて、各フレーム内のトークンは、アンカー フレーム内で同様の意味論的コンテンツを示す特徴を採用し、それによって一貫性が向上します。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

#実験評価

実験部分では、研究者は主にコマンドに基づいて、ベースの画像編集モデルを使用して Fairy を実装し、モデルの自己注意をフレーム間注意に置き換えます。アンカー フレームの数を 3 に設定します。モデルは、異なるアスペクト比の入力を受け入れ、アスペクト比を変更せずに、長いサイズの入力解像度を 512 に再スケーリングできます。研究者らは、入力ビデオのすべてのフレームをダウンサンプリングせずに編集しました。すべての計算は 8 つの A100 GPU に分散されます。

定性的評価

研究者は、以下に示すように、Fairy の定性的結果を最初に示しました。 5 に示すように、Fairy はさまざまなテーマを編集できます。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

以下の図 6 では、研究者は、Fairy がテキストの指示に従って、様式化、役割の変更など、さまざまな種類の編集を実行できることを示しています。 、部分編集、属性編集など。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

以下の図 9 は、Fairy が指示に従ってソース キャラクターをさまざまなターゲット キャラクターに変換できることを示しています。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。

#定量的評価

研究者は全体的な品質の比較結果を図 7 に示します。Fairy によって生成されたビデオの人気が高くなります。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。 以下の図 10 は、ベースライン モデルとの視覚的な比較結果を示しています。

ビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。技術的な詳細と実験結果については、元の論文を参照してください。

以上がビデオを 14 秒で再構築し、キャラクターを変更することができ、メタによりビデオ合成が 44 倍高速化されます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

RLHF から DPO、TDPO に至るまで、大規模なモデル アライメント アルゴリズムはすでに「トークンレベル」になっています RLHF から DPO、TDPO に至るまで、大規模なモデル アライメント アルゴリズムはすでに「トークンレベル」になっています Jun 24, 2024 pm 03:04 PM

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 人工知能の開発プロセスにおいて、大規模言語モデル (LLM) の制御とガイダンスは常に中心的な課題の 1 つであり、これらのモデルが両方とも確実に機能することを目指しています。強力かつ安全に人類社会に貢献します。初期の取り組みは人間のフィードバックによる強化学習手法に焦点を当てていました (RL

OpenAI Super Alignment チームの遺作: 2 つの大きなモデルがゲームをプレイし、出力がより理解しやすくなる OpenAI Super Alignment チームの遺作: 2 つの大きなモデルがゲームをプレイし、出力がより理解しやすくなる Jul 19, 2024 am 01:29 AM

AIモデルによって与えられた答えがまったく理解できない場合、あなたはそれをあえて使用しますか?機械学習システムがより重要な分野で使用されるにつれて、なぜその出力を信頼できるのか、またどのような場合に信頼してはいけないのかを実証することがますます重要になっています。複雑なシステムの出力に対する信頼を得る方法の 1 つは、人間または他の信頼できるシステムが読み取れる、つまり、考えられるエラーが発生する可能性がある点まで完全に理解できる、その出力の解釈を生成することをシステムに要求することです。見つかった。たとえば、司法制度に対する信頼を築くために、裁判所に対し、決定を説明し裏付ける明確で読みやすい書面による意見を提供することを求めています。大規模な言語モデルの場合も、同様のアプローチを採用できます。ただし、このアプローチを採用する場合は、言語モデルが

オープンソース AI ソフトウェア エンジニアのリストのトップに立つ UIUC のエージェントレス ソリューションは、SWE ベンチの実際のプログラミングの問題を簡単に解決します オープンソース AI ソフトウェア エンジニアのリストのトップに立つ UIUC のエージェントレス ソリューションは、SWE ベンチの実際のプログラミングの問題を簡単に解決します Jul 17, 2024 pm 10:02 PM

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com この論文の著者は全員、イリノイ大学アーバナ シャンペーン校 (UIUC) の Zhang Lingming 教師のチームのメンバーです。博士課程4年、研究者

ControlNet の作者がまたヒット作を出しました!写真から絵画を生成し、2 日間で 1.4,000 個のスターを獲得する全プロセス ControlNet の作者がまたヒット作を出しました!写真から絵画を生成し、2 日間で 1.4,000 個のスターを獲得する全プロセス Jul 17, 2024 am 01:56 AM

これも Tusheng のビデオですが、PaintsUndo は別の道を歩んでいます。 ControlNet 作者 LvminZhang が再び生き始めました!今回は絵画の分野を目指します。新しいプロジェクト PaintsUndo は、開始されて間もなく 1.4kstar を獲得しました (まだ異常なほど上昇しています)。プロジェクトアドレス: https://github.com/lllyasviel/Paints-UNDO このプロジェクトを通じて、ユーザーが静止画像を入力すると、PaintsUndo が線画から完成品までのペイントプロセス全体のビデオを自動的に生成するのに役立ちます。 。描画プロセス中の線の変化は驚くべきもので、最終的なビデオ結果は元の画像と非常によく似ています。完成した描画を見てみましょう。

arXiv 論文は「弾幕」として投稿可能、スタンフォード alphaXiv ディスカッション プラットフォームはオンライン、LeCun は気に入っています arXiv 論文は「弾幕」として投稿可能、スタンフォード alphaXiv ディスカッション プラットフォームはオンライン、LeCun は気に入っています Aug 01, 2024 pm 05:18 PM

乾杯!紙面でのディスカッションが言葉だけになると、どんな感じになるでしょうか?最近、スタンフォード大学の学生が、arXiv 論文のオープン ディスカッション フォーラムである alphaXiv を作成しました。このフォーラムでは、arXiv 論文に直接質問やコメントを投稿できます。 Web サイトのリンク: https://alphaxiv.org/ 実際、URL の arXiv を alphaXiv に変更するだけで、alphaXiv フォーラムの対応する論文を直接開くことができます。この Web サイトにアクセスする必要はありません。その中の段落を正確に見つけることができます。論文、文: 右側のディスカッション エリアでは、ユーザーは論文のアイデアや詳細について著者に尋ねる質問を投稿できます。たとえば、次のような論文の内容についてコメントすることもできます。

無制限のビデオ生成、計画と意思決定、次のトークン予測とフルシーケンス拡散の拡散強制統合 無制限のビデオ生成、計画と意思決定、次のトークン予測とフルシーケンス拡散の拡散強制統合 Jul 23, 2024 pm 02:05 PM

現在、次のトークン予測パラダイムを使用した自己回帰大規模言語モデルが世界中で普及していると同時に、インターネット上の多数の合成画像やビデオがすでに拡散モデルの威力を示しています。最近、MITCSAIL の研究チーム (そのうちの 1 人は MIT の博士課程学生、Chen Boyuan です) は、全系列拡散モデルとネクスト トークン モデルの強力な機能を統合することに成功し、トレーニングおよびサンプリング パラダイムである拡散強制 (DF) を提案しました。 )。論文タイトル:DiffusionForcing:Next-tokenPredictionMeetsFull-SequenceDiffusion 論文アドレス:https:/

リーマン予想の大きな進歩!陶哲軒氏はMITとオックスフォードの新しい論文を強く推薦し、37歳のフィールズ賞受賞者も参加した リーマン予想の大きな進歩!陶哲軒氏はMITとオックスフォードの新しい論文を強く推薦し、37歳のフィールズ賞受賞者も参加した Aug 05, 2024 pm 03:32 PM

最近、2000年代の7大問題の一つとして知られるリーマン予想が新たなブレークスルーを達成した。リーマン予想は、数学における非常に重要な未解決の問題であり、素数の分布の正確な性質に関連しています (素数とは、1 とそれ自身でのみ割り切れる数であり、整数論において基本的な役割を果たします)。今日の数学文献には、リーマン予想 (またはその一般化された形式) の確立に基づいた 1,000 を超える数学的命題があります。言い換えれば、リーマン予想とその一般化された形式が証明されれば、これらの 1,000 を超える命題が定理として確立され、数学の分野に重大な影響を与えることになります。これらの命題の一部も有効性を失います。 MIT数学教授ラリー・ガスとオックスフォード大学から新たな進歩がもたらされる

公理的トレーニングにより、LLM は因果推論を学習できます。6,700 万個のパラメータ モデルは、1 兆個のパラメータ レベル GPT-4 に匹敵します。 公理的トレーニングにより、LLM は因果推論を学習できます。6,700 万個のパラメータ モデルは、1 兆個のパラメータ レベル GPT-4 に匹敵します。 Jul 17, 2024 am 10:14 AM

LLM に因果連鎖を示すと、LLM は公理を学習します。 AI はすでに数学者や科学者の研究を支援しています。たとえば、有名な数学者のテレンス タオは、GPT などの AI ツールを活用した研究や探索の経験を繰り返し共有しています。 AI がこれらの分野で競争するには、強力で信頼性の高い因果推論能力が不可欠です。この記事で紹介する研究では、小さなグラフでの因果的推移性公理の実証でトレーニングされた Transformer モデルが、大きなグラフでの推移性公理に一般化できることがわかりました。言い換えれば、Transformer が単純な因果推論の実行を学習すると、より複雑な因果推論に使用できる可能性があります。チームが提案した公理的トレーニング フレームワークは、デモンストレーションのみで受動的データに基づいて因果推論を学習するための新しいパラダイムです。

See all articles