ホームページ テクノロジー周辺機器 AI MotionClone: トレーニングは不要で、ワンクリックでビデオの動きのクローンを作成できます。

MotionClone: トレーニングは不要で、ワンクリックでビデオの動きのクローンを作成できます。

Jul 18, 2024 pm 05:06 PM
業界

MotionClone: トレーニングは不要で、ワンクリックでビデオの動きのクローンを作成できます。
AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。送信メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

グローバル カメラの動きであっても、プロンプト ワードで指定された新しいシーンでリファレンス ビデオの動きを複製する必要はありません。またはローカルの身体の動きをクリックするだけで完了します。 MotionClone: トレーニングは不要で、ワンクリックでビデオの動きのクローンを作成できます。

  • 論文: https://arxiv.org/abs/2406.05338

  • ホームページ: https://bujiazi.github.io/motionclone.github.io/

  • コード: https:// github.com/Bijiazi/MotionClone

この記事では、MotionClone と呼ばれる新しいフレームワークを提案します。モデルのトレーニングや微調整を行わずに、対応するモーション情報を抽出して、新しいモーション情報を直接生成できます。ビデオをテキスト プロンプトと組み合わせて、カスタマイズされたモーションを備えたテキスト生成ビデオ (text2video) を実現します。

MotionClone: トレーニングは不要で、ワンクリックでビデオの動きのクローンを作成できます。

以前の研究と比較して、MotionClone には次の利点があります:

  • トレーニングや微調整が不要: 以前の方法では通常、モーション キューをエンコードするためのトレーニング モデル、または特定のモーション パターンに合わせてビデオ拡散モデルを微調整する必要がありました。 。モーション キューをエンコードするトレーニング モデルは、トレーニング ドメイン外のモーションに対する汎化能力が低く、既存のビデオ生成モデルを微調整すると、ベース モデルの基礎となるビデオ生成の品質が損なわれる可能性があります。 MotionClone では追加のトレーニングや微調整を導入する必要がなく、ベース モデルの生成品質を最大限に維持しながらモーションの汎化機能が向上します。

  • モーション品質の向上: 既存のオープンソース Wensheng ビデオ モデルでは、大きくて合理的な動きを生成することが困難です。MotionClone は、モーションの合理性を効果的に確保しながら、生成されたビデオのモーション振幅を大幅に強化するために、主成分タイミング アテンション モーション ガイダンスを導入します。

  • 空間的位置関係の改善: 直接モーションのクローン作成によって引き起こされる可能性のある空間的意味の不一致を回避するために、MotionClone は、正しい空間的意味情報と時空間的動き情報を支援するクロスアテンション マスクに基づく空間的意味情報ガイダンスを提案します。 .カップリング。

時間的注意モジュールのモーション情報

MotionClone: トレーニングは不要で、ワンクリックでビデオの動きのクローンを作成できます。

テキスト生成されたビデオ作品では、時間的注意モジュール (Temporal Attendance) は、ビデオのフレーム間相関をモデル化するために広く使用されています。時間的アテンション モジュールのアテンション スコア (アテンション マップ スコア) はフレーム間の相関関係を特徴付けるため、直感的なアイデアは、アテンション スコアを完全に一致するように制約することでフレーム間の接続を複製して、モーション クローンを実現できるかどうかです。

しかし、実験により、完全なアテンション マップ (プレーン コントロール) を直接コピーすると、非常に大まかなモーション転送しか実現できないことがわかりました。これは、アテンションの重みのほとんどがノイズまたは非常に微妙なモーション情報に対応しており、組み合わせるのが難しいためです。一方、テキストで指定された新しいシナリオでは、潜在的に効果的な動作のガイダンスが曖昧になります。

この問題を解決するために、MotionClone は主成分の時間的注意ガイダンス メカニズム (一次時間的注意ガイダンス) を導入しています。これは、時間的注意の主要コンポーネントのみを使用してビデオ生成をまばらにガイドし、それによってノイズと微妙な動きをフィルタリングします。情報の影響により、テキストで指定された新しいシナリオでモーションの効果的な複製が可能になります。

MotionClone: トレーニングは不要で、ワンクリックでビデオの動きのクローンを作成できます。

空間意味補正

主成分時間的注意モーションガイダンスは参照ビデオのモーションクローンを実現できますが、動く被写体がユーザーの意図と一致していることを保証できず、ビデオ生成の品質が低下します場合によっては、移動する被写体の脱臼につながる可能性もあります。

上記の問題を解決するために、MotionClone は空間セマンティック ガイダンス メカニズム (位置認識セマンティック ガイダンス) を導入し、クロス アテンション マスクを通じてビデオの前後の背景領域を分割し、それぞれセマンティック情報を制約することでこれを保証します。空間セマンティクスの合理的なレイアウトにより、時間的な動きと空間セマンティクスの正しい結合が促進されます。

MotionClone実装の詳細

MotionClone: トレーニングは不要で、ワンクリックでビデオの動きのクローンを作成できます。

  1. DDIM反転: MotionCloneはDDIM反転を使用して入力リファレンスビデオを潜在空間に反転し、リファレンスビデオの時間的注意主成分抽出を実装します。

  2. ガイダンスステージ: 各ノイズ除去中に、MotionClone は主成分の時間的注意モーション ガイダンスと空間的セマンティック情報ガイダンスを同時に導入します。これらは連携して、制御可能なビデオ生成のための包括的なモーションとセマンティック ガイダンスを提供します。

  3. ガウス マスク: 空間セマンティック ガイダンス メカニズムでは、ガウス カーネル関数を使用してクロスアテンション マスクをぼかし、潜在的な構造情報の影響を排除します。

DAVIS データセットからの 30 個のビデオがテストに使用されました。実験結果は、MotionClone が以前のモーション転送方法を超えて、テキストの適合性、タイミングの一貫性、および複数のユーザー調査指標において大幅な改善を達成したことを示しています。具体的な結果を以下の表に示します。

MotionClone: トレーニングは不要で、ワンクリックでビデオの動きのクローンを作成できます。

MotionClone と既存のモーション マイグレーション手法の生成結果を比較すると、MotionClone が優れたパフォーマンスを発揮していることがわかります。

MotionClone: トレーニングは不要で、ワンクリックでビデオの動きのクローンを作成できます。

要約すると、MotionClone は、トレーニングや微調整を行わずに、リファレンス ビデオ内のモーションを、ユーザーが指定したプロンプト ワードで指定された新しいシーンに効果的に複製できる、新しいモーション転送フレームワークです。既存の Vincent ビデオ モデルのモーション カスタマイズ ソリューション。

MotionClone は、既存のベース モデルの生成品質を維持することに基づいて、効率的な主成分モーション情報ガイダンスと空間セマンティック ガイダンスを導入します。これにより、テキストとのセマンティック アラインメント機能を確保しながら、リファレンス ビデオとのモーションの一貫性が大幅に向上します。高品質で制御可能なビデオ生成を実現します。

さらに、MotionClone は豊富なコミュニティ モデルに直接適応して多様なビデオ生成を実現でき、非常に高い拡張性を備えています。

以上がMotionClone: トレーニングは不要で、ワンクリックでビデオの動きのクローンを作成できます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました Aug 09, 2024 pm 04:01 PM

でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した 初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した Aug 21, 2024 pm 07:33 PM

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう Sep 02, 2024 pm 01:56 PM

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。 「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全体を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という内容でいっぱいだった。

世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました 世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました Aug 22, 2024 pm 10:35 PM

北京で開催中の世界ロボット会議では、人型ロボットの展示が絶対的な注目となっているスターダストインテリジェントのブースでは、AIロボットアシスタントS1がダルシマー、武道、書道の3大パフォーマンスを披露した。文武両道を備えた 1 つの展示エリアには、多くの専門的な聴衆とメディアが集まりました。弾性ストリングのエレガントな演奏により、S1 は、スピード、強さ、正確さを備えた繊細な操作と絶対的なコントロールを発揮します。 CCTVニュースは、「書道」の背後にある模倣学習とインテリジェント制御に関する特別レポートを実施し、同社の創設者ライ・ジエ氏は、滑らかな動きの背後にあるハードウェア側が最高の力制御と最も人間らしい身体指標(速度、負荷)を追求していると説明した。など)、AI側では人の実際の動きのデータが収集され、強い状況に遭遇したときにロボットがより強くなり、急速に進化することを学習することができます。そしてアジャイル

ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

貢献者はこの ACL カンファレンスから多くのことを学びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回の優秀論文賞は7件(未発表2件)、最優秀テーマ論文賞1件、優秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Sep 03, 2024 pm 05:18 PM

ビジョンとロボット学習の緊密な統合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連携して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到来するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環境との複雑かつ絶妙な相互作用を必要とし、環境は空間領域および時間領域の制約として表現できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを掴んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。 、そしてティーポットを一定の角度に傾けます。これ

分散型人工知能カンファレンス DAI 2024 論文募集: エージェント デイ、強化学習の父であるリチャード サットン氏が出席します。 Yan Shuicheng、Sergey Levine、DeepMind の科学者が基調講演を行います 分散型人工知能カンファレンス DAI 2024 論文募集: エージェント デイ、強化学習の父であるリチャード サットン氏が出席します。 Yan Shuicheng、Sergey Levine、DeepMind の科学者が基調講演を行います Aug 22, 2024 pm 08:02 PM

会議の紹介 科学技術の急速な発展に伴い、人工知能は社会の進歩を促進する重要な力となっています。この時代に、分散型人工知能 (DAI) の革新と応用を目撃し、参加できることは幸運です。分散型人工知能は人工知能分野の重要な分野であり、近年ますます注目を集めています。大規模言語モデル (LLM) に基づくエージェントは、大規模モデルの強力な言語理解機能と生成機能を組み合わせることで、自然言語対話、知識推論、タスク計画などにおいて大きな可能性を示しました。 AIAgent は大きな言語モデルを引き継ぎ、現在の AI 界隈で話題になっています。アウ

宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました 宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました Aug 08, 2024 am 07:02 AM

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザー プリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマート スクリーン S5Pro など、スマート トラベル、スマート オフィスからスマート ウェアに至るまで、多くの新しいオールシナリオ スマート製品を開発し、ファーウェイは消費者にスマートな体験を提供するフル シナリオのスマート エコシステムを構築し続けています。すべてのインターネット。宏孟志興氏:スマートカー業界のアップグレードを促進するための徹底的な権限付与 ファーウェイは中国の自動車業界パートナーと提携して、

See all articles