清華に拠点を置く新興企業は、ワンクリックで実際のシーンをアニメーションに変換し、パーソナライズされたキャラクターを生成できる世界初の 4D スケルタル アニメーション フレームワークをリリースしました。

Apple は最近、同社初の仮想ヘッドマウント ディスプレイ デバイスである Vision Pro を 2 月 2 日に発売すると発表しました。この XR デバイスは、次世代端末の急速な開発をリードすると期待されています。仮想表示装置の普及により、デジタルインタラクションは二次元から三次元へ移行し、将来的には三次元モデルや三次元アニメーションが主流のコンテンツ形態となるでしょう。仮想と現実の統合のトレンドの下では、多次元の没入型インタラクションもトレンドになるでしょう。

しかし、データ規模の観点から見ると、現段階のコンテンツ産業におけるデータ蓄積は依然として2D画像や平面動画が中心であり、3Dモデルや4Dアニメーションなどのデータ基盤は相対的に脆弱である。 。中でも 4D アニメーションは、従来の 3D モデル、つまり時間とともに変化する 3D モデルに基づいて時系列を導入し、ダイナミックな 3 次元効果を表現することができ、ゲームアニメーション、映画の特殊効果、仮想現実などで広く使用されています。他の分野もそうですが、現在、コンテンツ生態学的開発において最も困難なリンクでもあります。

したがって、今後の多次元没入型体験においては、3次元デジタルコンテンツの構築が重要な基礎作業となるでしょう。

この最先端の分野に直面して、清華大学の起業家チーム Shengshu Technology は一連の研究と製品開発を実施し、最近、清華大学と共同で「骨格アニメーション」に基づく世界初の 4D を開始しました。大学、同済大学、その他の大学 アニメーション生成フレームワーク「AnimatableDreamer」は、2D ビデオ素材をワンクリックで直接動的 3 次元モデル (つまり 4D アニメーション) に変換することができ、骨格の動きの自動抽出、ワンクリック変換をサポートしていますアニメーション効果の追加、およびテキスト入力によるパーソナライズされたキャラクター生成。

• 論文アドレス: https://arxiv.org/pdf/2312.03795.pdf

• プロジェクトアドレス: https://animatabledreamer.github.io/

• 論文のタイトル: AnimatableDreamer: Canonical Score Distillation を使用したテキストガイドによる非剛体 3D モデルの生成と再構築

次のデモビデオをご覧ください。

#新たなコンテンツ制作手法

3Dアニメーション開発プロセスの破壊

過去の業界 3次元アニメーションの制作には、3Dモデリング、テクスチャレンダリング、ボーンバインディング、アニメーション制作などの複雑なプロセスが必要であり、モデラーやアニメーターなどの専門家の参加が必要であり、効率が低く、コストが高くなります。 。統計によると、単一の静的 3D モデルの制作サイクルは数時間から数日で、コストは数千ドルに達する可能性があり、動的処理のコストはさらに高くなります。

公式デモビデオからわかるように、リスの 2D 実写ビデオをアップロードし、「赤いセーターを着たリス」というテキスト説明を入力すると、本物のリスを 1 枚で作成できます。 「アニメーションスタイルに変換」をクリックすると、アクションの姿勢を完全に保持します。同期により、360 度の視点から 3 次元の動的モデルを生成することもできます。テキストの説明を切り替えることで、キャラクターをカスタマイズし、リスを別の漫画の画像に切り替えることができます。キツネとゼニガメ。。

「AnimatableDreamer」は、動画内の対象オブジェクト（キャラクターや動物など）の骨格の動きを自動抽出し、テキスト記述により任意の骨格アニメーションモデルに変換することができます。プロセス全体はテンプレートによって制限されず、あらゆるビデオの長さとあらゆるタイプのアクションをサポートし、高度な時間的一貫性とマルチビューの一貫性を備え、エクスポートされた動的 3 次元モデルはあらゆる 3D 環境でレンダリングできます。

映画、テレビ、アニメーションなどのポストプロダクションでは、通常、アニメーションにさらなる編集が必要となりますが、「AnimatableDreamer」ではボーンバインディングが完了したモデルのアニメーションファイルの差し替えや編集にも対応しており、より自由度が高くなります。今後、関連技術が段階的に導入されていくと、ゲーム開発や映画・テレビアニメーションなどの3Dモデリングやアニメーション制作プロセスの効率化が期待されます。

未来に向けて

新たなコンテンツエコロジーの形成が期待されている

実装原理に関しては、研究はチームが革新的に提案した

正準スコア蒸留 (CSD)

は、時間の経過とともに変化するカメラ空間で、さまざまなフレームとさまざまな視点の 3D モデルをレンダリングしてノイズを除去し、勾配を異なるものに均一に返します。蒸留は、共有された正規空間で実行されます。つまり、4D 生成問題は 3D 空間での生成に単純化されます。 「AnimatableDreamer」は、動画から関節の動きを直接抽出することができ、オブジェクトのモデルと動きを分離することで、生成されたモデルは時間的一貫性と幾何学的合理性が高く、動画の長さに制限されず、効率的に関節の動きを抽出することができます。形状の崩れ、ちらつき、マルチビューの不一致などの問題を最小限に抑えます。

視野角が限られ、動きが大きいシーンでは、拡散モデルの事前知識の導入により、入力映像が完全なオブジェクトをカバーしていなくても、「AnimatableDreamer」が自動的に画像情報を補完し、より適切な生成を実現します。品質。 。

「AnimatableDreamer」の提案は、テキストと4Dスケルトンアニメーションの生成、モデリング、マッピング、ボーンを直結したものと言えます。バインディング、アクション主導型を一度に実行 !自然言語による記述を入力し、自動で3次元アニメーション動画を出力するため、専門的な知識は不要で、一般の方でも簡単に始められ、アニメーションコンテンツをカスタマイズすることができます。

「AnimatableDreamer」に基づく作品は、3D および 4D デジタル コンテンツ制作の難易度を大幅に軽減し、インタラクティブな体験を豊かにし、誰もがクリエイティブなコンテンツを生成および編集できるようにし、3D 時代を生み出します。新しいコンテンツエンターテインメントとコンテンツ消費モデル。

将来の仮想世界では、ユーザーがカスタマイズされたデジタル空間を迅速に構築し、パーソナライズされたインタラクティブなエクスペリエンスを作成できることを想像してください。例:

• #デジタル空間内の各キャラクター画像は、子供たちにスーパーマンの服を着せたり、ハロウィーンのホリデーテーマの衣装に切り替えたりするなど、自由に生成できます。

#ペットを飼っているユーザーは、ペットを漫画化して、たとえば仮想ミッキー マウスの画像にすることができます。ペットたちの日常がまるで漫画のようで、飼い主とペットの日々のやりとりが面白くなり、人と人との関わり方もより豊かになり、いつでもセックスできるテーマパーティーでは、希望のパーティー環境やキャラクターの衣装などをリアルタイムに生成できます。
設立して 1 年未満の新興企業として、Shengshu Technology チームは画像、3D、ビデオなどのマルチモーダル大規模モデルの分野に長年取り組んできました。 Discord で正式にリリースされた作成ツール VoxCraft は、テキストと画像のガイダンス、3D モデルの微細レベルの作成、3D テクスチャのカスタム置換やその他の機能をサポートし、ゲーム開発、映画の 3D モデリング プロセスを強化します。およびテレビアニメなどのシーン。今回開始された4Dスケルトンアニメーション生成は、Shengshu Technologyのもう1つの新たな探求作業であり、将来的にVoxCraft製品に統合される予定です。

• VoxCraft ツールのアドレス: https://voxcraft.ai/

Apple Vision Pro の登場は、ハードウェア デバイス レベルでの重要な革新であるだけでなく、コンテンツの革命も始まります。そして経験の前奏曲。 4D アニメーション生成などの生成 AI の革新的な機能は、より優れたビジュアル プレゼンテーションをもたらすだけでなく、新しい方法で多次元のデジタル エクスペリエンスを切り開き、次世代の人間とコンピューターのインタラクションにさらなる可能性をもたらします。

以上が清華に拠点を置く新興企業は、ワンクリックで実際のシーンをアニメーションに変換し、パーソナライズされたキャラクターを生成できる世界初の 4D スケルタル アニメーション フレームワークをリリースしました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。