Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

コンピュータ グラフィックスの発展に伴い、3D 生成テクノロジが徐々に研究のホットスポットになりつつあります。ただし、テキストや画像から 3D モデルを生成するには、まだ多くの課題があります。

最近、Google、NVIDIA、Microsoft などの企業が神経放射場 (NeRF) に基づく 3D 生成手法を発表しましたが、これらの手法は従来の 3D レンダリング ソフトウェア (Unity、Unreal Engine、Maya など) と互換性があります。 、など）性的な問題により、実際の応用での幅広い適用が制限されます。

この目的を達成するために、Yingmo Technology と Shanghai Tech University の研究開発チームは、これらの問題を解決するために設計されたテキストガイドによるプログレッシブ 3D 生成フレームワークを提案しました。

テキストの説明に基づいて 3D アセットを生成する

研究チームが提案したテキストガイドによるプログレッシブ 3D 生成フレームワーク (略して DreamFace) は、視覚言語モデル、暗黙的拡散モデル、物理ベースを組み合わせたものです。マテリアル拡散技術により、コンピュータ グラフィックスの制作基準に準拠した 3D アセットが生成されます。

このフレームワークの革新性は、ジオメトリ生成、物理ベースのマテリアル拡散生成、およびアニメーション機能生成の 3 つのモジュールにあります。

この作品はトップジャーナルの Transactions on Graphics に受理され、トップの国際コンピューター グラフィックス会議である SIGGRAPH 2023 で発表されます。

# プロジェクトの Web サイト: https://sites.google.com/view/dreamface
プレプリントペーパー: https://arxiv.org/abs/2304.03117
ウェブデモ: https://hyperhuman.top
HuggingFace Space: https :/ /huggingface.co/spaces/DEEMOSTECH/ChatAvatar

DreamFace の 3 つの主要な機能の実装方法

DreamFace には主に、ジオメトリ生成と物理ベースのマテリアルという 3 つのモジュールが含まれています拡散機能とアニメーション機能が生成されます。以前の 3D 生成作業と比較した場合、この作業の主な貢献は次のとおりです。

は、最近の視覚言語モデルとアニメーション化可能および物理的に実体化可能な顔を組み合わせた新しい生成スキームである DreamFace を提案します アセットは個別のジオメトリに結合されます、漸進的な学習を通じて、外観とアニメーションの機能を向上させます。
1. 潜在空間と画像空間で 2 段階の最適化を実行しながら、新しいマテリアル拡散モデルと事前トレーニング済みモデルを組み合わせたデュアルチャネル外観生成の設計を紹介します。
2. BlendShape または生成されたパーソナライズされた BlendShape を使用した顔アセットはアニメーション化され、自然なキャラクター デザインのための DreamFace の使用をさらに実証します。

ジオメトリ生成: このモジュールは、CLIP (Contrastive Language-Image Pre-Training) 選択フレームワークを介したテキスト プロンプトに基づいて、ジオメトリ モデルを生成します。

最初に顔の幾何学的パラメータ空間から候補をランダムにサンプリングし、次にテキスト プロンプトに基づいて最も高い一致スコアを持つ大まかな幾何学的モデルを選択します。

次に、陰的拡散モデル (LDM) とスコア付き蒸留サンプリング (SDS) 処理を使用して、顔の詳細と詳細な法線マップを粗いジオメトリ モデルに追加し、高精度のジオメトリを生成します。

物理ベースのマテリアル拡散生成: このモジュールは、予測されたジオメトリとテキスト ヒントを対象としています。顔のテクスチャを生成します。まず、LDM を微調整して 2 つの拡散モデルを取得します。

その後、2 つのモデルは共同トレーニング スキームを通じて調整され、1 つは U テクスチャ マップの直接ノイズ除去用、もう 1 つは画像の教師ありレンダリング用です。さらに、生成される拡散マップの品質を保証するために、ヒント学習戦略と顔以外の領域のマスキングが採用されています。

最後に、超解像度モジュールを適用して、高品質のレンダリングのための 4K 物理ベースのテクスチャを生成します。

#アニメーション機能の生成

: DreamFace によって生成されたモデルにはアニメーション機能があります。従来の BlendShapes ベースのメソッドとは異なり、このフレームワークは、固有の変形を予測することでニュートラル モデルをアニメーション化し、パーソナライズされたアニメーションを生成します。 ジオメトリック ジェネレーターは最初に表現潜在空間を学習するようにトレーニングされ、次に表現エンコーダーが RGB 画像から表現特徴を抽出するようにトレーニングされます。最後に、単眼の RGB 画像を使用してパーソナライズされたアニメーションが生成されます。

指定した 3D アセットを 5 分で生成

DreamFace フレームワークは、有名人生成や説明文生成キャラクターなどのタスクで好成績を収め、ユーザー評価においても前作を上回る成果を上げています。

#同時に、既存の方法と比較して、実行時間の点で明らかな利点があります。

さらに、DreamFace は、ヒントとスケッチを使用したテクスチャ編集をサポートし、グローバル編集効果 (エイジング、メイクアップなど) とローカル編集効果 (など) を実現します。入れ墨として）、ひげ、あざ）。

映画、テレビ、ゲーム、その他の業界で使用可能

テキストガイドによるプログレッシブ 3D 生成フレームワークとして、DreamFace視覚的言語モデル、暗黙的拡散モデル、物理ベースの材料拡散技術を組み合わせて、高精度、高効率、優れた互換性で 3D 生成を実現します。

このフレームワークは、複雑な 3D 生成タスクを解決するための効果的なソリューションを提供し、同様の研究と技術開発をさらに促進することが期待されます。

さらに、物理ベースのマテリアル拡散生成とアニメーション機能生成により、映画やテレビの制作、ゲーム開発、その他の関連産業における 3D 生成テクノロジーの応用が促進されます。

以上がMarvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。