本当に滑らかです: NeuralHDHair、浙江大学、チューリッヒ工科大学、CityU が共同開発した新しい 3D ヘアモデリング手法
近年、バーチャル デジタル ヒューマン産業が爆発的に成長し、あらゆる階層が独自のデジタル ヒューマン イメージを発表しています。高忠実度の 3D ヘア モデルが仮想デジタル ヒューマンのリアリズムを大幅に向上できることは疑いの余地がありません。人体の他の部分とは異なり、絡み合った髪の構造は非常に複雑な性質を持っているため、髪の構造を記述して抽出することはより困難であり、単一のビューから高忠実度の 3D 髪モデルを再構築することは非常に困難です。一般に、既存の方法は、この問題を 2 つのステップで解決します。まず、入力画像から抽出された 2D 方向マップに基づいて 3D 方向フィールドを推定し、次に 3D 方向フィールドに基づいて髪束を合成します。ただし、このメカニズムには実際にはまだいくつかの問題があります。
実際の観察に基づいて、研究者らは、高度な精度を示しながら、きめ細かい特徴を備えた 1 つの画像から 3D ヘア モデルを再構成できる、完全に自動化された効率的なヘア モデル モデリング方法を模索しています (図 1)。柔軟性に優れており、髪のモデルの再構築にはネットワークの 1 回の順方向パスのみが必要です。
これらの問題を解決するために、浙江大学、スイスのチューリッヒ工科大学、香港城市大学の研究者は、IRHairNet を提案しました。ラフ 高忠実度の 3D 方向フィールドを生成するための洗練された戦略を開発します。具体的には、ラフ モジュールの 2D 方向マップから情報を抽出するために、新しいボクセル整列暗黙関数 (VIFu) を導入しました。同時に、2D 方向マップで失われた局所的な詳細を補うために、研究者らは高解像度の輝度マップを使用して局所的な特徴を抽出し、それらをファイン モジュール内のグローバルな特徴と組み合わせて高忠実度の髪を実現しました。スタイリング。
3D 指向性フィールドから毛髪モデルを効果的に合成するために、研究者は、局所的な暗黙的グリッド表現を使用した深層学習に基づく育毛方法である GrowingNet を導入しました。これは重要な観察に基づいています。毛髪の形状と成長方向は全体的に異なりますが、特定の局所スケールでは同様の特性を持っています。したがって、局所的な 3D 方向パッチごとに高レベルの潜在コードを抽出することができ、その後、この潜在コードに基づいて神経潜在機能 (デコーダー) がその中で毛束を成長させるようにトレーニングされます。各成長ステップの後、毛束の端を中心とした新しい局所パッチが使用されて成長を続けます。トレーニング後は、任意の解像度で 3D 指向のフィールドに適用できます。
論文: https://arxiv.org/pdf/2205.04175.pdf
IRHairNet と GrowingNet は NeuralHDHair の中核を形成します。具体的には、この研究の主な貢献は次のとおりです。
- 既存の SOTA 手法よりもパフォーマンスが大幅に優れた、新しい全自動単眼ヘア モデリング フレームワークの導入;
- 粗いヘア モデリングの導入- ファイン ヘア モデリング ニューラル ネットワーク (IRHairNet)、ボクセルに合わせた新しい暗黙関数と輝度マッピングを使用して、高品質のヘア モデリングの局所的な詳細を強化します;
- ローカル ベースの新しい発毛ネットワーク (GrowingNet)任意の解像度の毛髪モデルを効率的に生成できる暗関数を提案し、従来手法と比較して一桁の高速化を実現しました。
#メソッド
図 2 は、NeuralHDHair のパイプラインを示しています。ポートレート画像の場合、最初に 2D 方向マップが計算され、輝度マップが抽出されます。さらに、バスト深度マップを取得するために、同じバスト参照モデルに自動的に位置合わせされます。これら 3 つのグラフは IRHairNet にフィードバックされます。- GrowingNet は、IRHairNet によって推定された 3D 方向フィールドと 3D 占有フィールドから完全な毛髪モデルを効率的に生成するように設計されており、3D 占有フィールドは毛髪の成長領域を制限するために使用されます。
メソッドの詳細については、元の論文を参照してください。
実験このパートでは、研究者はアブレーション研究 (セクション 4.1) を通じて各アルゴリズム コンポーネントの有効性と必要性を評価し、この論文の方法を組み合わせます。現在の SOTA と比較します (セクション 4.2)。実装の詳細とその他の実験結果については、補足資料を参照してください。
アブレーション実験
研究者らは、GrowingNet の忠実性と効率を定性的および定量的な観点から評価しました。まず、合成データに対して 3 セットの実験が実行されます: 1) 従来の発毛アルゴリズム、2) 潜在的なパッチ スキームを重複させない GrowingNet、3) この論文の完全なモデル。
図 4 と表 1 に示すように、従来の発毛アルゴリズムと比較して、この記事の GrowingNet には、視覚的な品質の点で同じ発毛パフォーマンスを維持しながら、時間の消費という点で明らかな利点があります。さらに、図 4 の 3 番目と 4 番目の列を比較すると、重複する潜在的なパッチ スキームがない場合、パッチ境界の毛束が不連続になる可能性があり、これは毛髪の成長方向が異なる場合に問題となることがわかります。ストランドが劇的に変化するのはさらに深刻です。ただし、このソリューションは精度がわずかに低下する代わりに効率が大幅に向上することに注目する価値があり、人体のデジタル化に便利かつ効率的に適用するためには、効率の向上が非常に重要です。
SOTA 方式との比較
NeuralHDHair のパフォーマンスを評価するには、研究者らの比較 いくつかの SOTA 手法との比較が行われました [6、28、30、36、40]。その中で、Autohair は毛髪合成のデータ駆動型アプローチに基づいていますが、HairNet [40] は毛髪の成長プロセスを無視して、エンドツーエンドの毛髪モデリングを実現します。対照的に、[28,36] は、最初に 3D 方向フィールドを推定し、次にそこから髪束を合成するという 2 段階の戦略を実装しています。 PIFuHD [30] は、粗いものから細かいものへの戦略に基づく単眼の高解像度 3D モデリング方法であり、3D 毛髪モデリングに使用できます。
図 6 に示すように、HairNet の結果は満足のいくものではありませんが、局所的な詳細や全体的な形状さえも入力イメージの髪と一致しません。これは、この方法が単純かつ粗雑な方法で髪を合成し、単一の画像から乱れた髪束を直接復元するためです。
以上が本当に滑らかです: NeuralHDHair、浙江大学、チューリッヒ工科大学、CityU が共同開発した新しい 3D ヘアモデリング手法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。

FP8 以下の浮動小数点数値化精度は、もはや H100 の「特許」ではありません。 Lao Huang は誰もが INT8/INT4 を使用できるようにしたいと考え、Microsoft DeepSpeed チームは NVIDIA からの公式サポートなしで A100 上で FP6 の実行を開始しました。テスト結果は、A100 での新しい方式 TC-FPx の FP6 量子化が INT4 に近いか、場合によってはそれよりも高速であり、後者よりも精度が高いことを示しています。これに加えて、エンドツーエンドの大規模モデルのサポートもあり、オープンソース化され、DeepSpeed などの深層学習推論フレームワークに統合されています。この結果は、大規模モデルの高速化にも即座に影響します。このフレームワークでは、シングル カードを使用して Llama を実行すると、スループットはデュアル カードのスループットの 2.65 倍になります。 1つ
