ホームページ テクノロジー周辺機器 AI 3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

Jun 13, 2024 am 11:09 AM
プロジェクト

3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成
AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

今日のデジタル時代では、3D アセットはメタバースの構築、デジタルツインの実現、仮想現実と拡張現実の応用において重要な役割を果たしています。技術革新とユーザーエクスペリエンスの向上を促進します。

既存の 3D アセット生成方法は通常、生成モデルを使用して、空間的に変化する双方向反射分布関数 (SVBRDF) に基づいて、プリセットされた照明条件下で表面位置のマテリアル プロパティを推測します。しかし、これらの方法では、周囲の一般的な物体の表面材質に対する人々の認識によって構築された強力で豊富な事前知識(たとえば、車のタイヤは外縁にゴムトレッドが巻かれた金属ホイールであるべきであるなど)がほとんど考慮されておらず、マテリアルは、オブジェクト自体の RGB カラーから分離する必要があります。 本来の意味を変えることなく、既存の 3D アセット生成方法では、空間的に変化する双方向反射率分布関数 (SVBRDF) に基づく生成モデルを利用して、事前に定義された照明条件下での表面位置を考慮してマテリアルの特性を推測することがよくありますが、これらの方法では強度が考慮されることはほとんどありません。そして、私たちの周りの一般的な物体の表面マテリアルを構築する際に人々が持つ豊富な予備知識(車のタイヤには外縁の金属リムを覆うゴムトレッドが必要であるという事実など)があり、彼らはマテリアルとオブジェクトのRGBカラーの間の切り離しを無視しています。したがって、オブジェクトの表面マテリアルに関する人間の事前知識をマテリアル生成プロセスに効果的に統合し、それによって既存の 3D アセットの全体的な品質を向上させる方法が、現在の研究の重要なテーマとなっています。

3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成最近、中国科学院オートメーション研究所、北京郵政大学、香港理工大学を含む北京と香港の研究チームが、「マテリアルセグメント3D:高密度マテリアルのセグメント化」というタイトルの論文を発表した。 「3D アセットのための 2D プライア」 この論文は、複数のタイプの複雑なマテリアル オブジェクト用に最初の 2D マテリアル セグメンテーション データ セット MIO を構築しました。これには、複数のセマンティック カテゴリに基づく単一オブジェクトおよびさまざまなカメラ アングルのピクセル レベルのマテリアル ラベルが含まれています。この研究では、2D セマンティック事前分布を活用して、UV 空間内の 3D アセットの表面マテリアルを推測できるマテリアル生成スキーム、MaterialSeg3D を提案します。

3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

    論文: https://arxiv.org/pdf/2404.13923
  • コードアドレス: https://github.com/PROPHETE-pro/materialSeg3D_
  • プロジェクトWebサイト: https:/ / /materialseg3d.github.io/
  • 3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

3D モデラーは通常、常識または現実世界のオブジェクトのプロトタイプに基づいてアセット サーフェスのマテリアルを定義します。対照的に、生成モデルに基づいて 3D アセットを構築する方法では、SVBRDF を使用してマテリアル情報を推論しますが、正確で高品質の 3D アセット サンプルが不足しているため、これらの方法では、高い汎用性と忠実度を備えた物理マテリアル チャネル情報を生成するのが困難です。さらに、このタイプの方法では、公共の Web サイトにある大量の Web 画像データを利用して、物体表面の材質情報についての事前知識を強化することもできません。
そのため、この記事では、2D 画像のマテリアルに関する事前知識を、3D アセットのマテリアル情報の定義を解決するタスクに導入する方法に焦点を当てます。

MIO データセット

この論文では、まず既存の 3D アセット データセットからマテリアル分類の事前知識を抽出しようとします。ただし、データセット内のサンプルが少なすぎることと単一のスタイルのため、セグメンテーション モデルが正しい事前知識を学習することは困難です。

3D アセットと比較して、2D 画像は公開 Web サイトやデータセットでより広く入手できます。ただし、既存の注釈付き 2D 画像データセットと 3D アセット レンダリングの分布には大きなギャップがあり、マテリアルに関する十分な事前知識を直接提供することはできません。

したがって、この記事では、カスタマイズされたデータセット MIO (具体化された個別オブジェクト) を構築しました。これは、マルチカテゴリーの単一の複雑なマテリアルアセットの現在最大の 2D マテリアル セグメンテーション データ セットであり、さまざまなカメラ アングルからサンプリングされ、コンパイルされた画像が含まれています。正確なメモ。

3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

マテリアル クラスのアノテーションと P の視覚的な例BR マテリアルの球体マッピング。

このデータセットを構築するとき、この記事は次のルールに従います:

  • 各サンプリングされた画像には、目立つ前景オブジェクトが 1 つだけ含まれます

  • 実際のシーンの 2D 画像と 3D アセット レンダリングを同数収集します

  • 上面図や底面図などの特別な視点を含む、さまざまなカメラ角度から画像サンプルを収集します

MIO データセットの独自性は、各マテリアル カテゴリのピクセル レベルのラベルを構築するだけでなく、それらを個別に構築することです。各材料カテゴリと PBR 材料値の間の 1 対 1 のマッピング関係。これらのマッピング関係は、9 人のプロの 3D モデラーによる議論の後に決定されました。この記事では、公開マテリアル ライブラリから 1,000 個を超える実際の PBR マテリアル ボールを候補マテリアルとして収集し、モデラーの専門知識に基づいてスクリーニングおよび特定しました。最終的に 14 のマテリアル カテゴリが決定され、それらの PBR マテリアルとのマッピング関係がラベルのようになりました。データセットのスペース。

3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

MIO データセットには、単一の複雑なオブジェクトの合計 23,062 枚のマルチビュー画像が含まれており、家具、車、建物、楽器、植物の 5 つの大きなメタ カテゴリに分類できます。 MIO データセットには約 4,000 枚のトップビュー画像が含まれており、既存の 2D データセットではめったに見られないユニークな視点を提供していることは特に注目に値します。

3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

MaterialSeg3D

この論文では、材料情報の事前知識の信頼できるソースとして MIO データセットを使用し、与えられた妥当な生成条件に対して、MaterialSeg3D という名前の 3D アセットの表面材料予測のための新しいパラダイムを提案します。アセット表面上の PBR マテリアル。照明、影、反射などのオブジェクトの物理的特性を正確にシミュレートできるため、3D オブジェクトはさまざまな環境で高度な信頼性と一貫性を示すことができ、既存の 3D の新しい基盤を提供します。重要な情報の欠如の問題に対する効果的な解決策を提案します。

MaterialSeg3D 全体の処理フローには、3D アセットのマルチビュー レンダリング、マルチビューでのマテリアル予測、および 3D マテリアル UV 生成の 3 つの部分が含まれます。マルチビュー レンダリングの段階では、トップ ビュー、サイド ビュー、および 12 のサラウンド アングルのカメラ ポーズが決定され、2D レンダリング イメージを生成するためのランダム ピッチ角度も決定されました。マテリアル予測段階では、MIO データセットに基づいてトレーニングされたマテリアル セグメンテーション モデルを使用して、マルチビュー レンダリングのピクセル レベルのマテリアル ラベルを予測します。マテリアル UV 生成段階では、マテリアル予測結果が一時 UV マップにマッピングされ、最終的なマテリアル ラベル UV が重み付き投票メカニズムを通じて取得され、PBR マテリアル マップに変換されます。

3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

視覚化された効果と実験

3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

MaterialSeg3D の有効性を評価するために、この論文では、単一画像から 3D アセットへの生成方法、テクスチャ生成、および公開 3D アセットの 3 つの側面に焦点を当てて、最近の研究と同様の定量的および定性的な実験分析を実施します。単一画像から 3D アセットへの生成方法については、アセットの特定の参照ビューを入力として受け取り、テクスチャ機能を備えた 3D オブジェクトを直接生成する Wonder3D、TripoSR、および OpenLRM との比較が行われました。視覚的なイメージを通じて、マテリアルセグ 3D によって処理されたアセットは、以前の作業と比較してレンダリングのリアリズムが大幅に向上していることがわかります。この論文では、Fantasia3D、Text2Tex などの既存のテクスチャ生成方法と、テキスト プロンプト情報に基づいてテクスチャ結果を生成できる Meshy Web サイトが提供するオンライン機能も比較しています。

これに基づいて、MaterialSeg3D はさまざまな照明条件下で正確な PBR マテリアル情報を生成し、レンダリング効果をより現実的にすることができます。

定量的実験では、CLIP類似度、PSNR、SSIMを評価指標として使用し、Objaverse-1.0データセット内のアセットをテストサンプルとして選択し、新しいビューとして3つのカメラアングルをランダムに選択します。

3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

これらの実験は、MaterialSeg3D の有効性を証明します。公開されている 3D アセットにはない PBR マテリアル情報を生成し、モデラーやその後の研究作業により高品質なアセットを提供できます。

概要と展望

このペーパーでは、3D アセットのサーフェス マテリアル生成の問題を調査し、カスタマイズされた 2D マテリアル セグメンテーション データ セット MIO を構築します。この信頼性の高いデータ セットのサポートにより、新しい 3D アセット サーフェス マテリアル生成パラダイム MaterialSeg3D が提案されます。これは、単一の 3D アセットに対して分離された独立した PBR マテリアル情報を生成し、さまざまな照明条件下での既存の 3D アセットのレンダリングのパフォーマンスを大幅に向上させることができます。現実的で合理的です。

今後の研究は、データセット内のオブジェクトメタクラスの数の拡大、擬似ラベルの生成によるデータセットのサイズの拡大、およびこの生成パラダイムを実現できるようにマテリアルセグメンテーションモデルの自己学習に焦点を当てることになると著者は指摘しています。ほとんどのタイプの 3D アセットに直接適用されます。

以上が3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

ControlNet の作者がまたヒット作を出しました!写真から絵画を生成し、2 日間で 1.4,000 個のスターを獲得する全プロセス ControlNet の作者がまたヒット作を出しました!写真から絵画を生成し、2 日間で 1.4,000 個のスターを獲得する全プロセス Jul 17, 2024 am 01:56 AM

これも Tusheng のビデオですが、PaintsUndo は別の道を歩んでいます。 ControlNet 作者 LvminZhang が再び生き始めました!今回は絵画の分野を目指します。新しいプロジェクト PaintsUndo は、開始されて間もなく 1.4kstar を獲得しました (まだ異常なほど上昇しています)。プロジェクトアドレス: https://github.com/lllyasviel/Paints-UNDO このプロジェクトを通じて、ユーザーが静止画像を入力すると、PaintsUndo が線画から完成品までのペイントプロセス全体のビデオを自動的に生成するのに役立ちます。 。描画プロセス中の線の変化は驚くべきもので、最終的なビデオ結果は元の画像と非常によく似ています。完成した描画を見てみましょう。

オープンソース AI ソフトウェア エンジニアのリストのトップに立つ UIUC のエージェントレス ソリューションは、SWE ベンチの実際のプログラミングの問題を簡単に解決します オープンソース AI ソフトウェア エンジニアのリストのトップに立つ UIUC のエージェントレス ソリューションは、SWE ベンチの実際のプログラミングの問題を簡単に解決します Jul 17, 2024 pm 10:02 PM

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com この論文の著者は全員、イリノイ大学アーバナ シャンペーン校 (UIUC) の Zhang Lingming 教師のチームのメンバーです。博士課程4年、研究者

RLHF から DPO、TDPO に至るまで、大規模なモデル アライメント アルゴリズムはすでに「トークンレベル」になっています RLHF から DPO、TDPO に至るまで、大規模なモデル アライメント アルゴリズムはすでに「トークンレベル」になっています Jun 24, 2024 pm 03:04 PM

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 人工知能の開発プロセスにおいて、大規模言語モデル (LLM) の制御とガイダンスは常に中心的な課題の 1 つであり、これらのモデルが両方とも確実に機能することを目指しています。強力かつ安全に人類社会に貢献します。初期の取り組みは人間のフィードバックによる強化学習手法に焦点を当てていました (RL

arXiv 論文は「弾幕」として投稿可能、スタンフォード alphaXiv ディスカッション プラットフォームはオンライン、LeCun は気に入っています arXiv 論文は「弾幕」として投稿可能、スタンフォード alphaXiv ディスカッション プラットフォームはオンライン、LeCun は気に入っています Aug 01, 2024 pm 05:18 PM

乾杯!紙面でのディスカッションが言葉だけになると、どんな感じになるでしょうか?最近、スタンフォード大学の学生が、arXiv 論文のオープン ディスカッション フォーラムである alphaXiv を作成しました。このフォーラムでは、arXiv 論文に直接質問やコメントを投稿できます。 Web サイトのリンク: https://alphaxiv.org/ 実際、URL の arXiv を alphaXiv に変更するだけで、alphaXiv フォーラムの対応する論文を直接開くことができます。この Web サイトにアクセスする必要はありません。その中の段落を正確に見つけることができます。論文、文: 右側のディスカッション エリアでは、ユーザーは論文のアイデアや詳細について著者に尋ねる質問を投稿できます。たとえば、次のような論文の内容についてコメントすることもできます。

OpenAI Super Alignment チームの遺作: 2 つの大きなモデルがゲームをプレイし、出力がより理解しやすくなる OpenAI Super Alignment チームの遺作: 2 つの大きなモデルがゲームをプレイし、出力がより理解しやすくなる Jul 19, 2024 am 01:29 AM

AIモデルによって与えられた答えがまったく理解できない場合、あなたはそれをあえて使用しますか?機械学習システムがより重要な分野で使用されるにつれて、なぜその出力を信頼できるのか、またどのような場合に信頼してはいけないのかを実証することがますます重要になっています。複雑なシステムの出力に対する信頼を得る方法の 1 つは、人間または他の信頼できるシステムが読み取れる、つまり、考えられるエラーが発生する可能性がある点まで完全に理解できる、その出力の解釈を生成することをシステムに要求することです。見つかった。たとえば、司法制度に対する信頼を築くために、裁判所に対し、決定を説明し裏付ける明確で読みやすい書面による意見を提供することを求めています。大規模な言語モデルの場合も、同様のアプローチを採用できます。ただし、このアプローチを採用する場合は、言語モデルが

リーマン予想の大きな進歩!陶哲軒氏はMITとオックスフォードの新しい論文を強く推薦し、37歳のフィールズ賞受賞者も参加した リーマン予想の大きな進歩!陶哲軒氏はMITとオックスフォードの新しい論文を強く推薦し、37歳のフィールズ賞受賞者も参加した Aug 05, 2024 pm 03:32 PM

最近、2000年代の7大問題の一つとして知られるリーマン予想が新たなブレークスルーを達成した。リーマン予想は、数学における非常に重要な未解決の問題であり、素数の分布の正確な性質に関連しています (素数とは、1 とそれ自身でのみ割り切れる数であり、整数論において基本的な役割を果たします)。今日の数学文献には、リーマン予想 (またはその一般化された形式) の確立に基づいた 1,000 を超える数学的命題があります。言い換えれば、リーマン予想とその一般化された形式が証明されれば、これらの 1,000 を超える命題が定理として確立され、数学の分野に重大な影響を与えることになります。これらの命題の一部も有効性を失います。 MIT数学教授ラリー・ガスとオックスフォード大学から新たな進歩がもたらされる

LLM は時系列予測にはあまり適していません。推論機能も使用しません。 LLM は時系列予測にはあまり適していません。推論機能も使用しません。 Jul 15, 2024 pm 03:59 PM

言語モデルは本当に時系列予測に使用できるのでしょうか?ベタリッジの見出しの法則 (疑問符で終わるニュース見出しは「いいえ」と答えることができます) によれば、答えは「いいえ」であるはずです。このような強力な LLM は時系列データを適切に処理できないという事実は真実のようです。時系列、つまり時系列とは、その名の通り、時間順に並べられた一連のデータ点のことを指します。時系列分析は、病気の蔓延予測、小売分析、ヘルスケア、金融などの多くの分野で重要です。時系列分析の分野では、多くの研究者が最近、大規模言語モデル (LLM) を使用して時系列の異常を分類、予測、検出する方法を研究しています。これらの論文では、テキスト内の逐次依存関係の処理に優れた言語モデルは時系列にも一般化できると想定しています。

最初の Mamba ベースの MLLM が登場しました!モデルの重み、トレーニング コードなどはすべてオープンソースです 最初の Mamba ベースの MLLM が登場しました!モデルの重み、トレーニング コードなどはすべてオープンソースです Jul 17, 2024 am 02:46 AM

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com。はじめに 近年、さまざまな分野でマルチモーダル大規模言語モデル (MLLM) の適用が目覚ましい成功を収めています。ただし、多くの下流タスクの基本モデルとして、現在の MLLM はよく知られた Transformer ネットワークで構成されています。

See all articles