ICML 2024|複雑な組み合わせの3Dシーン生成、LLMsの会話型3D制御可能な生成・編集フレームワークが登場

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com
この論文の筆頭著者と責任著者はいずれも、北京大学王宣コンピュータ研究所の VDIG (Visual Data Interpreting and Generation) Laboratory の出身です。最初の著者は博士課程の学生、周暁宇氏、責任著者は博士指導教員の王永濤氏です。近年、VDIG ラボは、IJCV、CVPR、AAAI、ICCV、ICML、ECCV などのトップカンファレンスで数々の代表的な成果を発表しており、CV 分野のヘビー級大会で優勝および準優勝を獲得しています。国内外の著名な大学から何度も賞を受賞しており、科学研究機関とも幅広く協力しています。
近年、単一オブジェクトの Text-to-3D メソッドは一連の画期的な進歩を遂げてきましたが、テキストから制御可能で高品質で複雑なマルチオブジェクト 3D シーンを生成するには、依然として大きな課題に直面しています。以前の方法には、生成されたシーンの複雑さ、幾何学的品質、テクスチャの一貫性、マルチオブジェクトの相互作用、制御性および編集性において大きな欠陥がありました。
最近、北京大学王宣コンピュータサイエンス研究所のVDIG研究チームとその協力者は、最新の研究結果GALA3Dを発表しました。マルチオブジェクトの複雑な 3D シーンの生成のために、この研究では、複数のオブジェクトと複雑なインタラクティブな関係を含む高品質で一貫性の高い 3D シーンを生成できる、複雑な 3D シーン用の LLM ガイドによる制御可能な生成フレームワーク GALA3D を提案します。会話型インタラクションの編集者である論文は ICML 2024 に受理されました。
論文タイトル: GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting
論文リンク: https://arxiv.org/pdf/2402.07207
-
ペーパーコード: https://github.com/VDIGPKU/GALA3D
プロジェクト Web サイト: https://gala3d.github.io/
GALA3D は、高品質の Text-to-3D 複合体です。シーン生成と制御可能な編集フレームワークを組み合わせたもの。ユーザーが説明テキストを入力すると、GALA3D は複数のオブジェクトと複雑なインタラクティブな関係を備えた対応する 3 次元シーンをゼロショットで生成できます。 GALA3D は、生成された 3D シーンがテキストと高度に一致していることを保証しながら、シーンの品質、複数のオブジェクトの複雑な相互作用、およびシーンの幾何学的一貫性を生成する際に優れたパフォーマンスを発揮します。さらに、GALA3D はユーザーフレンドリーなエンドツーエンドの生成と制御された編集をサポートしており、一般ユーザーが会話の中で 3D シーンを簡単にカスタマイズおよび編集できるようになります。 GALA3D は、ユーザーとのコミュニケーションにおいて、複雑な 3D シーンの会話型の制御可能な編集を正確に実現し、複雑な 3D シーンのレイアウト変換、デジタル アセットの埋め込み、ユーザーの対話に基づく装飾スタイルの変更など、多様な制御可能な編集ニーズを実現します。
方法の紹介
GALA3D の全体的なアーキテクチャを以下の図に示します:
GALA3D は、初期レイアウトを生成するために大規模言語モデル (LLM) を使用し、構築するためのレイアウトガイドに基づく生成 3D ガウス表現を提案します。複雑な 3D シーン。 GALA3D Design は、適応ジオメトリ制御を通じて 3D ガウスの形状と分布を最適化し、一貫したジオメトリ、テクスチャ、スケール、正確なインタラクションを備えた 3D シーンを生成します。さらに、GALA3D は、条件付き拡散事前分布とヴィンセンチアン グラフ モデルを組み合わせて、一貫したスタイルを持つ 3D マルチオブジェクト シーンを共同生成すると同時に、LLM から抽出された初期レイアウト事前分布を繰り返し最適化して、より現実的で正確な実際のシーンを取得する複合最適化メカニズムも提案しています。空間レイアウト。広範な定量的実験と定性的研究により、GALA3D がテキストから複雑な 3D シーンの生成において、既存の Vincent 3D シーン手法を上回る重要な結果を達成することが実証されています。
a、LLMに基づいた事前のシーンレイアウト
대형 언어 모델은 뛰어난 자연어 이해 및 추론 기능을 보여줍니다. 이 기사에서는 복잡한 3D 장면에서 LLM 대규모 언어 모델의 추론 및 레이아웃 생성 기능을 자세히 살펴봅니다. 수동 설계 없이 상대적으로 합리적인 레이아웃을 얻는 방법은 장면 모델링 및 생성 비용을 줄이는 데 도움이 될 수 있습니다. 이를 위해 우리는 LLM(예: GPT-3.5)을 사용하여 텍스트 입력 인스턴스와 공간 관계를 추출하고 해당 레이아웃 사전을 생성합니다. 그러나 3D 공간 레이아웃과 LLM이 해석한 장면 이전의 레이아웃과 실제 장면 사이에는 일정한 차이가 있으며, 이로 인해 일반적으로 정지/통과 개체가 생성되거나 비율이 지나치게 다른 개체의 조합 등이 발생합니다. 또한, 위에서 생성된 개략적인 레이아웃을 비전 기반 Diffusion Prior 및 Layout-guided Generative 3D Gaussian을 통해 조정하고 최적화하는 Layout Refinement 모듈을 제안합니다.
b, 레이아웃 개선
GALA3D는 위의 LLM에서 생성된 레이아웃을 최적화하기 전에 확산 기반의 레이아웃 레이아웃 최적화 모듈을 사용합니다. 구체적으로 3D 생성 프로세스에 레이아웃 기반 3D 가우시안 공간 레이아웃의 그래디언트 최적화를 추가하고 ControlNet을 통해 LLM 생성 레이아웃의 공간 위치, 회전 각도 및 크기 비율을 조정했습니다. 그림은 3D 장면과 레이아웃을 보여줍니다. 최적화 후. 최적화된 레이아웃은 보다 정확한 공간 위치와 규모를 가지며 3D 장면의 여러 개체 간의 상호 작용을 보다 합리적으로 만듭니다.
c, 레이아웃 기반 생성 3D 가우스 표현
3D 가우시안 표현에 3D 레이아웃 제약 조건을 처음으로 도입하고, 복잡한 빈센트 3D 장면에 대한 레이아웃 기반 생성 3D 가우시안을 제안합니다. 레이아웃 기반 3D 가우스 표현에는 의미론적으로 추출된 여러 인스턴스 개체가 포함되어 있습니다. 여기서 각 인스턴스 개체의 레이아웃 이전은 다음과 같이 매개변수화될 수 있습니다.
여기서 N은 장면에 있는 총 인스턴스 개체 수를 나타냅니다. 구체적으로, 각 인스턴스 3D 가우시안은 적응형 형상 제어를 통해 최적화되어 인스턴스 수준 객체 3D 가우시안 표현을 얻습니다. 또한 상대 위치 관계에 따라 여러 객체 가우시안을 전체 장면으로 결합하고 레이아웃 기반 글로벌 3D 가우시안을 생성하며 글로벌 가우시안 스플래팅을 통해 전체 장면을 렌더링합니다.
d, 적응형 기하 제어
생성 과정에서 3차원 가우시안의 공간적 분포와 기하학적 형태를 더 잘 제어하기 위해 생성적 3차원 가우시안을 위한 적응형 기하 제어 방법을 제안합니다. 첫째, 초기 가우스 세트가 주어지면 레이아웃 범위 내에서 3D 가우스를 제한하기 위해 GALA3D는 밀도 분포 함수 세트를 사용하여 가우스 타원체의 공간 위치를 제한합니다. 그런 다음 분포 함수에 맞게 레이아웃 표면 근처의 가우스를 샘플링합니다. 이후, 우리는 형상 정규화를 사용하여 3D 가우시안의 기하학을 제어할 것을 제안합니다. 3D 생성 프로세스 중에 적응형 형상 제어는 가우시안의 분포와 형상을 지속적으로 최적화하여 더 많은 텍스처 디테일과 규칙적인 형상을 갖춘 3D 다중 객체 및 장면을 생성합니다. 적응형 형상 제어는 또한 레이아웃 기반 생성 3D 가우시안의 더 큰 제어 가능성과 일관성을 보장합니다.
실험 결과
기존 Text-to-3D 생성 방법과 비교하여 GALA3D는 더 나은 3D 장면 생성 품질과 일관성을 보여줍니다. 정량적 실험 결과는 다음 표에 나와 있습니다.
우리는 또한 광범위하고 효과적인 사용자 설문 조사가 실시되었으며, 참가자 125명(그 중 39.2%는 관련 분야의 전문가 및 실무자)을 초청하여 본 논문의 방법과 기존 방법의 생성 시나리오에 대한 다각적 평가를 수행했습니다. 그 결과는 다음과 같습니다. 표:
실험 결과에 따르면 장면 품질, 기하학적 충실도, 텍스트 일관성, 장면 일관성 등과 같은 다차원 평가 지표에서 GALA3D가 기존 방법을 능가하고 최적의 생성 품질을 달성하는 것으로 나타났습니다.
아래 그림의 정성적 실험 결과에서 볼 수 있듯이 GALA3D는 제로 샷에서 우수한 일관성을 유지하면서 복잡한 다중 객체 조합 3D 장면을 생성할 수 있습니다.
아래 그림은 GALA3D가 사용자 친화적인 대화형을 지원할 수 있음을 보여줍니다. 제어 가능한 생성 및 편집:
자세한 연구 내용은 원본 논문을 참조하세요.
以上がICML 2024|複雑な組み合わせの3Dシーン生成、LLMsの会話型3D制御可能な生成・編集フレームワークが登場の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック











これも Tusheng のビデオですが、PaintsUndo は別の道を歩んでいます。 ControlNet 作者 LvminZhang が再び生き始めました!今回は絵画の分野を目指します。新しいプロジェクト PaintsUndo は、開始されて間もなく 1.4kstar を獲得しました (まだ異常なほど上昇しています)。プロジェクトアドレス: https://github.com/lllyasviel/Paints-UNDO このプロジェクトを通じて、ユーザーが静止画像を入力すると、PaintsUndo が線画から完成品までのペイントプロセス全体のビデオを自動的に生成するのに役立ちます。 。描画プロセス中の線の変化は驚くべきもので、最終的なビデオ結果は元の画像と非常によく似ています。完成した描画を見てみましょう。

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com この論文の著者は全員、イリノイ大学アーバナ シャンペーン校 (UIUC) の Zhang Lingming 教師のチームのメンバーです。博士課程4年、研究者

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 人工知能の開発プロセスにおいて、大規模言語モデル (LLM) の制御とガイダンスは常に中心的な課題の 1 つであり、これらのモデルが両方とも確実に機能することを目指しています。強力かつ安全に人類社会に貢献します。初期の取り組みは人間のフィードバックによる強化学習手法に焦点を当てていました (RL

AIモデルによって与えられた答えがまったく理解できない場合、あなたはそれをあえて使用しますか?機械学習システムがより重要な分野で使用されるにつれて、なぜその出力を信頼できるのか、またどのような場合に信頼してはいけないのかを実証することがますます重要になっています。複雑なシステムの出力に対する信頼を得る方法の 1 つは、人間または他の信頼できるシステムが読み取れる、つまり、考えられるエラーが発生する可能性がある点まで完全に理解できる、その出力の解釈を生成することをシステムに要求することです。見つかった。たとえば、司法制度に対する信頼を築くために、裁判所に対し、決定を説明し裏付ける明確で読みやすい書面による意見を提供することを求めています。大規模な言語モデルの場合も、同様のアプローチを採用できます。ただし、このアプローチを採用する場合は、言語モデルが

乾杯!紙面でのディスカッションが言葉だけになると、どんな感じになるでしょうか?最近、スタンフォード大学の学生が、arXiv 論文のオープン ディスカッション フォーラムである alphaXiv を作成しました。このフォーラムでは、arXiv 論文に直接質問やコメントを投稿できます。 Web サイトのリンク: https://alphaxiv.org/ 実際、URL の arXiv を alphaXiv に変更するだけで、alphaXiv フォーラムの対応する論文を直接開くことができます。この Web サイトにアクセスする必要はありません。その中の段落を正確に見つけることができます。論文、文: 右側のディスカッション エリアでは、ユーザーは論文のアイデアや詳細について著者に尋ねる質問を投稿できます。たとえば、次のような論文の内容についてコメントすることもできます。

最近、2000年代の7大問題の一つとして知られるリーマン予想が新たなブレークスルーを達成した。リーマン予想は、数学における非常に重要な未解決の問題であり、素数の分布の正確な性質に関連しています (素数とは、1 とそれ自身でのみ割り切れる数であり、整数論において基本的な役割を果たします)。今日の数学文献には、リーマン予想 (またはその一般化された形式) の確立に基づいた 1,000 を超える数学的命題があります。言い換えれば、リーマン予想とその一般化された形式が証明されれば、これらの 1,000 を超える命題が定理として確立され、数学の分野に重大な影響を与えることになります。これらの命題の一部も有効性を失います。 MIT数学教授ラリー・ガスとオックスフォード大学から新たな進歩がもたらされる

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com。はじめに 近年、さまざまな分野でマルチモーダル大規模言語モデル (MLLM) の適用が目覚ましい成功を収めています。ただし、多くの下流タスクの基本モデルとして、現在の MLLM はよく知られた Transformer ネットワークで構成されています。

LLM に因果連鎖を示すと、LLM は公理を学習します。 AI はすでに数学者や科学者の研究を支援しています。たとえば、有名な数学者のテレンス タオは、GPT などの AI ツールを活用した研究や探索の経験を繰り返し共有しています。 AI がこれらの分野で競争するには、強力で信頼性の高い因果推論能力が不可欠です。この記事で紹介する研究では、小さなグラフでの因果的推移性公理の実証でトレーニングされた Transformer モデルが、大きなグラフでの推移性公理に一般化できることがわかりました。言い換えれば、Transformer が単純な因果推論の実行を学習すると、より複雑な因果推論に使用できる可能性があります。チームが提案した公理的トレーニング フレームワークは、デモンストレーションのみで受動的データに基づいて因果推論を学習するための新しいパラダイムです。
