3D 編集を PS と同じくらい簡単に、新しいアルゴリズム GaussianEditor により 3D シーンの追加、削除、変更を数分で完了できます

3D編集はゲームやVRなどの分野で重要な役割を果たしていますが、これまでの3D編集は長時間かかる、制御性が悪いなどの問題があり、実際のシーンへの適用が困難でした。最近、南洋理工大学、清華大学、SenseTime が新しい 3D 編集アルゴリズムである GaussianEditor を提案しました。これは、これまでの 3D 編集作業を完全に超え、2 ～ 7 分で 3D シーンの制御可能で多様な編集を初めて実現しました。

近年、3D 編集分野の研究は一般的に神経放射線分野 (NeRF) に焦点を当てています。これは、NeRF が高い忠実度で 3D シーン モデリングを実行できるだけでなく、その暗黙的な特性によってスケーラビリティが大幅に向上し、従来の点群やメッシュ手法に比べて大きな利点があるためです。ただし、NeRF はシーン データをエンコードするために高次元多層パーセプトロン ネットワーク (MLP) に依存しているため、これにも一定の制限があります。これにより、シーンの特定の部分を直接変更することが難しくなり、画像の復元やシーンの構成などのタスクが複雑になります。この複雑さはトレーニング プロセスに影響を与えるだけでなく、実際のアプリケーションでの使用も制限します。その3D表現。ガウス スプラッティングは半年前に提案された新しいタイプの 3D 表現であり、3D や 4D の再構築など多くの 3D タスクにおいて NeRF を上回り、発表されるやいなや 3D 分野で広く注目を集め、今年の 3D 分野における最大の進歩。 Gaussian Splatting には優れた見通しと可能性があり、GaussianEditor はこの 3D 表現の編集を初めて実装しました。このプロジェクトはオープンソースであり、簡単に学習して使用できる WebUI インターフェイスを提供します。

論文アドレス: https://arxiv.org/abs/2311.14521

• ホームページアドレス: https://buaacyw.github.io/gaussian-editor/
• Gaussian Splatting には効率的なレンダリング アルゴリズムがありますが、表示表現として使用されます。かなりの数の課題。大きな問題は、正確で制御可能な編集に不可欠な、編集ターゲットを正確に特定する効率的な方法が存在しないことです。さらに、安定拡散などの生成拡散モデルなど、確率性の高い生成ガイダンスを使用してガウス スプレー (GS) を最適化するには、重大な課題があることが示されています。これは、ニューラル ネットワークのバッファリングの暗黙的な表現とは異なり、GS が損失のランダム性によって直接影響を受けるためである可能性があります。この直接的な暴露により更新が不安定になり、ガウス ポイントのプロパティがトレーニング中に直接変化します。さらに、GS の各トレーニング ステップには多数のガウス ポイントの更新が含まれる場合があり、このプロセスにはニューラル ネットワーク スタイルのバッファリング メカニズムがありません。これらの問題により、GS の過度の流動性により、トレーニング中の暗黙的表現と同じくらい細かい結果への収束が妨げられます。上記の問題を解決するために、チームは最初にガウス スプラッティング (GS) の正確な制御を実現するためにガウス セマンティック トラッキングを導入しました。ガウス セマンティック トラッキングでは、トレーニング プロセス中に編集する必要があるガウス ポイントを常に特定できます。これは、静的な 2D または 3D マスクに依存することが多い従来の 3D 編集方法とは異なります。トレーニング中に 3D モデルのジオメトリと外観が変化すると、これらのマスクは徐々に無効になります。ガウス セマンティック トラッキングは、2D セグメンテーション マスクを 3D ガウス ポイントに投影し、各ガウス ポイントにセマンティック ラベルを割り当てることにより、トレーニング プロセス全体にわたる追跡を実現します。トレーニング中にガウス ポイントが変化すると、これらのセマンティック ラベルにより、特定のターゲット ガウス ポイントの追跡が可能になります。ガウス セマンティック トラッキング アルゴリズムにより、ターゲット領域のみが変更されることが保証され、正確で制御された編集が可能になります。

下図の赤い領域は追跡対象領域です。セマンティック追跡領域は、トレーニング プロセスの有効性を確保するために動的に更新されます。

さらに、ガウス スパッタリング (GS) が高度にランダムに生成されると良好な結果を達成するのが難しいという大きな課題に対処するために、GaussinEditor は新しい GS 表現である階層型ガウス スパッタリング (階層型ガウス スプラッティング) を採用しました。 、HGS）。 HGS では、ガウス ポイントは、トレーニング中の高密度化順序に基づいてさまざまな世代に編成されます。初期の緻密化プロセス中に形成されたガウス ポイントは古い世代とみなされ、元の状態を維持し、移動性を低減することを目的として、より厳しい制約が課されます。対照的に、後の段階で形成されたガウス点は、適応度を向上させるための制約が少ない、またはまったくない若い世代として扱われます。 HGS の設計は、新しい世代の柔軟性を維持しながら、古い世代に制限を課すことにより、GS のモビリティを効果的に規制します。このアプローチにより、ニューラル ネットワークを通じて実装された暗黙的表現でバッファリング関数をシミュレートし、より良い結果に向けた継続的な最適化が可能になります。

#GaussianEditor は、これに基づいてガウス スパッタリング表現の追加および削除アルゴリズムを提案しました。ターゲットの削除に関して、チームはオブジェクトとシーンの間の境界面でアーティファクトを効果的に除去する特殊なローカル修復アルゴリズムを開発しました。ターゲットの追加に関しては、GaussianEditor は、ユーザーが提供したテキスト プロンプトと 2D マスクに基づいて、指定されたターゲットを指定された領域に追加できます。 GaussianEditor はまず、2D 画像修復アルゴリズムを利用して、追加するオブジェクトの単一ビュー イメージを生成します。この画像は、Image to 3D アルゴリズムを使用して 3D GS に変換されます。最後に、ターゲットがガウス シーンに組み込まれます。

#比較実験では、GaussianEditor は、視覚的な品質、定量的な指標、制御性、生成速度の点で以前の作品を大幅に上回りました

##チームはまた、アブレーション実験を通じて、提案したガウス意味追跡と階層的ガウス表現の有効性を検証しました

#GaussianEditor 高度な 3D 編集アルゴリズムとして、3D シーンを柔軟かつ迅速に編集することに焦点を当てており、ガウス スパッタリングの編集が実装されています。初めて。

アルゴリズムの主な機能は次のとおりです。

ガウス セマンティック トラッキング

: トレーニング プロセス中に編集が必要なガウス ポイントを継続的に特定し、ターゲット領域のみが編集されるようにします。

階層型ガウス スプラッティング (HGS)

1. : これは、さまざまなトレーニング ステージで形成されたガウスを通じて、新しい GS 表現です。 GS シーンの流動性を効果的に管理し、暗黙的表現でニューラル ネットワークのバッファリング機能をシミュレートするためのポイント。 3D シーンの追加および削除アルゴリズム
2. : GaussianEditor は、GS 用に特別に 3D シーンの追加および削除アルゴリズムを開発および設計しました。シーンからシーンを削除する 特定のオブジェクトを削除または追加します。

以上が3D 編集を PS と同じくらい簡単に、新しいアルゴリズム GaussianEditor により 3D シーンの追加、削除、変更を数分で完了できますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。