Jadikan penyuntingan 3D semudah PS, algoritma baharu GaussianEditor boleh melengkapkan penambahan, pemadaman dan pengubahsuaian adegan 3D dalam beberapa minit

Suntingan 3D memainkan peranan penting dalam bidang seperti permainan dan realiti maya Walau bagaimanapun, pengeditan 3D sebelumnya mengalami masalah seperti penggunaan masa yang lama dan kebolehkawalan yang lemah, menjadikannya sukar untuk digunakan pada adegan sebenar. Baru-baru ini, Universiti Teknologi Nanyang, Universiti Tsinghua dan SenseTime mencadangkan algoritma pengeditan 3D baharu, GaussianEditor, yang buat pertama kalinya mencapai pengeditan adegan 3D yang boleh dikawal dan dipelbagaikan dalam masa 2-7 minit, mengatasi sepenuhnya kerja penyuntingan 3D sebelumnya.

Dalam beberapa tahun kebelakangan ini, penyelidikan dalam bidang penyuntingan 3D secara amnya tertumpu pada medan sinaran saraf (NeRF). Ini kerana NeRF bukan sahaja boleh melakukan pemodelan pemandangan 3D dengan tahap realisme yang tinggi, tetapi ciri tersiratnya sangat meningkatkan kebolehskalaan, yang mempunyai kelebihan ketara berbanding kaedah awan titik dan mesh tradisional. Walau bagaimanapun, NeRF bergantung pada rangkaian perceptron berbilang lapisan (MLP) berdimensi tinggi untuk mengekod data pemandangan, yang turut membawa had tertentu. Ia menyukarkan untuk mengubah suai bahagian tertentu adegan secara langsung dan meningkatkan kerumitan tugas seperti pemulihan imej dan komposisi pemandangan. Kerumitan ini bukan sahaja menjejaskan proses latihan, tetapi juga mengehadkan penggunaannya dalam aplikasi praktikal

GaussianEditor Untuk menyelesaikan masalah di atas, ia mengambil pendekatan baharu dan memilih Gaussian sputtering sebagai perwakilan 3Dnya. Gaussian Splatting ialah jenis perwakilan 3D baharu yang dicadangkan setengah tahun lalu Perwakilan ini telah mengatasi NeRF dalam banyak tugasan 3D seperti pembinaan semula 3D dan 4D Ia telah menarik perhatian meluas dalam bidang 3D sebaik sahaja ia dilancarkan dan merupakan salah satu daripadanya kejayaan terbesar dalam bidang 3D tahun ini. Gaussian Splatting mempunyai prospek dan potensi yang sangat baik, dan GaussianEditor ialah yang pertama melaksanakan penyuntingan perwakilan 3D ini. Projek ini adalah sumber terbuka dan menyediakan antara muka WebUI untuk pembelajaran dan penggunaan yang mudah.

• Paper Alamat: https://arxiv.org/abs/2311.14521
• home Halaman Alamat: https://buaacyw.github.io/gaussian-editor/

although Gaussian Gaussian Splatting mempunyai algoritma pemaparan yang cekap, tetapi penyuntingannya sebagai perwakilan paparan memberikan cabaran yang besar. Masalah utama ialah kekurangan kaedah yang cekap untuk mengenal pasti sasaran penyuntingan dengan tepat, yang penting untuk penyuntingan yang tepat dan boleh dikawal. Tambahan pula, telah ditunjukkan bahawa terdapat cabaran yang ketara dalam mengoptimumkan penyemburan Gaussian (GS) menggunakan panduan generatif yang sangat stokastik, seperti model resapan generatif seperti Resapan Stabil. Ini mungkin kerana GS dipengaruhi secara langsung oleh rawak dalam kerugian, tidak seperti perwakilan tersirat penimbalan rangkaian saraf. Pendedahan langsung ini membawa kepada kemas kini yang tidak stabil dan sifat mata Gaussian berubah secara langsung semasa latihan. Di samping itu, setiap langkah latihan GS mungkin melibatkan pengemaskinian sejumlah besar mata Gaussian, dan proses ini tidak mempunyai mekanisme penimbalan gaya rangkaian saraf. Masalah ini akan membawa kepada kecairan GS yang berlebihan dan menghalang penumpuannya kepada hasil yang baik seperti perwakilan tersirat dalam latihan

Untuk menyelesaikan masalah di atas, pasukan mula-mula memperkenalkan penjejakan semantik Gaussian untuk melengkapkan Gaussian Splatting (GS ) kawalan yang tepat. Penjejakan semantik Gaussian sentiasa boleh mengenal pasti titik Gaussian yang perlu diedit semasa proses latihan. Ini berbeza daripada kaedah pengeditan 3D tradisional, yang selalunya bergantung pada topeng 2D atau 3D statik. Apabila geometri dan rupa model 3D berubah semasa latihan, topeng ini beransur-ansur menjadi tidak berkesan. Penjejakan semantik Gaussian mencapai penjejakan sepanjang proses latihan dengan menayangkan topeng segmentasi 2D pada titik Gaussian 3D dan memberikan label semantik kepada setiap titik Gaussian. Apabila mata Gaussian berubah semasa latihan, label semantik ini membolehkan penjejakan titik Gaussian sasaran tertentu. Algoritma penjejakan semantik Gaussian memastikan bahawa hanya kawasan sasaran diubah suai, membolehkan pengeditan yang tepat dan terkawal.

Kawasan merah dalam gambar di bawah adalah kawasan sasaran yang dijejaki Kawasan pengesanan semantik akan dikemas kini secara dinamik dengan proses latihan untuk memastikan keberkesanannya.

Selain itu, untuk menangani cabaran utama Gaussian Splatting (GS) yang sukar untuk mencapai hasil yang baik apabila ia dijana secara rawak, GaussinEditor menggunakan perwakilan GS baharu: Hierarchical Gaussian Splatting , HGS). Dalam HGS, mata Gaussian disusun ke dalam generasi yang berbeza berdasarkan susunan ketumpatannya semasa latihan. Titik Gaussian yang terbentuk semasa proses ketumpatan awal dianggap sebagai generasi yang lebih tua, dan ia tertakluk kepada kekangan yang lebih ketat dengan tujuan untuk mengekalkan keadaan asalnya dan mengurangkan mobilitinya. Sebaliknya, mata Gaussian yang terbentuk pada peringkat seterusnya dianggap sebagai generasi muda, tertakluk kepada kurang atau tiada kekangan untuk meningkatkan kecergasan mereka. Reka bentuk HGS mengawal selia mobiliti GS dengan berkesan dengan mengenakan sekatan ke atas generasi lama sambil mengekalkan fleksibiliti generasi baharu. Pendekatan ini memungkinkan untuk terus mengoptimumkan ke arah hasil yang lebih baik, mensimulasikan fungsi penimbalan dalam perwakilan tersirat yang dilaksanakan melalui rangkaian neural

GaussianEditor deraditional yang dicadangkan untuk algoritma GaussianEditor dan Splash ini perwakilan. Dari segi pemadaman sasaran, pasukan membangunkan algoritma pembaikan tempatan khusus yang secara berkesan menghapuskan artifak pada antara muka antara objek dan tempat kejadian. Dari segi menambah sasaran, GaussianEditor boleh menambah sasaran tertentu pada kawasan tertentu berdasarkan gesaan teks dan topeng 2D yang disediakan oleh pengguna. GaussianEditor mula-mula menjana imej paparan tunggal bagi objek yang akan ditambah dengan bantuan algoritma Inpainting imej 2D. Imej ini kemudiannya ditukar kepada GS 3D menggunakan algoritma Imej kepada 3D. Akhirnya, sasaran dimasukkan ke dalam adegan Gaussian.

Dalam eksperimen perbandingan, GaussianEditor mengatasi kerja sebelumnya dengan ketara dari segi kualiti visual, penunjuk kuantitatif, kebolehkawalan dan kelajuan penjanaan

yang disahkan melalui pasukan yang berkesan

daripada mereka penjejakan semantik Gaussian yang dicadangkan dan perwakilan Gaussian hierarki

GaussianEditor, sebagai algoritma penyuntingan 3D lanjutan, memfokuskan pada pengeditan adegan 3D sputter secara fleksibel dan pantas, dan untuk Editor Gaussian sputter kali pertama

Ciri utama algoritma ini termasuk:

1. Penjejakan semantik Gaussian: Ia boleh terus mengenal pasti mata Gaussian yang perlu diedit semasa proses latihan, memastikan hanya bahagian sasaran yang diedit.
2. Hierarki Gaussian Splatting (HGS): Ini ialah perwakilan GS baharu yang menguruskan kecairan adegan GS dengan berkesan dengan mewujudkan struktur hierarki antara titik Gaussian yang terbentuk dalam peringkat latihan yang berbeza, dan mensimulasikan fungsi penampan saraf rangkaian dalam perwakilan tersirat.
3. Algoritma penambahan dan pemadaman pemandangan 3D: GaussianEditor telah membangunkan dan mereka bentuk algoritma penambahan dan pemadaman pemandangan 3D untuk GS dengan cekap, yang boleh mengalih keluar atau menambah objek tertentu dari tempat kejadian dengan cekap.

Atas ialah kandungan terperinci Jadikan penyuntingan 3D semudah PS, algoritma baharu GaussianEditor boleh melengkapkan penambahan, pemadaman dan pengubahsuaian adegan 3D dalam beberapa minit. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!