Selesaikan pemetaan tekstur model 3D dengan mudah dalam 30 saat, ringkas dan cekap!

Gunakan model resapan untuk menjana tekstur untuk objek 3D Anda boleh melakukannya dalam satu ayat sahaja !

Apabila anda menaip "kerusi dengan corak geometri coklat dan hitam", model resapan akan serta-merta menambah tekstur kuno padanya, memberikannya rasa tempoh

#🎜 🎜#

AI boleh serta-merta menambah tekstur kayu terperinci pada desktop dengan imaginasi, walaupun hanya tangkapan skrin yang tidak dapat melihat rupa desktop

#🎜🎜 #Anda mesti tahu bahawa

menambah tekstur pada objek 3D

bukan semudah "menukar warna". Apabila mereka bentuk bahan, anda perlu mempertimbangkan berbilang parameter seperti kekasaran, pantulan, ketelusan, pusaran dan mekar. Untuk mereka bentuk kesan yang baik, anda bukan sahaja perlu memahami pengetahuan tentang bahan, pencahayaan, pemaparan, dsb., tetapi juga perlu melakukan ujian pemaparan berulang dan pengubahsuaian. Jika bahan berubah, anda mungkin perlu memulakan semula reka bentuk

Kandungan yang perlu ditulis semula ialah: kesan kehilangan tekstur dalam adegan permainan

# 🎜🎜#Walau bagaimanapun, tekstur yang direka menggunakan kecerdasan buatan pada masa lalu tidak sesuai dalam penampilan, jadi mereka bentuk tekstur sentiasa menjadi tugas yang memakan masa dan intensif buruh, yang juga mengakibatkan kos yang lebih tinggi#🎜🎜 #

Hong Kong University, Hong Kong Penyelidik dari China dan TCL baru-baru ini membangunkan kaedah kecerdasan buatan baharu untuk mereka bentuk tekstur objek 3D. Kaedah ini bukan sahaja dapat mengekalkan bentuk asal objek dengan sempurna, tetapi juga mereka bentuk tekstur yang lebih realistik yang sangat sesuai dengan permukaan objek

Penyelidikan ini telah dimasukkan sebagai kertas laporan lisan dalam ICCV 2023 #🎜 🎜#

Apa yang perlu kita tulis semula ialah: Apakah penyelesaian kepada masalah ini? Mari kita lihat

Gunakan model resapan untuk mendapatkan tekstur 3D dalam satu ayat

Apabila kecerdasan buatan digunakan untuk mereka bentuk tekstur 3D sebelum ini, terdapat dua jenis masalah utama# 🎜🎜 #

Tekstur yang dihasilkan tidak realistik dan mempunyai butiran terhad

Geometri objek 3D itu sendiri akan diproses khas semasa penjanaan Akibatnya, tekstur yang dihasilkan tidak sesuai dengan objek asal, dan bentuk yang pelik akan "muncul"

Oleh itu, untuk memastikan kestabilan struktur objek 3D, Sambil menjana tekstur terperinci dan realistik, penyelidikan ini mereka bentuk rangka kerja yang dipanggil

Point-UV diffusion

.

Rangka kerja ini termasuk dua modul: "Reka Bentuk Kasar" dan "Penyelesaian", kedua-duanya adalah berdasarkan

Model Resapan

, tetapi model resapan yang digunakan dalam kedua-duanya adalah berbeza . Pertama dalam modul "reka bentuk kasar", latih model resapan 3D dengan ciri bentuk

(termasuk normal permukaan, koordinat dan topeng)

sebagai keadaan input, menggunakan Untuk meramal warna setiap titik dalam bentuk objek, dengan itu menghasilkan kesan imej tekstur kasar:

Dalam modul "Penyelesaian", kami juga mereka bentuk penyebaran 2D model untuk terus menggunakan imej tekstur kasar dan bentuk objek yang dijana sebelum ini sebagai keadaan input untuk menghasilkan tekstur yang lebih halus

Ambil ini Sebab struktur reka bentuk ini ialah kos pengiraan kaedah penjanaan titik awan resolusi tinggi sebelum ini biasanya terlalu tinggi

Melalui kaedah penjanaan dua peringkat ini, bukan sahaja kos pengiraan dapat dijimatkan, tetapi kedua-dua model resapan boleh setiap satu Ia berfungsi, dan berbanding dengan kaedah sebelumnya, bukan sahaja struktur objek 3D asal dikekalkan, tetapi tekstur yang dihasilkan juga lebih halus

Bagi mengawal kesan penjanaan dengan memasukkan teks atau gambar, ia adalah # "Kredit" 🎜🎜# CLIP

.

Untuk tidak mengubah maksud asal, kandungan perlu ditulis semula ke dalam bahasa Cina. Apa yang perlu ditulis semula ialah: untuk input, penulis akan menggunakan model CLIP terlatih terlebih dahulu untuk mengekstrak vektor pembenaman teks atau imej, kemudian memasukkannya ke dalam model MLP, dan akhirnya menyepadukan syarat ke dalam "reka bentuk kasar " dan "penamat" Dalam rangkaian dua peringkat,

mengawal tekstur yang dihasilkan melalui teks dan imej untuk mencapai hasil output akhir

Oleh itu, apakah kesan pelaksanaan daripada model ini?

Kelajuan penjanaan dipendekkan daripada 10 minit kepada 30 saat

Mari kita lihat dahulu kesan penjanaan penyebaran Titik-UV

Seperti yang dapat dilihat daripada rendering, Selain meja dan kerusi, penyebaran Point-UV juga boleh menghasilkan tekstur untuk kereta dan objek lain, dengan pelbagai jenis

boleh bukan sahaja menjana tekstur berdasarkan teks: #

Anda juga boleh menjana kesan tekstur objek yang sepadan berdasarkan imej:

# 🎜🎜#

Penulis juga membandingkan kesan tekstur resapan Titik-UV dengan kaedah sebelumnya

Dengan memerhatikan carta, boleh didapati bahawa berbanding dengan model penjanaan tekstur lain seperti Texture Fields, Texturify, PVD-Tex, dll., Point -UV diffusion menunjukkan hasil yang lebih baik dari segi struktur dan kehalusan

Penulis juga menyebut bahawa di bawah konfigurasi perkakasan yang sama, berbanding Text2Mesh, ia mengambil masa 10 Minit pengiraan, resapan Titik-UV hanya mengambil masa

30 saat

.

Walau bagaimanapun, penulis juga menunjukkan beberapa had semasa penyebaran Titik-UV. Sebagai contoh, apabila terdapat terlalu banyak bahagian "berpecah" dalam peta UV, ia masih tidak dapat mencapai kesan tekstur yang lancar. Di samping itu, disebabkan pergantungan pada data 3D untuk latihan, kualiti dan kuantiti data 3D yang diperhalusi belum dapat mencapai tahap data 2D, jadi kesan yang dijana belum dapat mencapai kesan penjanaan imej 2D yang diperhalusi

#🎜 🎜##🎜 🎜#

Bagi mereka yang berminat dengan penyelidikan ini, anda boleh klik pada pautan di bawah untuk membaca kertas kerja~

Alamat kertas:

https://cvmi-lab.github.io/Point-UV-Diffusion/paper/point_uv_diffusion.pdf

Alamat projek masih dalam pembinaan ):

https://github.com/CVMI-Lab/Point-UV-Diffusion

Atas ialah kandungan terperinci Selesaikan pemetaan tekstur model 3D dengan mudah dalam 30 saat, ringkas dan cekap!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!