DreamFace: Hasilkan manusia digital 3D dalam satu ayat?

Dengan perkembangan pesat sains dan teknologi hari ini, penyelidikan dalam bidang kecerdasan buatan generatif dan grafik komputer telah menjadi semakin menarik Industri seperti pengeluaran filem dan televisyen serta pembangunan permainan menghadapi cabaran dan peluang yang besar. Artikel ini akan memperkenalkan anda kepada penyelidikan dalam bidang penjanaan 3D - DreamFace, yang merupakan rangka kerja penjanaan 3D progresif berpandukan teks pertama yang menyokong penjanaan aset 3D Sedia Pengeluaran, yang membolehkan orang digital hiper-realistik 3D dipacu penjanaan teks.

Karya ini telah diterima oleh Transactions on Graphics, jurnal antarabangsa teratas dalam bidang grafik komputer, dan akan dibentangkan di SIGGRAPH 2023, persidangan antarabangsa teratas mengenai grafik komputer.

Tapak web projek: https://sites.google.com/view/dreamface

Kertas pracetak: https://arxiv.org/abs/2304.03117

Demo Web : https ://hyperhuman.top

Ruang Muka Peluk: https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

Pengenalan

Sejak penemuan hebat dalam teknologi penjanaan teks dan imej, teknologi penjanaan 3D secara beransur-ansur menjadi tumpuan penyelidikan saintifik dan industri. Walau bagaimanapun, teknologi penjanaan 3D pada masa ini di pasaran masih menghadapi banyak cabaran, termasuk isu keserasian saluran paip CG, isu ketepatan dan isu kelajuan berjalan.

Untuk menyelesaikan masalah ini, pasukan R&D dari Yingmo Technology dan Universiti Sains dan Teknologi Shanghai mencadangkan rangka kerja penjanaan 3D progresif berpandukan teks - DreamFace. Rangka kerja ini boleh menjana secara langsung aset 3D yang mematuhi piawaian pengeluaran CG, dengan ketepatan yang lebih tinggi, kelajuan larian yang lebih pantas dan keserasian saluran paip CG yang lebih baik. Artikel ini akan memperkenalkan fungsi utama DreamFace secara terperinci dan meneroka prospek aplikasinya dalam pengeluaran filem dan televisyen, pembangunan permainan dan industri lain.

Gambaran keseluruhan rangka kerja DreamFace

Rangka kerja DreamFace terutamanya merangkumi tiga modul: penjanaan geometri, Bahan berasaskan fizik penjanaan penyebaran dan penjanaan keupayaan animasi. Ketiga-tiga modul ini saling melengkapi untuk mencapai teknologi penjanaan 3D yang cekap dan boleh dipercayai.

Penjanaan geometri

Modul penjanaan geometri Tugas teras adalah untuk menghasilkan model geometri yang konsisten dengan gesaan teks. DreamFace mengguna pakai rangka kerja pemilihan berdasarkan CLIP (Contrastive Language-Image Pra-Training), yang mula-mula memilih model geometri kasar terbaik daripada calon sampel rawak dalam ruang parameter geometri muka, dan kemudian memahatnya melalui Model Resapan Tersirat (LDM) Geometri. butiran untuk menjadikan model kepala lebih konsisten dengan isyarat teks. Selain itu, rangka kerja ini juga menyokong gaya rambut dan penjanaan warna berdasarkan gesaan teks.

Penjanaan resapan bahan berasaskan fizikal

Modul penjanaan resapan bahan berasaskan fizikal direka bentuk untuk meramalkan tekstur muka yang konsisten dengan ramalan geometri dan isyarat teks. DreamFace terlebih dahulu memperhalusi LDM pra-latihan pada set data bahan UV berskala besar yang dikumpul untuk mendapatkan dua model resapan LDM. Skim latihan bersama kemudiannya digunakan untuk menyelaraskan dua proses resapan, satu untuk menafikan secara langsung peta tekstur UV dan satu lagi untuk imej yang diberikan diselia.

Untuk memastikan peta tekstur yang dibuat tidak mengandungi ciri atau situasi pencahayaan yang tidak diingini, sambil mengekalkan kepelbagaian, strategi pembelajaran kiu telah direka. Pasukan ini menggunakan dua kaedah untuk menjana peta pantulan meresap berkualiti tinggi: (1) Penalaan Segera. Tidak seperti isyarat teks khusus domain buatan tangan, DreamFace menggabungkan dua isyarat teks berterusan khusus domain Cd dan Cu dengan isyarat teks yang sepadan, yang akan dioptimumkan semasa latihan denoiser U-Net untuk mengelakkan ketidakstabilan dan penulisan gesaan manual yang memakan masa. (2) Menutup kawasan bukan muka. Proses denoising LDM akan dikekang tambahan oleh topeng bukan kawasan muka untuk memastikan peta meresap yang terhasil tidak mengandungi sebarang unsur yang tidak diingini.

Akhir sekali, tekstur berasaskan fizikal 4K dijana melalui modul resolusi super untuk pemaparan berkualiti tinggi.

Penjanaan keupayaan animasi

Model yang dihasilkan oleh DreamFace mempunyai keupayaan animasi. Hasilkan animasi diperibadikan dengan meramalkan ubah bentuk unik dan menganimasikan model Neutral yang terhasil. Pendekatan animasi muka saraf DreamFace memberikan perincian ekspresi yang lebih halus dan membolehkan persembahan yang ditangkap dengan halus berbanding pendekatan yang menggunakan BlendShapes generik untuk kawalan ekspresi.

Aplikasi dan Tinjauan

Rangka kerja DreamFace telah membuat pencapaian hebat dalam penjanaan selebriti dan penjanaan watak berdasarkan huraian. Selain itu, penyuntingan tekstur menggunakan isyarat dan lakaran disokong untuk kesan penyuntingan global seperti penuaan dan solek. Dengan menggabungkan lagi topeng atau lakaran, pelbagai kesan boleh dicipta seperti tatu, janggut, dan tanda lahir.

Rangka kerja penjanaan progresif DreamFace menyediakan penyelesaian yang berkesan kepada tugas penjanaan 3D yang kompleks dan menjanjikan lebih banyak penyelidikan dan teknologi yang serupa pembangunan. Di samping itu, penjanaan penyebaran bahan berasaskan fizikal dan penjanaan keupayaan animasi akan menggalakkan aplikasi teknologi penjanaan 3D dalam pengeluaran filem dan televisyen, pembangunan permainan dan industri lain yang berkaitan Marilah kita tunggu dan lihat perkembangan dan aplikasinya pada masa hadapan.

Atas ialah kandungan terperinci DreamFace: Hasilkan manusia digital 3D dalam satu ayat?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!