Ia benar-benar sangat lancar: NeuralHDHair, kaedah baharu untuk pemodelan rambut 3D, dihasilkan bersama oleh Universiti Zhejiang, ETH Zurich dan CityU

Dalam beberapa tahun kebelakangan ini, industri manusia digital maya telah meletup, dan semua lapisan masyarakat melancarkan imej manusia digital mereka sendiri. Tidak dinafikan bahawa model rambut 3D kesetiaan tinggi boleh meningkatkan realisme manusia digital maya dengan ketara. Tidak seperti bahagian badan manusia yang lain, menerangkan dan mengekstrak struktur rambut adalah lebih mencabar kerana sifat struktur rambut yang saling berjalin yang sangat kompleks, menjadikannya amat sukar untuk membina semula model rambut 3D kesetiaan tinggi dari hanya satu pandangan. Secara umumnya, kaedah sedia ada menyelesaikan masalah ini dalam dua langkah: pertama menganggar medan orientasi 3D berdasarkan peta orientasi 2D yang diekstrak daripada imej input, dan kemudian mensintesis helaian rambut berdasarkan medan orientasi 3D. Walau bagaimanapun, mekanisme ini masih mempunyai beberapa masalah dalam amalan.

Berdasarkan pemerhatian dalam amalan, penyelidik sedang mencari kaedah pemodelan model rambut automatik dan cekap sepenuhnya yang boleh membina semula model rambut 3D daripada imej tunggal dengan ciri berbutir halus (Rajah 1), sambil Menunjukkan tahap tinggi fleksibiliti, cth. membina semula model rambut hanya memerlukan satu laluan ke hadapan rangkaian.

Untuk menyelesaikan masalah ini, penyelidik dari Universiti Zhejiang, ETH Zurich, Switzerland dan City University of Hong Kong mencadangkan IRHairNet, yang melaksanakan kasar Membangunkan strategi canggih untuk menjana medan orientasi 3D kesetiaan tinggi. Khususnya, mereka memperkenalkan fungsi tersirat sejajar voxel baru (VIFu) untuk mengekstrak maklumat daripada peta orientasi 2D modul kasar. Pada masa yang sama, untuk mengimbangi butiran tempatan yang hilang dalam peta arah 2D, penyelidik menggunakan peta kecerahan resolusi tinggi untuk mengekstrak ciri tempatan dan menggabungkannya dengan ciri global dalam modul halus untuk rambut kesetiaan tinggi penggayaan.

Untuk mensintesis model rambut daripada medan berarah 3D dengan berkesan, penyelidik memperkenalkan GrowingNet, kaedah pertumbuhan rambut berdasarkan pembelajaran mendalam menggunakan perwakilan grid tersirat tempatan. Ini berdasarkan pemerhatian utama: walaupun geometri dan arah pertumbuhan rambut berbeza secara global, ia mempunyai ciri yang serupa pada skala tempatan tertentu. Oleh itu, kod pendam peringkat tinggi boleh diekstrak untuk setiap tampalan orientasi 3D tempatan, dan kemudian fungsi pendam saraf (penyahkod) dilatih untuk menumbuhkan helaian rambut di dalamnya berdasarkan kod terpendam ini. Selepas setiap langkah pertumbuhan, tampalan tempatan baharu yang berpusat pada hujung helai rambut digunakan untuk terus berkembang. Selepas latihan, ia boleh digunakan pada medan berorientasikan 3D pada sebarang resolusi.

Kertas: https://arxiv.org/pdf/2205.04175.pdf

IRHairNet dan GrowingNet membentuk teras NeuralHDHair. Khususnya, sumbangan utama penyelidikan ini termasuk:

• Memperkenalkan rangka kerja model rambut monokular automatik sepenuhnya yang prestasinya jauh lebih baik daripada kaedah SOTA sedia ada
• Memperkenalkan model kasar kepada-; rangkaian saraf pemodelan rambut halus (IRHairNet), menggunakan fungsi tersirat sejajar voxel dan peta kecerahan untuk memperkayakan butiran tempatan pemodelan rambut berkualiti tinggi
• Rangkaian pertumbuhan rambut baharu (GrowingNet) berdasarkan tersirat tempatan fungsi dicadangkan, yang boleh menjana model rambut secara cekap dengan sebarang resolusi Rangkaian ini mencapai urutan peningkatan magnitud tertentu dalam kelajuan berbanding kaedah sebelumnya.

Kaedah

Rajah 2 menunjukkan saluran paip NeuralHDHair. Untuk imej potret, peta orientasi 2Dnya terlebih dahulu dikira dan peta kecerahannya diekstrak. Selain itu, ia dijajarkan secara automatik kepada model rujukan payudara yang sama untuk mendapatkan peta kedalaman payudara. Ketiga-tiga graf ini kemudiannya disalurkan semula kepada IRHairNet.

• IRHairNet direka untuk menjana ciri geometri rambut 3D resolusi tinggi daripada satu imej. Input kepada rangkaian ini termasuk peta orientasi 2D, peta kecerahan dan peta kedalaman separuh badan yang dipasang, yang diperoleh daripada imej potret input. Output ialah medan orientasi 3D, di mana setiap voxel mengandungi arah pertumbuhan setempat dan medan penghunian 3D, di mana setiap voxel mewakili sama ada helai rambut telah melepasi (1) atau tidak (0).
• GrowingNet direka untuk menjana model rambut lengkap dengan cekap daripada medan orientasi 3D dan medan penghunian 3D yang dianggarkan oleh IRHairNet, di mana medan penghunian 3D digunakan untuk mengehadkan kawasan pertumbuhan rambut.

Untuk butiran kaedah lanjut, sila rujuk kertas asal.

Eksperimen

Dalam bahagian ini, penyelidik menilai keberkesanan dan keperluan setiap komponen algoritma melalui kajian ablasi (Bahagian 4.1), dan kemudian menggabungkan kaedah dalam kertas kerja ini Bandingkan dengan SOTA semasa (Bahagian 4.2). Butiran pelaksanaan dan lebih banyak keputusan eksperimen boleh didapati dalam bahan tambahan.

Eksperimen Ablasi

Para penyelidik menilai kesetiaan dan kecekapan GrowingNet dari kedua-dua perspektif kualitatif dan kuantitatif. Pertama, tiga set eksperimen dijalankan ke atas data sintetik: 1) algoritma pertumbuhan rambut tradisional, 2) GrowingNet tanpa pertindihan skema tampalan berpotensi, 3) model lengkap kertas ini.

Seperti yang ditunjukkan dalam Rajah 4 dan Jadual 1, berbanding dengan algoritma pertumbuhan rambut tradisional, GrowingNet dalam kertas kerja ini mempunyai kelebihan yang jelas dalam penggunaan masa sambil mengekalkan prestasi pertumbuhan yang sama dari segi kualiti visual. Di samping itu, dengan membandingkan lajur ketiga dan keempat Rajah 4, dapat dilihat bahawa jika tiada skema tampalan berpotensi bertindih, helai rambut di sempadan tampalan mungkin tidak berterusan, yang merupakan masalah apabila arah pertumbuhan rambut. helai berubah secara drastik Ia lebih serius. Walau bagaimanapun, perlu diingat bahawa penyelesaian ini meningkatkan kecekapan dengan ketara dengan mengurangkan sedikit ketepatan Meningkatkan kecekapan adalah sangat penting untuk penggunaannya yang mudah dan cekap dalam pendigitalan badan manusia.

Perbandingan dengan kaedah SOTA

Untuk menilai prestasi NeuralHDHair, penyelidik membandingkannya Perbandingan dibuat dengan beberapa kaedah SOTA [6, 28, 30, 36, 40]. Antaranya, Autohair adalah berdasarkan pendekatan dipacu data untuk sintesis rambut, manakala HairNet [40] mengabaikan proses pertumbuhan rambut untuk mencapai pemodelan rambut hujung ke hujung. Sebaliknya, [28,36] melaksanakan strategi dua langkah dengan terlebih dahulu menganggar medan orientasi 3D dan kemudian mensintesis helaian rambut daripadanya. PIFuHD [30] ialah kaedah pemodelan 3D resolusi tinggi monokular berdasarkan strategi kasar hingga halus, yang boleh digunakan untuk pemodelan rambut 3D.

Seperti yang ditunjukkan dalam Rajah 6, hasil HairNet kelihatan tidak memuaskan, tetapi butiran tempatan dan juga bentuk keseluruhan tidak konsisten dengan rambut dalam imej input. Ini kerana kaedah itu mensintesis rambut dengan cara yang mudah dan kasar, memulihkan helai rambut yang tidak teratur terus daripada satu imej.

Hasil pembinaan semula juga dibandingkan dengan Autohair[6] dan Saito[28]. Seperti yang ditunjukkan dalam Rajah 7, walaupun Autohair boleh mensintesis hasil yang realistik, ia tidak padan secara struktur dengan imej input dengan baik kerana pangkalan data mengandungi gaya rambut terhad. Keputusan Saito, sebaliknya, kekurangan butiran tempatan dan mempunyai bentuk yang tidak konsisten dengan imej input. Sebaliknya, hasil kaedah ini lebih baik mengekalkan struktur global dan butiran tempatan rambut, sambil memastikan konsistensi bentuk rambut.

PIFuHD [30] dan Dynamic Hair [36] dikhususkan untuk menganggar ciri geometri rambut 3D kesetiaan tinggi untuk menjana Model helai rambut yang realistik. Rajah 8 menunjukkan dua keputusan perbandingan yang mewakili. Dapat dilihat bahawa fungsi tersirat tahap piksel yang digunakan dalam PIFuHD tidak dapat menggambarkan sepenuhnya rambut yang kompleks, mengakibatkan hasil yang terlalu licin, tidak mempunyai butiran tempatan, malah tidak mempunyai struktur global yang munasabah. Rambut Dinamik boleh menghasilkan hasil yang lebih munasabah dengan kurang terperinci, dan aliran pertumbuhan rambut dalam keputusannya boleh memadankan imej input dengan baik, tetapi banyak butiran struktur tempatan (seperti hierarki) tidak dapat ditangkap, terutamanya untuk gaya rambut yang kompleks. Sebaliknya, kaedah kami boleh menyesuaikan diri dengan gaya rambut yang berbeza, malah struktur yang sangat kompleks, dan menggunakan sepenuhnya ciri global dan butiran tempatan untuk menjana model rambut 3D beresolusi tinggi kesetiaan tinggi dengan butiran lanjut.

​ ​

Atas ialah kandungan terperinci Ia benar-benar sangat lancar: NeuralHDHair, kaedah baharu untuk pemodelan rambut 3D, dihasilkan bersama oleh Universiti Zhejiang, ETH Zurich dan CityU. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!