Universiti Zhejiang mencadangkan teknologi SOTA baharu SIFU: hanya satu gambar boleh membina semula model badan manusia 3D berkualiti tinggi

Dalam banyak bidang seperti AR, VR, percetakan 3D, pembinaan adegan dan penghasilan filem, model 3D berkualiti tinggi badan manusia yang memakai pakaian adalah sangat penting.

Mencipta model melalui kaedah tradisional memerlukan banyak masa dan hanya boleh disiapkan oleh peralatan dan juruteknik profesional.

Sebaliknya, dalam kehidupan seharian, kita biasanya menggunakan kamera telefon bimbit atau foto potret yang terdapat pada halaman web.

Oleh itu, kaedah yang boleh membina semula model manusia 3D dengan tepat daripada satu imej boleh mengurangkan kos dengan ketara dan memudahkan proses penciptaan bebas.

Perbandingan laluan teknikal kaedah sebelumnya (kiri) dan kaedah ini (kanan)

Model pembelajaran mendalam sebelum ini yang digunakan untuk pembinaan semula badan manusia 3D selalunya memerlukan tiga langkah: mengekstrak imej, ciri 2D daripada Ciri 2D dipindahkan ke ruang 3D, dan ciri 3D digunakan untuk pembinaan semula badan manusia.

Walau bagaimanapun, kaedah ini sering mengabaikan pengenalan badan manusia sebelum dalam peringkat menukar ciri 2D kepada ruang 3D, mengakibatkan pengekstrakan ciri yang tidak mencukupi dan pelbagai kecacatan dalam hasil pembinaan semula akhir.

Perbandingan kesan pembinaan semula SIFU dan model SOTA yang lain

Selain itu, dalam peringkat ramalan tekstur, model terdahulu hanya bergantung pada pengetahuan yang dipelajari dalam set latihan dan kekurangan pengetahuan awal tentang dunia sebenar, yang sering mengakibatkan ramalan Tekstur di kawasan yang tidak kelihatan adalah lemah.

SIFU memperkenalkan pengetahuan terdahulu dalam peringkat ramalan tekstur untuk meningkatkan kesan tekstur kawasan yang tidak kelihatan (belakang, dsb.).

Dalam hal ini, penyelidik dari Makmal ReLER Universiti Zhejiang mencadangkan model SIFU, yang bergantung pada fungsi tersirat bersyarat pandangan sisi untuk membina semula model badan manusia 3D daripada satu imej.

Gambar

Alamat kertas: https://arxiv.org/abs/2312.06704

Alamat projek: https://github.com/River-Zhang/SIFU🜎

ini diluluskan dalam Ciri 2D ditukar kepada ruang 3D dan pandangan sisi badan manusia diperkenalkan sebagai keadaan priori untuk meningkatkan kesan pembinaan semula geometri. Dan model resapan yang telah terlatih diperkenalkan dalam peringkat pengoptimuman tekstur untuk menyelesaikan masalah tekstur yang lemah di kawasan yang tidak kelihatan.

Struktur model

Saluran paip model adalah seperti berikut:

Gambar

Operasi model implisit boleh dibahagikan kepada dua peringkat pertama untuk membina semula. mesh) badan manusia dan Tekstur kasar, peringkat kedua menggunakan model resapan terlatih untuk memperhalusi tekstur.

Pada peringkat pertama, pengarang mereka bentuk Transformer Penyahgandingan Pandangan Sisi yang unik Selepas mengekstrak ciri 2D melalui pengekod global, pandangan sisi badan manusia model terdahulu SMPL-X telah diperkenalkan sebagai pertanyaan dalam penyahkod. Ciri 3D tubuh manusia dalam arah yang berbeza (depan, belakang, kiri, dan kanan) dipisahkan daripada ciri 2D imej, dan akhirnya digunakan untuk pembinaan semula.

Kaedah ini berjaya menggabungkan pengetahuan sedia ada tentang tubuh manusia apabila menukar ciri 2D kepada ruang 3D, menghasilkan kesan pembinaan semula model yang lebih baik.

Di peringkat kedua, penulis mencadangkan proses Penghalusan Tekstur Konsisten 3D Pertama, kawasan yang tidak kelihatan pada tubuh manusia (tepi, belakang) boleh dibezakan kepada satu set gambar dengan sudut tontonan berterusan, dan kemudian dengan. bantuan Model resapan yang mempelajari pengetahuan terdahulu daripada data besar-besaran membolehkan pengeditan imej tekstur kasar yang konsisten untuk mendapatkan hasil yang lebih halus. Akhir sekali, peta tekstur model 3D dioptimumkan dengan mengira kehilangan daripada imej sebelum dan selepas pemurnian.

Bahagian eksperimen

Ketepatan pembinaan semula yang lebih tinggi

Dalam bahagian percubaan, pengarang menguji model mereka menggunakan set ujian yang pelbagai secara menyeluruh, termasuk CAPE-NFP, CAPE-FP dan ,THuman dengan. model SOTA pembinaan semula badan manusia imej tunggal sebelumnya yang diterbitkan dalam persidangan utama. Selepas ujian kuantitatif, model SIFU menunjukkan hasil terbaik dalam kedua-dua pembinaan semula geometri dan pembinaan semula tekstur.

Menilai secara kuantitatif ketepatan pembinaan semula geometri

Menilai secara kuantitatif kesan pembinaan semula tekstur

Gunakan gambar awam

sebagai input gambar awam

Keteguhan yang lebih kuat

Apabila model sebelumnya menggunakan data selain daripada set latihan, kerana anggaran model terdahulu badan manusia SMPL/SML-X tidak cukup tepat, hasil pembinaan semula selalunya jauh berbeza daripada imej input, menjadikannya sukar untuk memasukkannya ke dalam aplikasi praktikal.

Dalam hal ini, pengarang secara khusus menguji keteguhan model Dengan menambahkan gangguan pada parameter model terdahulu kebenaran tanah untuk mengimbangi pose, pengarang mensimulasikan anggaran SMPL-X yang tidak tepat, untuk menilai ketepatan pembinaan semula model. Keputusan menunjukkan bahawa model SIFU masih mempunyai ketepatan pembinaan semula yang terbaik dalam kes ini. .

Senario aplikasi yang lebih luas

Kesan pembinaan semula ketepatan tinggi dan berkualiti tinggi model SIFU menjadikannya sesuai untuk pelbagai senario aplikasi, termasuk pencetakan 3D, pembinaan pemandangan, penyuntingan tekstur, dsb.

SIFU bercetak 3D membina semula model badan manusia

SIFU untuk bangunan pemandangan 3D

Dengan bantuan data turutan tindakan awam , anda boleh Memacu model yang dibina semula SIFU

Ringkasan

Kertas kerja ini mencadangkan fungsi tersirat bersyarat pandangan sisi dan kaedah penyuntingan tekstur konsisten 3D, yang mengimbangi ketidakcukupan pengetahuan terdahulu yang diperkenalkan dalam kerja sebelumnya apabila menukar ciri 2D kepada 3D ramalan ruang dan tekstur. Ia sangat meningkatkan ketepatan dan kesan pembinaan semula badan manusia dalam satu gambar, memberikan model kelebihan yang ketara dalam aplikasi dunia sebenar, dan juga menyediakan idea baharu untuk penyelidikan masa depan dalam bidang ini.

Rujukan:

https://arxiv.org/abs/2312.06704

Atas ialah kandungan terperinci Universiti Zhejiang mencadangkan teknologi SOTA baharu SIFU: hanya satu gambar boleh membina semula model badan manusia 3D berkualiti tinggi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!