Teknologi kesan khas 'muka kartun' yang digunakan oleh lebih 9 juta orang di Douyin didedahkan

Mengenai permainan kesan khas, keupayaan Douyin untuk "melakukan semua kerja" sentiasa jelas kepada semua. Baru-baru ini, kesan khas "muka kartun" telah menjadi tumpuan. Tidak kira lelaki, wanita atau kanak-kanak, selepas menggunakan kesan istimewa ini, mereka akan kelihatan segak dan comel seperti watak-watak yang keluar dari animasi Disney. Sebaik sahaja "Wajah Kartun" dilancarkan, ia dengan cepat ditapai pada Douyin dan amat digemari oleh pengguna "Transformasi satu klik menjadi wajah kartun yang tinggi dan manis", "Semua puteri buruan di Douyin ada di sini", "Pamerkan bayi anda. dengan gaya wajah kartun", "Tempat panas Berkaitan Putera seperti "Tarian Gerak Isyarat Puteri Sebarkan Gula" dan "Merakam Momen Kegagalan Sihir Dongeng" sentiasa berkembang Antaranya, "Semua puteri buruan dari Douyin ada di sini" dan ". Menangkap Momen Kegagalan Sihir Dongeng" bahkan telah muncul dalam senarai hangat kebangsaan Douyin. Pada masa ini, bilangan pengguna kesan khas ini telah melebihi 9 juta.

"Wajah kartun" ialah kesan khas gaya 3D Kesukaran dalam pembangunan kesan khas jenis ini adalah disebabkan terutamanya oleh kesukaran mendapatkan data latihan CG yang pelbagai, kesukaran dalam. memulihkan ekspresi terang, dan kesukaran dalam kesesuaian realistik Sukar untuk mencapai cahaya dan bayang-bayang kulit tiga dimensi, dan sukar untuk mempelajari ubah bentuk GAN yang berlebihan. Dalam hal ini, pasukan penciptaan pintar ByteDance telah menumpukan pada pengoptimuman terobosan ke arah penggayaan 3D, yang bukan sahaja menyelesaikan semua masalah di atas, tetapi juga mencetuskan satu set penyelesaian teknikal sejagat.

Inovasi dalam proses R&D di sebalik "Cartoon Face"

Pada masa lalu, 3D yang lengkap penggayaan Proses penyelidikan dan pembangunan dibahagikan kepada modul berikut:

Kumpulkan beberapa gambar gaya asal -> Latih model besar StyleGan -> Jana data berpasangan -> Pilih pasangan yang tersedia secara manual data + Pengoptimuman Graf P Pereka -> latih model kecil p2p, dan kemudian ulangi.

Masalah dengan proses P&P tradisional sangat jelas: kitaran lelaran yang panjang, penyertaan pereka yang lemah dan Kerpasan yang tidak mudah dan guna semula.

Dalam penyelidikan dan pembangunan kesan khas "muka kartun", pasukan penciptaan pintar ByteDance mengguna pakai proses penyelidikan dan pembangunan yang inovatif :

Bermula daripada pereka bentuk mencipta kesan gaya sasaran, pereka bentuk menyediakan beberapa bahan seni 3D mengikut keperluan yang dipersetujui oleh algoritma, dan kemudian pasukan penciptaan pintar ByteDance menggunakan perisian DCC untuk batch menghasilkan beberapa data CG yang pelbagai Semasa proses pemaparan, pasukan teknikal memperkenalkan teknologi AIGC yang paling popular buat kali pertama untuk meningkatkan data, kemudian menggunakan GAN untuk mensintesis data berpasangan yang diperlukan untuk latihan, dan akhirnya menggunakan yang dibangunkan sendiri model pix2pix ubah bentuk untuk latihan untuk mendapatkan kesan akhir.

Carta alir R&D “Muka Kartun” oleh ByteDance Smart Creation Team

Seperti yang dapat dilihat dari pautan proses, kaedah ini sangat mengurangkan kitaran lelaran, meningkatkan tahap automasi, dan membolehkan pereka mempunyai tahap penyertaan yang lebih tinggi. kitaran dikurangkan daripada 6 bulan kepada 1 bulan, dan penyelesaiannya lebih mudah untuk dikumpulkan dan digunakan semula.

Bagaimanakah kesan khas "muka kartun" direka?

Kini, semakin banyak kesan khas transformasi di media sosial, dan orang ramai memberi perhatian yang lebih dan lebih. kepada kesan khas. Estetika dan ketepatan, untuk membolehkan pengguna mencapai kesan transformasi yang digayakan dengan lebih baik, pereka kesan khas Douyin telah meneliti dengan teliti, digabungkan dengan gaya animasi popular, dan secara inovatif mereka bentuk satu set kesan khas wajah kartun untuk membolehkan pengguna untuk Anda boleh mengalami gaya watak seperti animasi dan fleksibel, dan pada masa yang sama memenuhi keperluan pengguna untuk menjadi lebih cantik dan kacak.

Pereka kesan khas Douyin menjalankan penyelidikan mendalam tentang kesan khas transformasi sedia ada di pasaran dan mendapati kesan khas sedia ada mempunyai masalah seperti gaya tidak mencukupi, ekspresi berlebihan yang tidak mencukupi dan kesan pencahayaan realistik yang tidak mencukupi. Oleh itu, pereka kesan khas Douyin mereka bentuk semula gaya wajah kartun berdasarkan estetika domestik, membesar-besarkan bahagian muka lelaki dan wanita, dan membina semula mereka menjadi "perempuan" dengan muka bulat comel dan ciri muka pintar, dan "lelaki" dengan lasak, panjang. muka dan ciri kacak. Dalam proses ini, pereka bentuk mengekalkan rambut pengguna sendiri, meningkatkan gebu dan berkilat rambut, dan menjadikannya lebih semula jadi untuk digabungkan dengan wajah kartun Kulit bertekstur kartun juga menggabungkan butiran kulit pengguna sendiri, menjadikan kesan khas lebih semula jadi ciri-ciri pengguna yang lebih diperibadikan.

Selain itu, pereka kesan khas Douyin juga mentakrifkan tekstur cahaya dan bayang di bawah pencahayaan yang berbeza untuk memenuhi keperluan pemulihan pencahayaan dalam adegan yang kompleks, menjadikan kartun wajah lebih tiga- berdimensi dan semula jadi, menyepadukan ke dalam kehidupan seharian Tiada salahnya mengambil swafoto. Akhirnya, pereka bentuk juga mencipta ekspresi muka simbolik yang dibesar-besarkan, menggunakan teknologi tangkapan muka untuk menjana data CG ekspresi muka untuk aset manusia digital, dan terus menambah baik data latihan dan algoritma untuk menghasilkan kesan ekspresi yang dapat memaparkan personaliti pengguna dengan lebih jelas.

Strim data sintesis CG binaan sendiri, data latihan berkualiti tinggi boleh digunakan semula

Sumber data latihan untuk kesan khas gaya 3D bergantung pada CG berkualiti tinggi rendering data, dan adalah Kepelbagaian keperluan pengedaran data adalah agak tinggi Pada masa yang sama, pemodelan manual aset 3D juga merupakan proses yang sangat memerlukan tenaga kerja, dan kebolehgunaan semula selalunya tidak mencukupi menghasilkan sekumpulan aset 3D Pada akhir projek Ia kemudiannya ditinggalkan sepenuhnya.

Kali ini, pasukan kreatif pintar ByteDance telah membina satu set aliran kerja data sintesis CG yang universal dan mudah dikembangkan.

Carta Aliran aliran data sintesis CG Pasukan Penciptaan Pintar ByteDance

Aliran kerja aliran data sintetik ini adalah seperti berikut:

1 Menjana aset digital secara terprogram melalui Houdini, mencubit muka secara terprogram, mengikat tulang dan melaraskan Berat, dsb. ., untuk mewujudkan perpustakaan aset model manusia digital yang realistik.

Aset digital 3D yang pelbagai

2. Bina templat USD melalui Houdini's Solaris, dan gabungkan aset seperti rambut, rambut, model kepala, pakaian, pekali ekspresi, dsb. import rujukan USD.

Sampel peta kulit

Sampel peta Iris

3. Gunakan PDG Houdini untuk mengubah suai aset, sudut kamera, persekitaran pencahayaan, dsb Gabungan rawak. Gunakan PDG untuk mengawal item kerja untuk mengawal pengedaran data dengan tepat.

Graf nod PDG automatik

Sejak proses penyelidikan dan pembangunan memerlukan kerap menyediakan sejumlah besar data pemaparan untuk lelaran kesan, ini memerlukan banyak kos kuasa pengkomputeran dan masa menunggu pemaparan. Sebelum ini, untuk kesan khas "Transformasi Ajaib" Douyin, pasukan membelanjakan berjuta-juta menggunakan ladang luaran untuk pemaparan data. Untuk kesan khas "muka kartun", pasukan bergantung pada infrastruktur pepejal platform awan ByteDance Volcano Engine untuk mengurangkan kos kuasa pengkomputeran dengan banyak.

Pasukan penciptaan pintar ByteDance telah membina platform ladang rendering yang dibangunkan sendiri dengan merujuk kepada proses industri filem dan televisyen. Ia boleh membahagikan tugas luar talian kepada beberapa mesin pemaparan untuk pemprosesan selari. Melalui platform pencerminan Enjin Volcano untuk pengehosan imej, platform pengumpulan sumber untuk aplikasi dan keluaran sumber, kluster cpu/gpu untuk pengembangan dinamik dan pengecutan kontena, dan penggunaan nas untuk pengurusan aset, ladang rendering mempunyai pengembangan satu klik daripada beribu-ribu nod pemaparan Keupayaan untuk mengira dengan cekap.

Berdasarkan ini, pasukan penciptaan pintar ByteDance memperibadikan logik pemprosesan tugasan tunggal, termasuk pra-pemprosesan, pemaparan enjin, pasca pemprosesan dan langkah-langkah lain. Dan secara dinamik mengembangkan/mengecilkan saiz kluster pada bila-bila masa mengikut keperluan untuk memaksimumkan penggunaan sumber pengkomputeran.

Untuk meningkatkan lagi kecekapan dan memudahkan pereka bentuk menyertai pengoptimuman kesan, pasukan teknikal turut mencipta applet Feishu untuk digunakan oleh pereka, yang boleh mencetuskan proses automatik dalam awan melalui Feishu Untuk mengulangi kesan seni, selepas tugas awan selesai, mesej akan dihantar semula kepada Feishu untuk dilihat oleh pereka, yang meningkatkan kecekapan kerja pereka.

Pada masa yang sama, pasukan kreatif pintar ByteDance telah menyesuaikan pemacu acara (EventTrigger) dan API untuk menyambungkan ladang, platform Feishu dan platform desktop awan untuk memaksimumkan konsep Semua dalam satu. Ini membolehkan pereka bentuk dan jurutera melengkapkan penyelidikan dan pembangunan kolaboratif dengan lebih mudah berdasarkan Feishu dan Cloud Desktop.

Platform ladang rendering yang dibangunkan sendiri

AIGC Baharu Aplikasi Teknologi

Dengan kemunculan DALL・E, Pasukan Penciptaan Pintar Bytedance memulakan susulan dan perancangan teknologi berkaitan pada awal tahun 2021. Pasukan Penciptaan Pintar Bytedance membangunkan sumber terbuka Stable Diffusion model Atas dasar itu, satu set data dengan volum data satu bilion telah dibina dan dua model telah dilatih Salah satunya ialah model resapan tujuan umum, yang boleh menghasilkan gambar dalam gaya lukisan minyak dan lukisan dakwat lain ialah Model Resapan gaya animasi.

Tidak lama dahulu, kesan khas "lukisan AI" yang disokong oleh pasukan penciptaan pintar ByteDance menjadi popular di Douyin, menggunakan teknologi baharu ini. Kali ini pada "Wajah Kartun" Douyin, pasukan teknikal meneroka keupayaan Model Resapan untuk menjana gaya kartun 3D dan menggunakan strategi penjanaan gambar, mereka mula-mula menambahkan bunyi pada gambar, dan kemudian menggunakan model graf Vincentian yang terlatih daripada teks. Berdasarkan model Stable Diffusion yang telah dilatih, masukkan imej hasil gaya 3D sasaran yang dijana oleh GAN yang sepadan dengan imej orang sebenar, dan bimbing gaya sasaran lebih dekat ke arah yang dikehendaki melalui set kata kunci teks yang ditala halus keputusan digunakan sebagai data akhir dan diserahkan kepada model GAN ​​seterusnya untuk pembelajaran.

Model GAN ​​ubah bentuk yang dibangunkan sendiri

Memandangkan gaya sasaran "muka kartun" Douyin mempunyai ubah bentuk yang besar berbanding dengan potret asal, ia adalah sukar untuk digunakan secara langsung rangka kerja p2p tradisional Untuk mencapai hasil latihan berkualiti tinggi, pasukan penciptaan pintar ByteDance telah membangunkan sendiri satu set rangka kerja latihan GAN ubah bentuk p2p, yang mempunyai kesan yang baik dalam melatih sasaran kartun ubah bentuk besar dan gaya kuat. Rangka kerja latihan ubah bentuk yang dibangunkan sendiri oleh pasukan penciptaan pintar ByteDance terdiri daripada dua bahagian:

1. Latihan awal yang digayakan untuk mengekstrak maklumat bergaya muka kartun. Pasukan teknikal membina rangka kerja latihan tidak berpasangan untuk gabungan interaktif maklumat gaya Dengan memasukkan set data muka orang sebenar dan kartun ke dalam rangka kerja, maklumat bergaya muka kartun boleh diekstrak. Rangka kerja ini ialah rangka kerja latihan hujung ke hujung yang merangkumi pengekodan ciri yang digayakan, gabungan ciri, latihan pembinaan semula dan latihan awal yang digayakan Selepas latihan selesai, maklumat bergaya muka kartun diperoleh untuk langkah latihan yang diperhalusi.

2. Mengintegrasikan maklumat bergaya wajah kartun dan menjalankan latihan yang tepat. Maklumat gaya muka kartun yang diperolehi dalam langkah pertama termasuk maklumat seperti gaya dan ubah bentuk Bahagian maklumat ini disepadukan ke dalam imej orang sebenar untuk latihan yang diperhalusi berkaitan P2P digunakan untuk latihan berpasangan latihan menumpu, model muka kartun diperolehi.

Berdasarkan penyelesaian teknikal yang inovatif di atas, "Wajah Kartun" Douyin bukan sahaja memudahkan pautan kejuruteraan dan meningkatkan kecekapan lelaran dengan banyak, tetapi juga meningkatkan sudut besar, ekspresi kaya, pemulihan gaya kesan, ketekalan cahaya dan bayang-bayang, dan berbilang warna kulit. Kesan pengoptimuman yang jelas telah dicapai dalam aspek seperti padanan. Difahamkan bahawa pasukan penciptaan pintar ByteDance yang bertanggungjawab untuk projek "Muka Kartun" telah memfokuskan pada pengoptimuman terobosan ke arah penggayaan 3D sejak 2021. Penyelesaian teknikal ini telah menyokong pelbagai kesan khas gaya 3D dan mencapai hasil yang popular pada platform.

Mengenai Pasukan Penciptaan Pintar Bytedance: ​

Pasukan Penciptaan Pintar ialah Bytedance AI & Teknologi Multimedia Platform tengah menyokong banyak barisan produk dalam syarikat seperti Douyin, Jianying, dan Toutiao dengan membina teknologi terkemuka seperti penglihatan komputer, penyuntingan audio dan video, dan pemprosesan kesan khas pada masa yang sama, ia menyediakan rakan kongsi ToB luaran dengan penciptaan pintar yang terkemuka di industri keupayaan melalui Enjin Gunung Berapi dan penyelesaian industri.

Atas ialah kandungan terperinci Teknologi kesan khas 'muka kartun' yang digunakan oleh lebih 9 juta orang di Douyin didedahkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!