Gaya campuran Yang Mi dan Taylor: Xiaohongshu AI melancarkan gaya SD dan ControlNet yang sesuai

Saya harus katakan, mengambil gambar sekarang benar-benar “sangat mudah sehingga ia tidak masuk akal”.

Orang sebenar tidak perlu muncul di hadapan kamera, dan tidak perlu risau tentang posing atau gaya rambut Anda hanya perlu imej diri anda, tunggu beberapa saat, dan anda boleh mendapatkan 7 gaya yang berbeza sama sekali.

Lihat dengan teliti, bentuk/pose Semuanya dilakukan dengan jelas untuk anda, dan gambar asal terus keluar, jadi tidak perlu mengubahnya.

Sebelum ini, kita tidak boleh menghabiskan sekurang-kurangnya sehari suntuk di studio foto, yang akan membuat kita, jurugambar, dan jurusolek hampir keletihan.

Di atas adalah kuasa AI yang dipanggil InstantID.

Selain gambar realistik, ia juga boleh menjadi "bukan manusia":

Sebagai contoh, ia mempunyai kepala dan badan kucing, tetapi jika anda perhatikan dengan teliti, ia mempunyai ciri-ciri wajah anda.

Apatah lagi dengan pelbagai gaya maya:

Seperti gaya 2, orang sebenar langsung bertukar menjadi patung batu.

Sudah tentu, memasukkan patung batu juga boleh secara langsung mengubahnya menjadi:

Dengan cara ini, anda juga boleh melakukan operasi berkuasa tinggi gabungan dua muka Lihat apa 20% daripada Yang Mi + 80% Taylor kelihatan seperti:

Satu gambar mempunyai transformasi berkualiti tinggi tanpa had, tetapi anda perlu memikirkannya.

Jadi, bagaimana ini dilakukan?

Berdasarkan model resapan dan boleh disepadukan dengan lancar dengan SD

Pengarang memperkenalkan bahawa teknologi penggayaan imej semasa sudah boleh menyelesaikan tugas dengan hanya satu inferens hadapan (iaitu berdasarkan pembenaman ID).

Tetapi teknologi ini juga mempunyai masalah: sama ada ia memerlukan penalaan terperinci pelbagai parameter model, tidak mempunyai keserasian dengan model pra-latihan yang dibangunkan komuniti atau tidak dapat mengekalkan ciri-ciri wajah yang berkeyakinan tinggi.

Untuk menyelesaikan cabaran ini, mereka membangunkan InstantID.

InstantID dibina berdasarkan model penyebaran, dan modul pasang dan mainnya boleh mengendalikan pelbagai transformasi bergaya dengan hanya satu imej muka, sambil mengekalkan kesetiaan yang tinggi. Perkara yang paling penting ialah ia boleh disepadukan dengan lancar dengan model resapan terlatih teks-ke-imej yang popular

(seperti SD1.5, SDXL)

dan digunakan sebagai pemalam. Secara khusus, InstantID terdiri daripada tiga komponen utama:

(1) pembenaman ID yang menangkap maklumat wajah semantik yang mantap

(2) Modul penyesuaian ringan dengan perhatian silang yang dipisahkan, yang merupakan Imej yang mudah digunakan sebagai isyarat visual; (3) Rangkaian IdentityNet, yang mengekodkan ciri terperinci imej rujukan melalui kawalan spatial tambahan, akhirnya melengkapkan penjanaan imej.

Berbanding dengan kerja terdahulu dalam industri, InstantID mempunyai beberapa perbezaan:

Pertama, tidak perlu melatih UNet, jadi keupayaan penjanaan model teks-ke-imej asal boleh dikekalkan, dan ia adalah serasi dengan model dan model pra-latihan sedia ada dalam komuniti.

Kedua, tiada pelarasan masa ujian diperlukan, jadi untuk gaya tertentu, tidak perlu mengumpul berbilang imej untuk penalaan halus, dan hanya perlu membuat satu inferens pada satu imej.

Ketiga, selain daripada mencapai kesetiaan wajah yang lebih baik, keboleheditan teks juga dikekalkan. Seperti yang ditunjukkan dalam gambar di bawah, dengan hanya beberapa perkataan, anda boleh menukar jantina imej, menukar sut, menukar gaya rambut dan warna rambut.

Sekali lagi, semua kesan di atas boleh diselesaikan dalam beberapa saat dengan hanya 1 imej rujukan.

Seperti yang ditunjukkan dalam percubaan di bawah,

beberapa lagi gambar rujukan tidak banyak digunakan, dan seseorang boleh melakukan kerja yang baik

.

Berikut adalah beberapa perbandingan khusus.

Objek perbandingan ialah kaedah SOTA bebas penalaan sedia ada: Penyesuai IP (IPA), Penyesuai IP-FaceID, dan PhotoMaker, yang baru dihasilkan oleh Tencent dua hari lalu.

Anda dapat melihat bahawa semua orang agak "volume" dan kesannya tidak buruk - tetapi jika anda membandingkannya dengan teliti, kesetiaan PhotoMaker dan IP-Adapter-FaceID adalah baik, tetapi keupayaan kawalan teks jelas lebih teruk.

Sebaliknya, wajah dan gaya InstantID digabungkan dengan lebih baik, mencapai kesetiaan yang lebih baik sambil mengekalkan kebolehsuntingan teks yang baik.

Selain itu, terdapat juga perbandingan dengan model InsightFace Swapper yang anda rasa lebih baik? .

Tetapi satu ialah Qixun Wang dari

Little Red Book

.

Pengarang yang sepadan Wang Haofan juga seorang jurutera di Xiaohongshu Dia terlibat dalam penyelidikan tentang penjanaan kandungan yang boleh dikawal dan bersyarat (AIGC)

dan merupakan alumni CMU’20.

Atas ialah kandungan terperinci Gaya campuran Yang Mi dan Taylor: Xiaohongshu AI melancarkan gaya SD dan ControlNet yang sesuai. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!