Kiraan bintang ControlNet melebihi 10,000! Pada tahun 2023, adakah lukisan AI akan menjadi gila?

Daripada angkasawan menunggang kuda kepada wanita tiga dimensi, lukisan AI nampaknya telah mencapai kemajuan revolusioner dalam masa kurang dari setahun.

"Angkasawan menunggang kuda" ini dilukis oleh model rajah Vincent DALL・E 2 yang dilancarkan oleh OpenAI pada bulan April 2022 . Pendahulunya, DALL・E, menunjukkan kepada orang ramai pada tahun 2021 keupayaan untuk menjana imej terus daripada teks, memecahkan dinding dimensi antara bahasa semula jadi dan penglihatan. Atas dasar ini, DALL・2 melangkah lebih jauh dan membenarkan orang ramai mengedit imej asal, seperti menambahkan corgi pada gambar. Operasi yang kelihatan mudah ini sebenarnya mencerminkan peningkatan dalam kebolehkawalan model lukisan AI.

Walau bagaimanapun, dari segi pengaruh, model rajah Vincent yang paling popular pada tahun 2022 bukanlah DALL・E 2, tetapi model lain yang mempunyai fungsi yang serupa dengannya - Resapan Stabil. Seperti DALL・E 2, Stable Diffusion juga membenarkan pencipta mengedit imej yang dijana, tetapi kelebihannya ialah model itu adalah sumber terbuka dan boleh dijalankan pada GPU gred pengguna. Oleh itu, selepas dikeluarkan pada Ogos 2022, Stable Diffusion dengan cepat menjadi popular dan menjadi model rajah Vincent paling popular dalam masa beberapa bulan sahaja.

Dalam tempoh ini, orang ramai juga menerokai pelbagai kaedah untuk mengawal model jenis ini, seperti pelepasan oleh Runway, salah satu pasukan di belakang Resapan Stabil Alat Padam dan Ganti imej yang boleh mengubah suai mana-mana bahagian imej. Apa yang pengguna perlu lakukan ialah memadamkan kawasan dan menulis penerangan bahasa semula jadi, dan program melakukan yang lain.

Penyelidik dari Google dan Boston University mencadangkan model penyebaran teks-ke-imej "diperibadikan" ​​DreamBooth​, pengguna hanya perlu menyediakan 3~5 sampel + satu ayat, dan AI boleh menyesuaikan imej foto-realistik.

Selain itu, pasukan penyelidik dari UC Berkeley turut mencadangkan kaedah baharu untuk mengedit imej berdasarkan arahan manusia ​​InstructPix2Pix​​​, model ini menggabungkan GPT-3 dan Stable Diffusion. Memandangkan imej input dan penerangan teks yang memberitahu model perkara yang perlu dilakukan, model boleh mengikut arahan penerangan untuk mengedit imej. Sebagai contoh, untuk menggantikan bunga matahari dalam lukisan dengan bunga ros, anda hanya perlu terus menyebut "ganti bunga matahari dengan bunga ros" terus kepada model.

Memasuki 2023, model yang dipanggil ControlNet telah melonjakkan fleksibiliti jenis kawalan ini ke kemuncaknya.

Idea teras ControlNet adalah untuk menambah beberapa syarat tambahan pada penerangan teks untuk mengawal model resapan (seperti Stable Diffusion), dengan itu mengawal pose, kedalaman, watak watak dengan lebih baik. dan skrin struktur imej yang dijana dan maklumat lain.

Syarat tambahan di sini ialah input dalam bentuk imej Model boleh melakukan pengesanan tepi Canny, pengesanan kedalaman, segmentasi semantik, pengesanan garis transformasi Hough dan sarang keseluruhan berdasarkan ini. pengesanan tepi (HED), pengecaman pose manusia, dsb., dan kemudian simpan maklumat ini dalam imej yang dijana. Dengan menggunakan model ini, kami boleh menukar terus lukisan garisan atau grafiti kepada imej berwarna penuh, menjana imej dengan struktur kedalaman yang sama, dsb., dan mengoptimumkan penjanaan tangan watak melalui mata kunci tangan.

Model ini telah mencipta gelombang besar dalam bidang lukisan AI, dan bilangan bintang GitHub untuk projek berkaitan telah melebihi 10,000.

Pautan projek: https://github.com/lllyasviel/ControlNet

Walaupun ramai orang pada masa ini hanya menggunakannya untuk menjana wanita dua dimensi dan tiga dimensi, kegunaannya yang lebih luas secara beransur-ansur ditemui, seperti reka bentuk rumah, fotografi, penerbitan filem dan televisyen serta reka bentuk pengiklanan . Dalam senario ini, ControlNet digunakan bersama beberapa alatan sebelumnya, seperti LoRA untuk menangani masalah penalaan halus model besar, alat penukaran video-ke-animasi EbSynth, dsb. Aplikasi gabungan alat ini mempercepatkan penyepaduan model lukisan AI ke dalam proses pengeluaran.

Reka bentuk semula dalaman anda dengan alatan seperti ControlNet dan EbSynth. Sumber imej: https://creativetechnologydigest.substack.com/p/controlling-artistic-chaos-with-controlnet (tutorial lengkap disertakan)

​Gunakan alat ControlNet dan Houdini untuk menjana model 3D. Sumber imej: https://www.reddit.com/r/StableDiffusion/comments/115eax6/im_working_on_api_for_the_a1111_controlnet/

Gunakan Dreambooth dan ControlNet untuk menukar pencahayaan imej 2D, yang boleh digunakan untuk pasca pengeluaran foto dan video. Sumber imej: ​https://www.reddit.com/r/StableDiffusion/comments/1175id9/when_i_say_mindblowing_i_mean_it_new_experiments/​

​

Gunakan ControlNet dan EbSynth untuk menukar animasi kepada orang sebenar. Walaupun hasilnya masih belum begitu baik, ia telah menunjukkan potensi untuk mengadaptasi anime ke dalam aksi langsung tanpa memerlukan pelakon untuk muncul. Sumber imej https://www.reddit.com/r/StableDiffusion/comments/117ewr9/anime_to_live_action_with_controlnet_ebsynth_not/​

Seseorang menggunakan ControlNet untuk menjana "logo baharu" jenama terkenal itu. Sumber imej: https://twitter.com/fofrAI/status/1628882166900744194

Selain kejutan, kemajuan teknologi ini juga mengejutkan pengamal dalam melukis dan bidang lain Jatuh dalam kebimbangan dan kemarahan. Kebimbangannya ialah AI boleh mengambil alih kerja anda. Marah, kebanyakan imej yang dihasilkan oleh AI adalah plagiarisme dan tiruan pelukis semasa, dan hak harta intelek pelukis telah dilanggar.

Sumber imej: https://www.zhihu.com/question/583294094

Dengan masalah ini yang masih belum diselesaikan, lukisan AI telah menjadi masalah akut dalam kalangan pelukis. Ramai orang percaya bahawa setiap orang harus memboikot lukisan AI dan bersama-sama mempertahankan hak mereka. Oleh itu, apabila berita tersebar bahawa artis terkenal disyaki menggunakan lukisan AI untuk menyumbang kepada studio permainan, artis lain benar-benar marah.

Pemain juga marah. Oleh kerana masih terdapat beberapa batasan dalam lukisan AI pada masa ini, seperti tidak dapat mengendalikan butiran tangan dengan baik (anda boleh melihat ini jika anda melihat dengan teliti pada gadis itu dalam gambar pertama artikel ini), ia tidak dapat memenuhi keperluan pemain untuk kesan visual yang indah, watak dengan personaliti dan kreativiti, dsb. , ramai pemain berasa "diperdayakan". Oleh itu, studio permainan yang disebutkan di atas hanya boleh mengeluarkan kenyataan kecemasan yang mengatakan bahawa "ia tidak akan menggunakan lukisan AI dalam produknya."

Tetapi berapa lama ini akan bertahan? Apabila tahap lukisan AI mencapai tahap yang sukar untuk dibezakan dengan mata kasar, bagaimana anda tahu sama ada permainan yang anda mainkan adalah daripada artis atau AI, atau "pasukan" yang terdiri daripada kedua-duanya?

Sumber imej: https://m .weibo.cn/2268335814/4870844515358190

Mungkin dalam beberapa bulan, alatan lukisan AI akan menjadi seperti Copilot yang digunakan oleh pengaturcara dan menjadi penting untuk kerja harian pelukis Beberapa alat. Sudah tentu, ini juga secara maya meningkatkan tahap untuk industri ini, sama seperti industri lain yang telah "diserang" oleh AI. Bagaimana untuk mengekalkan daya saing seseorang dalam gelombang sedemikian mungkin menjadi persoalan yang semua orang harus fikirkan.

Atas ialah kandungan terperinci Kiraan bintang ControlNet melebihi 10,000! Pada tahun 2023, adakah lukisan AI akan menjadi gila?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!