Dalam operasi pengeditan imej biasa, sintesis imej merujuk kepada proses menggabungkan objek latar depan satu imej dengan imej latar belakang yang lain untuk menghasilkan imej komposit. Imej gabungan secara visual serupa dengan memindahkan objek latar depan dari satu imej ke imej latar belakang yang lain, seperti yang ditunjukkan di bawah
Sintesis imej digunakan secara meluas dalam penciptaan seni, reka bentuk poster, e-dagang, realiti maya, penambahan data dan bidang lain
Mungkin terdapat banyak masalah dalam imej komposit yang diperolehi dengan potong dan tampal ringkas. Dalam kerja penyelidikan terdahulu, sintesis imej memperoleh subtugas yang berbeza untuk menyelesaikan submasalah yang berbeza masing-masing. Pengadunan imej, sebagai contoh, bertujuan untuk menyelesaikan sempadan luar tabii antara latar depan dan latar belakang. Pengharmonian imej bertujuan untuk melaraskan pencahayaan latar depan supaya ia selaras dengan latar belakang. Pelarasan perspektif bertujuan untuk melaraskan pose latar depan supaya sepadan dengan latar belakang. Peletakan objek bertujuan untuk meramalkan lokasi, saiz dan sudut perspektif yang sesuai untuk objek latar depan. Penjanaan bayang-bayang bertujuan untuk menghasilkan bayang-bayang yang munasabah untuk objek latar depan di latar belakang
Seperti yang ditunjukkan dalam rajah di bawah, kerja penyelidikan terdahulu melaksanakan sub-tugas di atas secara bersiri atau selari untuk mendapatkan imej sintesis yang realistik dan semula jadi . Dalam rangka kerja bersiri, kami boleh melaksanakan beberapa subtugas secara terpilih mengikut keperluan sebenar
Dalam rangka kerja selari, kaedah yang popular pada masa ini ialah menggunakan model resapan. Ia menerima imej latar belakang dengan kotak sempadan latar depan dan imej objek latar depan sebagai input dan secara langsung menjana imej komposit akhir. Ini boleh menjadikan objek latar depan dan imej latar belakang digabungkan dengan lancar, kesan pencahayaan dan bayang-bayang adalah munasabah, dan postur disesuaikan dengan latar belakang
Rangka kerja selari ini adalah bersamaan dengan melaksanakan berbilang subtugas pada masa yang sama dan tidak boleh. laksanakan beberapa subtugas secara terpilih. Tugas itu tidak boleh dikawal dan mungkin membawa perubahan yang tidak perlu atau tidak munasabah pada postur atau warna objek latar depan
Apa yang perlu ditulis semula ialah:
Seterusnya, kami menunjukkan lebih banyak hasil daripada empat versi kaedah kami (0,0), (1,0), (0,1), (1,1). Dapat dilihat bahawa apabila menggunakan vektor penunjuk yang berbeza, kaedah kami boleh melaraskan secara selektif beberapa sifat objek latar depan, mengawal kesan imej komposit dengan berkesan, dan memenuhi keperluan pengguna yang berbeza.
Apa yang perlu kita tulis semula ialah: Apakah struktur model yang boleh merealisasikan empat fungsi? Kaedah kami menggunakan struktur model berikut Input model termasuk imej latar belakang dengan kotak sempadan latar depan dan imej objek latar depan. objek latar depan dan ciri tempatan, dan pertama menggabungkan ciri global dan kemudian ciri tempatan. Semasa proses gabungan tempatan, kami menggunakan peta ciri latar depan yang dijajarkan untuk modulasi ciri bagi mencapai pemeliharaan butiran yang lebih baik. Pada masa yang sama, vektor penunjuk digunakan dalam kedua-dua gabungan global dan gabungan tempatan untuk mengawal sepenuhnya sifat objek latar depan
Kami menggunakan algoritma resapan stabil yang telah terlatih untuk melatih model berdasarkan 1.9 juta imej daripada OpenImage. Untuk melatih empat subtugas secara serentak, kami mereka bentuk satu set pemprosesan data dan proses peningkatan. Untuk butiran tentang data dan latihan, sila lihat kertas kerja
Kaedah kami lebih baik untuk mengekalkan butiran latar depan Perincian, lengkapkan objek latar depan yang tidak lengkap, dan laraskan pencahayaan, postur dan penyesuaian objek latar depan ke latar belakang
Kerja ini adalah percubaan pertama untuk sintesis imej yang boleh dikawal dan masih banyak kelemahan, bagaimanapun, prestasi model tidak stabil dan cukup teguh. Di samping itu, sebagai tambahan kepada pencahayaan dan postur, sifat objek latar depan boleh diperhalusi lagi Bagaimana untuk mencapai sintesis imej terkawal yang lebih halus adalah tugas yang lebih mencabar
Untuk mengekalkan niat asal tidak berubah, ia perlu. ditulis semula Kandungannya ialah: RujukanYang, Gu, Zhang, Zhang, Chen, Sun, Chen, Wen (2023). Penyuntingan imej berasaskan contoh dan model penyebaran. Dalam CVPR
[2] Song Yongzhong, Zhang Zhi, Lin Zhilong, Cohen, S. D., Price, B. L., Zhang Jing, Jin Suying, Arriaga, D. G. 2023. ObjectStitch: Sintesis objek generatif. Dalam CVPR
Atas ialah kandungan terperinci 'Portal Kawalan Adegan: Teleportasi Objek Empat dalam satu, Dihantar & Dihasilkan Semut'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!