Keluarkan kelipan video dengan satu klik, kajian ini mencadangkan rangka kerja umum

Kertas kerja ini berjaya mencadangkan kaedah penyahkelipan universal pertama yang menghapuskan pelbagai artifak kelipan tanpa memerlukan bimbingan atau pemahaman tambahan tentang kelipan.

Video berkualiti tinggi biasanya konsisten mengikut masa, tetapi banyak video akan mempamerkan kelipan atas pelbagai sebab. Sebagai contoh, kecerahan filem lama boleh menjadi sangat tidak stabil disebabkan oleh kualiti buruk beberapa perkakasan kamera lama dan ketidakupayaan untuk menetapkan masa pendedahan kepada yang sama untuk setiap bingkai. Selain itu, kamera berkelajuan tinggi dengan masa pendedahan yang sangat singkat boleh menangkap perubahan frekuensi tinggi (mis., 60 Hz) dalam pencahayaan dalaman.

Kelipan mungkin berlaku apabila menggunakan algoritma imej pada video yang konsisten sementara, seperti peningkatan imej, pewarnaan imej dan pemindahan gaya, antara algoritma pemprosesan cekap yang lain.

Video yang dihasilkan melalui kaedah penjanaan video juga mungkin mengandungi artifak kelipan.

Memandangkan video konsisten sementara pada umumnya lebih menarik secara visual, mengalih keluar kelipan daripada video adalah sangat popular dalam bidang pemprosesan video dan fotografi pengiraan.

Kertas kerja CVPR 2023 ini dikhususkan untuk menyelidik kaedah penyingkiran kelipan umum: (1) Generalisasi tinggi kepada pelbagai corak atau tahap kelipan (cth., filem lama, gambar gerak perlahan yang ditangkap oleh kamera berkelajuan tinggi) video aksi) , (2) hanya memerlukan video kelipan dan tidak memerlukan maklumat tambahan lain (cth., jenis kelipan, video konsisten masa tambahan). Memandangkan kaedah ini tidak membuat terlalu banyak andaian, ia mempunyai pelbagai senario aplikasi.

Pautan kod: https://github.com/ChenyangLEI/All-in-one-Deflicker

Pautan projek: https://chenyanglei. github.io/deflicker

Pautan kertas: https://arxiv.org/pdf/2303.08120.pdf

Kaedah

Kaedah penyingkiran kelipan umum adalah mencabar, Kerana ia sukar untuk menguatkuasakan ketekalan temporal sepanjang video tanpa sebarang panduan tambahan.

Teknik sedia ada biasanya mereka bentuk strategi khusus untuk setiap jenis kelipan dan menggunakan pengetahuan khusus. Contohnya, untuk video gerak perlahan yang ditangkap oleh kamera berkelajuan tinggi, kerja sebelumnya boleh menganalisis frekuensi pencahayaan. Untuk video yang diproses oleh algoritma pemprosesan imej, algoritma ketekalan temporal video buta boleh menggunakan video tidak diproses konsisten secara sementara sebagai rujukan untuk mendapatkan konsistensi jangka panjang. Walau bagaimanapun, jenis kelipan atau video yang tidak diproses tidak selalu tersedia, jadi algoritma khusus kelipan sedia ada tidak boleh digunakan untuk kes ini.

Penyelesaian intuitif ialah menggunakan aliran optik untuk menjejaki surat-menyurat. Walau bagaimanapun, aliran optik yang diperoleh daripada video kelipan tidak cukup tepat, dan ralat kumulatif aliran optik juga meningkat dengan bilangan bingkai.

Melalui dua pemerhatian dan reka bentuk utama, penulis berjaya mencadangkan kaedah de-kerlipan am yang boleh menghapuskan pelbagai artifak kelipan tanpa bimbingan tambahan.

Model penyahkelipan buta yang baik harus mempunyai keupayaan untuk menjejak titik yang sepadan antara semua bingkai video. Kebanyakan struktur rangkaian dalam pemprosesan video hanya boleh mengambil sebilangan kecil bingkai sebagai input, mengakibatkan medan penerimaan yang kecil dan tidak dapat menjamin konsistensi jangka panjang. Para penyelidik mendapati bahawa atlas saraf sangat sesuai untuk tugas penghapusan kelipan dan oleh itu akan memperkenalkan atlas saraf kepada tugas ini. Atlas neural ialah perwakilan bersatu dan ringkas bagi semua piksel dalam video. Seperti yang ditunjukkan dalam Rajah (a), biarkan p ialah piksel, dan setiap piksel p dimasukkan ke dalam rangkaian pemetaan M, yang meramalkan koordinat 2D (atas, vp), mewakili kedudukan piksel yang sepadan dalam atlas. Sebaik-baiknya, titik yang sepadan antara bingkai yang berbeza harus berkongsi piksel dalam atlas, walaupun piksel input mempunyai warna yang berbeza. Iaitu, ini memastikan konsistensi temporal.

Kedua, walaupun bingkai yang diperoleh daripada lapisan kongsi adalah konsisten, struktur imej adalah cacat: lapisan saraf tidak boleh dengan mudah memodelkan objek dinamik dengan gerakan besar juga tidak sempurna; Oleh itu, penulis mencadangkan strategi penapisan saraf untuk memilih bahagian yang baik daripada lapisan yang rosak. Para penyelidik melatih rangkaian saraf untuk mempelajari invarian di bawah dua jenis herotan, yang mensimulasikan artifak dalam lapisan dan berkelip dalam video. Apabila diuji, rangkaian berfungsi dengan baik sebagai penapis untuk mengekalkan sifat konsisten dan menyekat artifak dalam lapisan yang rosak.

Eksperimen

Para penyelidik membina set data yang mengandungi pelbagai video kelipan sebenar. Percubaan yang meluas menunjukkan bahawa kaedah kami mencapai kesan nyahkelipan yang memuaskan pada berbilang jenis video kelipan. Algoritma penyelidik malah mengatasi kaedah garis dasar menggunakan panduan tambahan pada penanda aras awam.

Penyelidik menyediakan (a) perbandingan kuantitatif bagi video kelipan yang diproses dan video kelipan tersintesis Ralat ubah bentuk kaedah penyelidik adalah jauh lebih kecil daripada garis dasar. menurut PSNR, keputusan penyelidik juga lebih hampir kepada nilai sebenar pada data sintetik. Untuk video dunia sebenar yang lain, kajian itu menyediakan (b) percubaan dua buta untuk perbandingan, dan kebanyakan pengguna memilih keputusan penyelidik.

Seperti yang ditunjukkan dalam rajah di atas, algoritma penyelidik boleh mengeluarkan kerlipan secara berkesan daripada video input. Ambil perhatian bahawa lajur ketiga gambar menunjukkan hasil daripada lapisan saraf Kecacatan yang jelas boleh diperhatikan, tetapi algoritma penyelidik boleh menggunakan ketekalannya dengan baik dan mengelak daripada memperkenalkan kecacatan ini.

Rangka kerja ini boleh mengalih keluar kategori kelipan berbeza yang terkandung dalam filem lama dan video yang dijana AI.

Atas ialah kandungan terperinci Keluarkan kelipan video dengan satu klik, kajian ini mencadangkan rangka kerja umum. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!