Fail yang lebih kecil, kualiti yang lebih tinggi, bolehkah Stable Diffusion yang popular memampatkan imej?

Baru-baru ini, Stable Diffusion telah menjadi hala tuju penyelidikan yang baru muncul. Seorang blogger bernama Matthias Bühlmann cuba meneroka secara eksperimen kuasa model ini dan mendapati bahawa Stable Diffusion ialah codec mampatan imej lossy yang sangat berkuasa. Beliau menulis blog yang menerangkan proses analisis eksperimen ini. Berikut adalah teks blog asal.

Pertama sekali, Matthias Bühlmann memberikan hasil pemampatan kaedah Stable Diffusion dan JPG dan WebP di bawah keadaan faktor mampatan tinggi Semua keputusan adalah pada resolusi 512x512 piksel:

landskap San Francisco, dari kiri ke kanan: JPG (6.16kB), WebP (6.80kB), Resapan Stabil: (4.96kB).

Kedai gula-gula, dari kiri ke kanan: JPG (5.68kB), WebP (5.71 kB), Resapan Stabil (4.98kB).

Foto haiwan, dari kiri ke kanan: JPG (5.66 kB), WebP (6.74kB), Resapan Stabil (4.97kB).

Contoh ini jelas menunjukkan bahawa memampatkan imej dengan Stable Diffusion mengekalkan kualiti imej yang lebih baik pada saiz fail yang lebih kecil berbanding JPG dan WebP.

Eksperimen penerokaan

Matthias Bühlmann menganalisis prinsip kerja Stable Diffusion menggunakan tiga rangkaian neural tiruan terlatih:

• . Pengekod Auto Variasi (VAE)
• U-Net
• Pengekod Teks Pengekodan teks

VAE mengekod dan menyahkod imej dalam ruang imej kepada beberapa perwakilan spatial asas. Perwakilan spatial terpendam bagi imej sumber (512 x 512, 3x8 atau 4x8 bit) akan mempunyai resolusi yang lebih rendah (64 x 64) dan ketepatan yang lebih tinggi (4x32 bit).

VAE belajar dengan sendirinya semasa proses latihan Memandangkan model dilatih secara beransur-ansur, perwakilan ruang terpendam versi berbeza model mungkin kelihatan berbeza, seperti perwakilan ruang terpendam Stabil. Resapan v1.4 Perwakilan spatial adalah seperti berikut (dipetakan semula kepada imej warna 4 saluran):

apabila dikembangkan semula dan ditafsirkan ciri terpendam sebagai nilai warna (menggunakan saluran alfa ), ciri utama imej masih kelihatan, dan VAE juga mengekodkan ciri resolusi lebih tinggi ke dalam nilai piksel.

Sebagai contoh, melalui pengekodan/penyahkodan VAE perjalanan pergi balik, keputusan berikut diperoleh:

Perlu diingat bahawa perjalanan pergi balik ini tidak rugi. Contohnya, perkataan putih pada pita biru dalam gambar kurang boleh dibaca selepas penyahkodan. VAE bagi model Stable Diffusion v1.4 umumnya tidak begitu baik untuk mewakili teks dan muka kecil.

Kami tahu bahawa tujuan utama Resapan Stabil adalah untuk menjana imej berdasarkan penerangan teks, yang memerlukan model beroperasi pada perwakilan spatial terpendam imej. Model ini menggunakan U-Net terlatih untuk menafikan imej ruang terpendam secara berulang, mengeluarkan apa yang "dilihat" (ramalkan) dalam hingar, serupa dengan cara kita kadangkala melihat awan sebagai bentuk atau muka. Dalam langkah denoising berulang, model ML ketiga (pengekod teks) membimbing U-Net untuk cuba melihat maklumat yang berbeza.

Matthias Bühlmann menganalisis cara perwakilan terpendam yang dijana oleh VAE boleh dimampatkan dengan berkesan. Beliau mendapati bahawa pensampelan perwakilan terpendam dalam VAE atau menggunakan kaedah pemampatan imej lossy sedia ada kepada perwakilan terpendam secara ketara merendahkan kualiti imej yang dibina semula, manakala proses penyahkodan VAE nampaknya agak teguh kepada kualiti perwakilan terpendam.

Matthias Bühlmann mengkuantifikasi perwakilan terpendam dari titik terapung kepada integer tidak bertanda 8-bit dan hanya menemui ralat pembinaan semula yang sangat kecil. Seperti yang ditunjukkan dalam rajah di bawah, kiri: perwakilan potensi titik terapung 32-bit: kebenaran tanah kanan: perwakilan potensi integer 8-bit;

Beliau juga mendapati bahawa dengan mengkuantifikasi lebih lanjut dengan palet dan algoritma dithering, keputusan yang diperolehi akan menjadi baik di luar jangkaan. Walau bagaimanapun, apabila menyahkod secara terus menggunakan VAE, representasi palet membawa kepada beberapa artifak yang boleh dilihat:

Kiri: perwakilan terpendam 32-bit; Tengah: representasi terpendam 8-bit; Kanan: perwakilan terpendam 8-bit dengan palet dengan Floyd-Steinberg dither

Perwakilan palet dengan jitter Floyd-Steinberg memperkenalkan bunyi, memesongkan hasil penyahkodan. Jadi Matthias Bühlmann menggunakan U-Net untuk mengeluarkan bunyi yang disebabkan oleh jitter. Selepas 4 lelaran, hasil yang dibina semula secara visual sangat hampir dengan versi tidak terkuantisasi:

Hasil yang dibina semula (kiri : perwakilan palet dengan Floyd-Steinberg jitter tengah: denoising selepas empat lelaran kanan: Ground Truth).

Walaupun hasilnya sangat baik, beberapa artifak diperkenalkan, seperti bayang berkilat pada simbol tengah di atas.

Walaupun secara subjektif, hasil imej mampat Stable Diffusion jauh lebih baik daripada JPG dan WebP, dari perspektif PSNR, SSIM dan penunjuk lain, Stable Diffusion tidak mempunyai kelebihan yang jelas.

Seperti yang ditunjukkan dalam rajah di bawah, walaupun Resapan Stabil sebagai codec jauh lebih baik daripada kaedah lain dalam mengekalkan kebutiran imej, ia dipengaruhi oleh artifak mampatan, bentuk objek dalam imej, dsb. Ciri-ciri tertakluk kepada perubahan.

Kiri: Mampatan JPG; tengah: Ground Truth;

Perlu diperhatikan bahawa model Stable Diffusion v1.4 semasa tidak dapat mengekalkan maklumat teks dan ciri muka dengan fon kecil semasa proses pemampatan, tetapi Stable Model resapan v1.5 telah bertambah baik dalam penjanaan muka.

Kiri: Ground Truth; selepas VAE pergi balik (ciri terpendam 32-bit) ; Kanan: Hasil penyahkodan daripada ciri terpendam 8-bit yang dipaletkan.

Selepas blog diterbitkan, analisis eksperimen Matthias Bühlmann membangkitkan perbincangan semua orang.

Matthias Bühlmann sendiri percaya bahawa kesan pemampatan imej Stable Diffusion adalah lebih baik daripada yang dijangkakan, dan U-Net nampaknya dapat menghapuskan bunyi yang diperkenalkan oleh dithering dengan berkesan. Walau bagaimanapun, versi masa hadapan model Stable Diffusion mungkin tidak lagi mempunyai ciri pemampatan imej ini.

Walau bagaimanapun, sesetengah netizen mempersoalkan: "VAE sendiri digunakan untuk pemampatan imej, contohnya, kaedah pemampatan imej berasaskan Transformer TIC menggunakan VAE seni bina, jadi percubaan Matthias Bühlmann nampaknya berlebihan.

Apa pendapat anda tentang perkara ini?

Atas ialah kandungan terperinci Fail yang lebih kecil, kualiti yang lebih tinggi, bolehkah Stable Diffusion yang popular memampatkan imej?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!