Daripada musuh individu kepada musuh berganda: CVPR 2023 meneroka serangan musuh berlipat ganda yang boleh digeneralisasikan

Adakah sistem pengecaman muka yang didakwa 99% tepat benar-benar tidak boleh dipecahkan? Malah, sistem pengecaman muka boleh dipecahkan dengan mudah dengan membuat beberapa perubahan pada foto muka yang tidak menjejaskan pertimbangan visual Sebagai contoh, gadis di sebelah dan selebriti lelaki boleh dinilai sebagai orang yang sama menyerang. Matlamat serangan adversarial adalah untuk mencari sampel adversarial yang semula jadi dan boleh mengelirukan rangkaian saraf Pada dasarnya, mencari sampel adversarial adalah untuk mencari kelemahan rangkaian saraf.

Baru-baru ini, pasukan penyelidik dari Universiti Teknologi Dongfang mencadangkan paradigma serangan musuh berganda umum (GMAA),

mempromosikan mod serangan "titik" tradisional kepada mod serangan "muka", sangat Ia meningkatkan keupayaan generalisasi daripada model serangan lawan dan membangunkan idea baharu untuk kerja serangan lawan.

Penyelidikan ini menambah baik kerja terdahulu dari kedua-dua domain sasaran dan domain lawan. Pada domain sasaran, kajian ini menemui contoh lawan yang lebih kuat dengan generalisasi tinggi dengan menyerang set keadaan identiti sasaran. Untuk domain adversarial, kerja terdahulu sedang mencari sampel adversarial diskret, iaitu, mencari beberapa "loopholes" (titik) sistem, manakala penyelidikan ini mencari manifold adversarial berterusan, iaitu, mencari bahagian integral rapuh saraf. rangkaian. Sekeping "kawasan" (muka). Di samping itu, kajian ini memperkenalkan pengetahuan domain penyuntingan ekspresi dan mencadangkan paradigma baharu berdasarkan instantiasi ruang keadaan ekspresi. Dengan persampelan manifold lawan yang dijana secara berterusan, kami boleh mendapatkan sampel lawan yang boleh digeneralisasikan dengan perubahan ekspresi berterusan Berbanding dengan kaedah seperti solek, pencahayaan dan penambahan gangguan, ruang keadaan ekspresi lebih universal dan semula jadi, dan tidak dipengaruhi oleh jantina. dan pencahayaan.

Kertas penyelidikan telah diterima oleh CVPR 2023.

Pautan kertas: Sila klik di sini untuk melihat kertas tersebut

Kandungan yang perlu ditulis semula ialah: Pautan kod https://github.com/tokaka22/GMAA

Kaedah pengenalan

bahagian domain, sebelum ini Semua kerja adalah untuk mereka bentuk sampel musuh untuk foto tertentu identiti sasaran A. Walau bagaimanapun, seperti yang ditunjukkan dalam Rajah 2, apabila sampel lawan yang dihasilkan oleh kaedah serangan ini digunakan untuk menyerang satu lagi foto A, kesan serangan akan berkurangan dengan ketara. Dalam menghadapi serangan sedemikian, kerap menukar foto dalam pangkalan data pengecaman muka secara semula jadi merupakan langkah pertahanan yang berkesan. Walau bagaimanapun, GMAA yang dicadangkan dalam kajian ini bukan sahaja melatih satu sampel identiti sasaran, tetapi juga mencari sampel musuh yang boleh menyerang set keadaan identiti sasaran

Sampel musuh yang sangat boleh digeneralisasikan mempunyai keupayaan yang lebih baik dalam menghadapi perpustakaan pengecaman muka yang dikemas kini.

Contoh musuh yang lebih berkuasa ini juga sepadan dengan kawasan rangkaian saraf yang lebih lemah dan layak untuk penerokaan yang mendalam. Dalam penyelidikan terdahulu dalam bidang adversarial, orang biasanya mencari satu atau beberapa sampel adversarial diskret, yang bersamaan dengan mencari satu atau beberapa "titik" di mana rangkaian saraf terdedah dalam ruang dimensi tinggi. Walau bagaimanapun, kajian ini percaya bahawa rangkaian saraf mungkin terdedah pada keseluruhan "muka" dan oleh itu harus mencari semua contoh musuh pada "wajah" ini. Oleh itu, matlamat penyelidikan ini adalah untuk mencari manifold adversarial dalam ruang dimensi tinggi Secara ringkasnya, GMAA ialah paradigma serangan baharu yang menggunakan manifold adversarial untuk menyerang set keadaan identiti sasaran.

Sila rujuk Rajah 1, yang merupakan idea teras artikel

Secara khusus, kajian ini memperkenalkan Sistem Pengekodan Tindakan Muka (FACS) sebagai pengetahuan domain untuk mewujudkan paradigma serangan baharu yang dicadangkan. . FACS ialah sistem untuk pengekodan ekspresi muka Ia membahagikan muka kepada unit otot yang berbeza Setiap elemen dalam vektor AU sepadan dengan unit otot Saiz elemen vektor mewakili aktiviti otot unit yang sepadan . Sebagai contoh, dalam imej di bawah, elemen pertama vektor AU, AU1, mewakili tahap kening dalam diangkat

Daripada "Anatomi Ekspresi Wajah"

Untuk domain sasaran, ini penyelidikan bertujuan untuk menyerang pelbagai ekspresi Set sasaran keadaan untuk mencapai prestasi serangan yang lebih baik pada foto sasaran yang tidak diketahui untuk medan lawan, penyelidikan ini mewujudkan manifold lawan yang sepadan dengan ruang AU, dan boleh mengambil sampel adversarial pada manifold lawan dengan menukar Sampel nilai AU, dengan menukar nilai AU secara berterusan, hasilkan sampel lawan dengan ekspresi yang berubah secara berterusan

Perlu diambil perhatian bahawa kajian ini menggunakan ruang keadaan ekspresi untuk mewujudkan paradigma serangan GMAA. Ini kerana ekspresi adalah keadaan yang paling biasa dalam aktiviti muka manusia, dan ruang keadaan ekspresi agak stabil dan tidak akan dipengaruhi oleh bangsa atau jantina (cahaya boleh menukar warna kulit, dan solek boleh menjejaskan jantina). Malah, selagi ruang keadaan lain yang sesuai boleh ditemui, paradigma serangan ini boleh digeneralisasikan dan digunakan untuk tugas serangan musuh yang lain secara semula jadi.

Kandungan yang perlu ditulis semula ialah: hasil model

Hasil visual kajian ini ditunjukkan dalam animasi di bawah. Setiap bingkai animasi adalah sampel adversarial yang diperolehi dengan pensampelan pada manifold adversarial. Persampelan berterusan boleh memperoleh satu siri contoh lawan dengan ekspresi yang berubah secara berterusan (kiri). Nilai merah dalam animasi mewakili persamaan antara sampel lawan bagi bingkai semasa dan sampel sasaran (kanan) di bawah sistem pengecaman muka Face++

Dalam Jadual 1, empat model pengecaman muka disenaraikan dalam dua serangan kotak Hitam kadar kejayaan pada set data. Antaranya, MAA ialah versi pengurangan GMAA hanya memanjangkan model serangan titik kepada serangan berlipat ganda dalam domain lawan, ia masih menyerang satu foto sasaran. Set keadaan sasaran serangan ialah tetapan percubaan biasa Artikel ini menambahkan tetapan ini kepada tiga kaedah termasuk MAA dalam Jadual 2 (bahagian tebal dalam jadual adalah hasil daripada menambah tetapan ini, dalam Jadual 2 (A "G"). ditambahkan pada nama kaedah untuk membezakannya), yang mengesahkan bahawa pengembangan domain sasaran boleh meningkatkan generalisasi sampel lawan

Rajah 4 menunjukkan serangan ke atas dua sistem pengecaman muka komersial Hasil API

Kandungan ditulis semula seperti berikut: Kajian ini juga meneroka kesan ekspresi berbeza pada prestasi serangan, dan kesan bilangan sampel dalam keadaan yang ditetapkan pada prestasi generalisasi serangan

dalam Rajah 6 , menunjukkan perbandingan hasil visualisasi kaedah yang berbeza. Kaedah MAA mensampel 20 sampel adversarial pada manifold adversarial Dari keputusan, dapat dilihat bahawa kesan visualisasi adalah lebih semula jadi

Sudah tentu, tidak semua set data mengandungi gambar keadaan yang berbeza. Dalam kes ini, bagaimana untuk mengembangkan data dalam medan sasaran? Kajian ini mencadangkan penyelesaian yang boleh dilaksanakan yang menggunakan vektor AU dan model penyuntingan ekspresi untuk menjana satu set keadaan sasaran. Kajian itu juga menunjukkan keputusan menyerang keadaan sasaran sintetik yang ditetapkan, dan keputusan menunjukkan bahawa prestasi generalisasi bertambah baik

Kandungan yang perlu ditulis semula ialah: Prinsip dan kaedah

Kandungan yang ditulis semula: The bahagian teras model Ia termasuk modul penjanaan berasaskan WGAN-GP, modul penyeliaan ekspresi, modul peningkatan kebolehpindahan dan modul serangan umum. Antaranya, modul serangan umum boleh merealisasikan fungsi pengagregatan keadaan sasaran serangan, dan modul peningkatan kebolehpindahan adalah berdasarkan kerja penyelidikan terdahulu Untuk perbandingan yang saksama, modul ini telah ditambahkan pada semua model penanda aras. Modul penyeliaan ekspresi terdiri daripada empat editor ekspresi terlatih Ia mencapai penukaran ekspresi sampel lawan melalui penyeliaan struktur global dan penyeliaan terperinci tempatan Dari segi modul penyeliaan ekspresi, bahan sokongan kertas menyediakan eksperimen ablasi yang sepadan penyeliaan terperinci tempatan boleh mengurangkan artifak dan kekaburan imej yang dijana, meningkatkan kualiti visual sampel lawan secara berkesan, dan juga meningkatkan ketepatan sintesis ekspresi sampel lawan

Selain itu, kertas kerja mentakrifkan manifold lawan berterusan dan konsep manifold adversarial berterusan secara semantik

, dan membuktikan secara terperinci bahawa manifold adversarial yang dijana oleh

adalah homeomorfik kepada ruang vektor AU.

Ringkasan ialah ringkasan dan ringkasan maklumat atau pengalaman sedia ada. Ia adalah satu proses menyusun dan meringkaskan pemikiran, bertujuan untuk mengeluarkan idea dan kesimpulan yang paling penting. Merumuskan boleh membantu kita lebih memahami dan mengingati apa yang telah kita pelajari, dan ia juga boleh membantu kita berkomunikasi dan berkongsi idea dengan lebih baik. Dengan meringkaskan, kami boleh mempermudahkan maklumat yang kompleks dan menyaringnya ke bahagian terasnya, menjadikannya lebih mudah untuk difahami dan digunakan. Ringkasan ialah alat penting dalam proses pembelajaran dan komunikasi Ia boleh membantu kita memproses dan menggunakan sejumlah besar maklumat dengan lebih cekap. Sama ada dalam pengajian, kerja atau kehidupan, meringkaskan ialah kemahiran penting

Ringkasnya, penyelidikan ini mencadangkan paradigma serangan baharu yang dipanggil GMAA, sambilmengembangkan domain sasaran dan domain Adversarial , meningkatkan prestasi serangan. Untuk domain sasaran, GMAA meningkatkan keupayaan generalisasi kepada identiti sasaran dengan menyerang koleksi negeri dan bukannya satu imej. Tambahan pula, GMAA meluaskan domain lawan daripada titik diskret kepada manifold lawan berterusan secara semantik (“titik ke permukaan”) . Kajian ini mewujudkan paradigma serangan GMAA dengan memperkenalkan pengetahuan domain tentang penyuntingan ekspresi. Eksperimen perbandingan yang meluas membuktikan bahawa GMAA mempunyai prestasi serangan yang lebih baik dan kualiti visual yang lebih semula jadi daripada model pesaing lain.

Atas ialah kandungan terperinci Daripada musuh individu kepada musuh berganda: CVPR 2023 meneroka serangan musuh berlipat ganda yang boleh digeneralisasikan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!