Universiti Beihang memecahkan halangan modal dan memperkenalkan kaedah serangan balas fizikal universal merentasi mod boleh dilihat dan inframerah.

Dalam beberapa tahun kebelakangan ini, penerokaan penilaian keselamatan sistem persepsi visual semakin mendalam Penyelidik telah berjaya melaksanakan teknologi penilaian keselamatan mod cahaya nampak berdasarkan pembawa yang berbeza seperti cermin mata, pelekat, pakaian, dan lain-lain, dan terdapat juga beberapa percubaan baharu. menyasarkan mod inframerah. Tetapi mereka hanya boleh berfungsi dalam satu mod.

Dengan perkembangan teknologi kecerdasan buatan, teknologi pengimejan inframerah terma cahaya boleh dilihat telah digunakan dalam banyak tugas kritikal keselamatan seperti pemantauan keselamatan dan pemanduan autonomi Antaranya, pengimejan cahaya boleh dilihat boleh memberikan maklumat tekstur yang kaya semasa hari, manakala pengimejan inframerah Ia boleh memaparkan dengan jelas taburan sinaran haba sasaran pada waktu malam Gabungan kedua-duanya membawa banyak kelebihan seperti liputan penuh 24 jam dan tiada had persekitaran kepada sistem persepsi visual. Oleh itu, kaedah penilaian keselamatan bersatu untuk sistem persepsi visual pelbagai mod juga amat diperlukan untuk dikaji.

Walau bagaimanapun, mencapai penilaian pelbagai modal adalah amat mencabar. Pertama sekali, sukar untuk menggunakan kaedah serangan secara universal di bawah mekanisme pengimejan yang berbeza. Kaedah sebelumnya telah dicadangkan berdasarkan ciri pengimejan modaliti sasaran tertentu, dan sukar untuk berfungsi dalam modaliti lain. Tambahan pula, sukar untuk mengimbangi prestasi siluman, kos pengeluaran dan aplikasi yang fleksibel. Bukan mudah untuk menjadi berkesan dalam kedua-dua cahaya yang boleh dilihat dan mod inframerah yang lebih sukar, malah lebih sukar untuk mencapai pengeluaran dan penggunaan kos rendah dan mudah.

Menghadapi banyak cabaran, penyelidik dari Institut Kecerdasan Buatan Beihang meneroka sifat bentuk biasa antara mod cahaya boleh dilihat dan inframerah, dan secara inovatif mencadangkan "tampalan tindakan balas universal cross-modal" untuk mencapai penyegerakan inframerah cahaya boleh dilihat. . Ia memilih bahan yang mudah diperoleh, kos rendah, dan mempunyai sifat penebat haba yang sangat baik untuk membuat tampalan mudah, yang sedia untuk digunakan Ia bukan sahaja mengisi jurang dalam teknologi penilaian kekukuhan pengesanan pelbagai mod inframerah cahaya. sistem dalam dunia fizikal semasa, tetapi juga mengambil kira kesederhanaan dan kedekatan fizikal. Eksperimen menunjukkan keberkesanan kaedah ini di bawah model dan modaliti pengesanan yang berbeza, serta generalisasinya dalam berbilang senario. Pada masa ini, kertas kerja ini telah diterima oleh ICCV 2023.

Pautan kertas: https://arxiv.org/abs/2307.07859

Pautan kod: https://github.com/Aries-iai/Cross-modal_Patch_Attack

Mata teknikal

Penyelidikan ini menggunakan algoritma evolusi sebagai rangka kerja asas, berdasarkan tiga perspektif pemodelan bentuk, pengoptimuman bentuk, dan keseimbangan modal untuk melaksanakan reka bentuk skema dan penambahbaikan kesan Proses khusus adalah seperti yang ditunjukkan dalam rajah:

1. Pemodelan bentuk multi-anchor berdasarkan interpolasi spline

Untuk bahagian pemodelan paradigm yang direka bentuk secara langsung, pengoptimuman bahagian pemodelan baru yang direka bentuk oleh penyelidik, bahagian pemodelan paradigm asas yang baru, bentuk tampalan dengan menukar koordinat titik, Dalam proses ini, pergerakan titik sauh tidak akan dihadkan oleh arah, jarak, dsb., dengan berkesan meningkatkan ruang carian untuk bentuk tampalan. Atas dasar ini, untuk memastikan keaslian bentuk, ia juga menggunakan kaedah interpolasi spline untuk mencapai sambungan yang lancar, dan spline akan mengikuti titik kawalan dengan lebih dekat.

. , dsb. Dan penambahbaikan dibuat daripada dua perspektif penetapan sempadan dan fungsi kecergasan:

(1) Penetapan sempadan: Penetapan sempadan untuk titik penambah meningkatkan keberkesanan ubah bentuk dan mengurangkan kos masa. Ia mempunyai tetapan berikut: gelung atau persimpangan diri tidak akan terbentuk dalam segmen lengkung tidak akan mudah muncul dalam segmen lengkung dan ia tidak akan muncul di kawasan yang tidak sah;

Mengambil anchor point
sebagai contoh, bahagian biru dalam gambar di bawah adalah legenda penetapan sempadan, dan bahagian oren ialah contoh ralat:

penentuan titik sempadan

Ungkapan matematik adalah seperti berikut :

(2) Fungsi kecergasan: Tidak seperti kerja sebelum ini yang hanya menyasarkan mod tunggal untuk penilaian serangan, kerja ini memfokuskan pada dua mod cahaya nampak dan inframerah, dan terdapat perbezaan secara semula jadi dalam kesan masalah seimbang. Oleh itu, untuk mengelak daripada melampau dengan mudah mengoptimumkan satu mod, para penyelidik secara inovatif mencadangkan fungsi kecergasan rentas mod berdasarkan persepsi skor keyakinan pengesan, menggalakkan penerokaan arah yang berjaya sambil mengimbangi perbezaan dalam kesan kedua-dua mod, dan akhirnya kemandirian yang paling cergas berdasarkan skor. Dengan mengambil kira perbezaan kesukaran serangan antara peringkat awal dan peringkat kemudian, ia menggunakan fungsi eksponen dan bukannya fungsi linear untuk menyerlahkan perbezaan dalam kemajuan serangan dalam peringkat yang berbeza. Algoritma ini mengulangi proses penerokaan sehingga kedua-dua mod berjaya menyerang dan mengeluarkan strategi bentuk optimum.Proses pengoptimuman lengkap adalah seperti berikut:

Hasil percubaan

Hasil eksperimen

serangan

siri pengesan silang yang berbeza untuk prestasi pengesanan silang

: Eksperimen siri pengesanan yang berbeza

Eksperimen 2: Eksperimen Ablasi untuk bentuk

Eksperimen 3: Eksperimen Ablasi untuk fungsi kecergasan rentas mod

Eksperimen 4 : Kekukuhan kaedah pengesahan di bawah sisihan pelaksanaan fizikal

Eksperimen 5: Pengesahan kesahihan kaedah dalam keadaan fizikal yang berbeza

🎜🎜🎜🎜 🎜🎜🎜 🎜hasil visual pengesahan prestasi di bawah berbeza sudut, jarak, postur dan senario🎜🎜🎜🎜🎜🎜🎜🎜🎜🎜🎜🎜🎜Ringkasan🎜🎜🎜🎜🎜🎜🎜🎜🎜🎜🎜🎜🎜🎜🎜Ringkasan🎜🎜🎜🎜🎜 kerja pengoptimuman ini berasaskan tampalan🎜🎜 Menggabungkan serangan silang modal, a kaedah penilaian keteguhan pelbagai mod inframerah-lihat dalam persekitaran fizikal direka bentuk. Kaedah ini boleh menilai keteguhan sistem pengesanan sasaran berbilang mod (cahaya-inframerah), membetulkan model pengesan dengan berkesan berdasarkan hasil penilaian, dan pada masa yang sama meningkatkan ketepatan pengesanan imej sasaran dalam kedua-dua mod cahaya kelihatan dan inframerah fizik Ia benar-benar boleh dilaksanakan dan digunakan dalam persekitaran, dan menyumbang kepada penilaian kekukuhan dan penambahbaikan sistem pengesanan pelbagai mod. 🎜

Atas ialah kandungan terperinci Universiti Beihang memecahkan halangan modal dan memperkenalkan kaedah serangan balas fizikal universal merentasi mod boleh dilihat dan inframerah.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!