聲稱準確率 99% 的人臉辨識系統真的牢不可破嗎？事實上，在人臉照片上做一些不影響視覺判斷的改變就可以輕鬆攻破人臉辨識系統，例如讓鄰家女孩和男明星被判斷成同一個人，這便是對抗攻擊。對抗攻擊的目標是尋找自然的且能夠讓神經網路混淆的對抗樣本，從本質上講，找到對抗樣本也就是找到了神經網路的脆弱之處。
近日，來自東方理工的研究團隊提出了一種廣義流形對抗攻擊的範式（Generalized Manifold Adversarial Attack， GMAA），將傳統的「點」 攻擊模式推廣為「面」 攻擊模式，大大提高了對抗攻擊模型的泛化能力，為對抗攻擊的工作展開了一個新的思維。
研究從目標域和對抗域兩個面向對先前的工作做了改進。在目標域上，該研究透過攻擊目標身分的狀態集合找到高泛化的更強大的對抗樣本。對於對抗域，先前的工作都是在尋找離散的對抗樣本，即找到了系統的幾個「漏洞」（點），而該研究則在尋找連續的對抗流形，即要找到神經網路脆弱的整片“區域”（面）。此外，研究引入表情編輯的領域知識，提出了基於表情狀態空間實例化的新範式。透過對生成的對抗流形連續採樣可以獲得表情連續變化的高泛化性對抗樣本，相比於化妝、光照、添加擾動等手段，表情狀態空間更加普適自然，不受性別、光照的影響。 研究論文已被 CVPR 2023 接收。
論文連結：請點擊此處查看論文
需要重寫的內容是：程式碼連結https://github.com/tokaka22/GMAA
介紹方法
在目標領域部分，先前的工作都是針對目標身分A 的某一張特定的照片去設計對抗樣本。但如圖 2 所示，當用這種攻擊方式產生的對抗樣本去攻擊 A 的另一張照片時，攻擊效果會大幅下降。面對此類攻擊，定期更換人臉辨識庫中的照片自然是一種有效的防禦措施。但是，該研究提出的GMAA 不僅針對目標身分的單一樣本進行訓練，而且尋找能攻擊目標身分狀態集合的對抗樣本，這樣的高泛化性的對抗樣本面對更新後的人臉辨識庫具備更好的攻擊性能。 這些更強大的對抗樣本也對應著神經網路更為薄弱之處，值得深入探索。
在對抗領域的先前研究中，人們通常尋找離散的一個或幾個對抗樣本，這相當於在高維空間中找到了神經網路脆弱的一個或幾個「點」。然而，這項研究認為神經網路可能在整個「面」上都是脆弱的，因此應該找到這個「面」上的所有對抗樣本。因此，研究的目標是尋找高維空間中的對抗流形
綜上，GMAA 是一種用對抗流形去攻擊目標身份的狀態集合的新攻擊範式。
請參考圖1，這是文章的核心思想
#具體來說，研究引入了臉部行為編碼系統（Facial Action Coding System，FACS）作為領域知識，用於實例化所提出的新的攻擊範式。 FACS是一種用於臉部表情編碼的系統，它將臉部分為不同的肌肉單元，AU向量中的每個元素對應一個肌肉單元，向量元素的大小表示對應單元的肌肉活躍程度，從而編碼表情狀態。例如，在下圖中，AU向量的第一個元素AU1表示提起內側眉毛的程度
來自《面部表情解剖學》
對於目標領域，這項研究旨在攻擊包含多種表情狀態的目標集合，以實現對未知目標照片的較好攻擊性能；對於對抗領域，該研究透過建立與AU空間一一對應的對抗流形，可以透過改變AU值的方式在對抗流形上取樣對抗樣本，透過連續改變AU值，生成連續變化表情的對抗樣本
值得注意的是，該研究採用表情狀態空間來實例化 GMAA 攻擊範式。這是因為表情是人面部活動中最常見的一種狀態，而且表情狀態空間相對穩定，不會受到人種、性別的影響（光照可改變膚色、化妝則會影響性別） 。事實上，只要能找到其他合適的狀態空間，該攻擊範式就完全可以被推廣應用於自然界的其他對抗攻擊任務。
需要重新寫作的內容是：模型結果
該研究的視覺化結果在下面的動圖中顯示。每一幀動圖都是透過對抗流形上的採樣得到的對抗樣本。連續採樣可以獲得一系列表情連續改變的對抗樣本（左側）。動圖中的紅色數值表示目前影格的對抗樣本與目標樣本（右）在Face 人臉辨識系統下的相似度
在表1中，列出了4個人臉辨識模型在兩個資料集上的黑盒子攻擊成功率。其中，MAA是GMAA的縮減版，MAA僅在對抗域上將點攻擊的模式推廣到了流形攻擊，目標域上仍然是對單一目標照片進行攻擊。攻擊目標的狀態集合是一種通用的實驗設置，文章在表2中為包括MAA在內的三種方法加上了這種設置（表中加粗的部分是加上這種設置的結果，在方法的名稱前加上了「G」以示區分），驗證了目標域的擴充可以提升對抗樣本的泛化性
##圖4 展示了對兩個商業人臉辨識系統API 進行攻擊的結果
該內容的重寫如下：研究也探討了不同表情對攻擊表現的影響，以及狀態集合中樣本數量對攻擊泛化效能的影響
在圖6中，展示了不同方法的視覺化結果比較。 MAA方法在對抗流形上採樣了20個對抗樣本，從結果可以看出，其可視化效果更加自然
當然，並非所有的資料集都包含不同狀態的圖片。對於這種情況，如何擴充目標領域的資料呢？研究提出了一個可行的解決方案，即利用AU向量和表情編輯模型來產生目標狀態的集合。研究也展示了攻擊合成的目標狀態集合的結果，結果顯示泛化性能有所提升
#需要進行改寫的內容是：原理方法
重寫後的內容：模型的核心部分包括基於WGAN-GP的生成模組、表情監督模組、可轉移性增強模組和廣義攻擊模組。其中，廣義攻擊模組能夠實現攻擊目標狀態的集合功能，可轉移性增強模組是基於先前的研究工作而來，為了公平比較，所有基準模型都加入了這個模組。表情監督模組由四個經過訓練的表情編輯器組成，透過全局結構監督和局部細節監督實現對抗樣本的表情轉換
在表情監督模組方面，論文的支持材料提供了相應的消融實驗，驗證了局部細節監督可以減少生成圖片的偽影和模糊，有效地提高對抗樣本的視覺質量，同時也可以提高對抗樣本的表情合成準確性
此外，論文定義了
連續對抗流形和語義連續對抗流形的概念，並詳細證明了生成的對抗流形與AU 向量空間同胚。
#
總結是對已有資訊或經驗的歸納與概括。它是一種整理和總結思考的過程，旨在提煉出最重要的觀點和結論。總結可以幫助我們更好地理解和記憶所學的知識，同時也能夠幫助我們更好地傳達和分享我們的想法。透過總結，我們可以將複雜的資訊簡化並提煉出核心要點，使其更易於理解和應用。總結是學習和溝通過程中的重要工具，它能夠幫助我們更有效率地處理和利用大量的資訊。無論是在學習、工作或生活中，總結都是一項必不可少的技能
綜上所述，該研究提出了一種新的名為GMAA 的攻擊範式，同時擴展了目標域和對抗域，提高了攻擊的效能。對於目標域，GMAA 透過攻擊狀態集合而不是單張影像來提升對目標身分的泛化能力。此外，GMAA 將對抗域從離散點擴展到語意連續的對抗流形（「由點到面」）。該研究透過引入表情編輯的領域知識實例化了 GMAA 攻擊範式。大量的比較實驗證明，GMAA 具有比其他競爭模型更好的攻擊性能和更自然的視覺品質。
以上是從個體對抗到流形對抗：CVPR 2023探討可泛化的流形對抗攻擊的詳細內容。更多資訊請關注PHP中文網其他相關文章！
