지점에서 표면까지: 개별 적대 공격부터 다양한 적대 공격까지 일반화 가능한 다양한 적대 공격

99% 정확하다고 주장하는 얼굴 인식 시스템은 정말 깨지지 않을까요? 실제로 얼굴 인식 시스템은 시각적인 판단에 영향을 미치지 않는 얼굴 사진의 일부만 변경하면 쉽게 깨질 수 있습니다. 예를 들어 옆집 소녀와 남자 연예인이 동일한 사람으로 판단될 수 있습니다. 적대적 공격의 목표는 자연스럽고 신경망을 혼란스럽게 할 수 있는 적대적 샘플을 찾는 것입니다. 본질적으로 적대적 샘플을 찾는 것은 신경망의 취약점을 찾는 것입니다.

최근 동부공과대학 연구팀은 GMAA(Generalized Manifold Adversarial Attack)의 패러다임을 제안했는데,

기존의 '점' 공격 모드를 '표면' 공격 모드로 승격시켜 적대적 공격 모델의 일반화 능력은 적대적 공격 작업에 대한 새로운 아이디어를 열어줍니다.

이 연구는 대상 도메인과 적대 도메인 모두의 이전 작업을 개선합니다. 대상 도메인에서 본 연구는 대상 신원의 상태 집합을 공격하여 일반화가 높은 보다 강력한 적대적 예를 찾습니다. 적대적 영역의 경우, 이전 작업은 시스템의 여러 "취약점"(점)을 찾는 개별적인 적대적 샘플을 찾고 있는 반면, 이 연구는 연속적인 적대적 다양체, 즉 시스템의 취약한 필수 부분을 찾는 것입니다. 신경망. 조각 "영역"(얼굴). 또한 본 연구에서는 표현 편집에 대한 도메인 지식을 소개하고 표현 상태 공간 인스턴스화에 기반한 새로운 패러다임을 제안합니다. 생성된 적대적 다양체를 지속적으로 샘플링함으로써 지속적인 표정 변화로 고도로 일반화 가능한 적대적 샘플을 얻을 수 있습니다. 메이크업, 조명, 섭동 추가와 같은 방법에 비해

표현 상태 공간은 더 보편적이고 자연스럽습니다. 성별이나 조명. CVPR 2023에 연구 논문이 승인되었습니다.

논문 링크: https://arxiv.org/abs/2301.06083

코드 링크 https://github.com/tokaka22/GMAA방법 소개

대상 도메인 부분에서 이전 작업은 대상 신원 A의 특정 사진에 대한 적대적 샘플을 디자인하는 것이었습니다. 그러나 그림 2에서 볼 수 있듯이, 이 공격 방법으로 생성된 적대적 샘플을 사용하여 A의 다른 사진을 공격하면 공격 효과가 크게 감소합니다. 이러한 공격에 대비해 얼굴 인식 데이터베이스의 사진을 정기적으로 변경하는 것은 당연히 효과적인 방어 조치입니다. 그러나 본 연구에서 제안된 GMAA는 대상 신원의 단일 샘플에 대해 훈련할 뿐만 아니라 대상 신원 상태 세트를 공격할 수 있는 적대적 샘플을 찾습니다. 이러한 고도로 일반화된 적대적 샘플은 업데이트된 얼굴 인식 라이브러리에 직면하게 됩니다. 성능.

이러한 더욱 강력한 적대적 샘플은 신경망의 약한 영역에도 해당하며 심층 탐색할 가치가 있습니다. 적대 영역 부분에서 이전 작업은 하나 또는 여러 개의 이산적 적대 샘플을 찾고 있었는데, 이는 고차원 공간에서 신경망이 취약한 하나 또는 여러 "점"을 찾는 것과 동일하며 본 연구에서는 즉, 신경망은 "얼굴" 전체에서 취약할 수 있으며, 이 "얼굴"의 적대적 샘플은 "한 번에 포착"되어야 합니다. 따라서 본 연구에서는 고차원 공간에서 적대적 다양체를 찾는 데 주력하고 있다.

결론적으로 GMAA는

적대적 다양체를 사용하여 대상 신원의 상태 세트

를 공격하는 새로운 공격 패러다임입니다. 기사의 핵심 아이디어는 그림 1에 나와 있습니다.

구체적으로, 본 연구에서는 표정 편집 분야의 지식인 FACS(Facial Action Coding System)를 소개하고 표정 상태 공간을 사용하여 제안된 새로운 공격 패러다임을 인스턴스화합니다. FACS는 얼굴을 서로 다른 근육 단위로 구분하는 표정 코딩 시스템으로, AU 벡터의 각 요소는 근육 단위에 해당하며, 벡터 요소 값의 크기는 해당 단위의 근육 활동 정도를 나타내므로 표정 상태를 인코딩합니다. . 예를 들어 아래 그림에서 AU 벡터의 첫 번째 요소 AU1은 눈썹 안쪽이 올라가는 정도를 나타냅니다.

"얼굴 표정 해부학"에서

이 연구는 대상 도메인에 대해 여러 표정 상태가 포함된 대상 세트를 공격하여 알 수 없는 대상 사진에 대한 더 나은 공격을 달성합니다. 본 연구에서는 AU 공간에 해당하는 적대적 다양체를 일대일로 설정하고, 적대적 다양체에서 적대적 샘플을 샘플링하고, AU 값을 지속적으로 변경하여 지속적으로 변화하는 표현식을 생성할 수 있습니다. ​

이 연구가 표현 상태 공간을 사용하여 GMAA 공격 패러다임을 인스턴스화한다는 점은 주목할 가치가 있습니다. 표정은 인간의 얼굴 활동에서 가장 흔한 상태이고, 표정 상태 공간이 비교적 안정적이고 인종이나 성별에 영향을 받지 않기 때문입니다(빛은 피부색을 바꿀 수 있고 화장은 성별에 영향을 줄 수 있음). 실제로 다른 적합한 상태 공간을 찾을 수 있는 한 이 공격 패러다임은 일반화되어 본질적으로 다른 적대적 공격 작업에 적용될 수 있습니다.

모델 결과

아래 애니메이션은 연구의 시각적 결과를 보여줍니다. 애니메이션의 각 프레임은 적대적 다양체에서 샘플링된 적대적 샘플입니다. 지속적으로 샘플링하면 표정이 계속 변하는 일련의 적대적 샘플(왼쪽)을 얻을 수 있습니다. 빨간색 값은 현재 프레임의 적대적 샘플과 대상 샘플을 나타냅니다. (오른쪽) Face++ 얼굴 인식 시스템에서의 유사성.

표 1에는 두 가지 데이터 세트에 대한 4가지 얼굴 인식 모델의 블랙박스 공격 성공률이 나열되어 있습니다. 그 중 MAA는 GMAA의 단축 버전이며 MAA는 적대적 도메인에서만 포인트 공격을 사용합니다. 모델은 다양한 공격으로 확장되었으며, 대상 도메인은 여전히 ​​단일 대상 사진에서 공격을 받습니다. 공격 대상의 상태 세트는 일반적인 실험 설정으로 표 2의 MAA를 포함한 3가지 방법에 이 설정을 추가한 것이다(표의 굵은 부분은 표 2에서 이 설정을 추가한 결과이다(A “G”). 이를 구별하기 위해 메소드 이름에 가 추가됨) 이는 대상 도메인의 확장이 적대적 샘플의 일반화를 향상시킬 수 있음을 증명합니다.

그림 4는 두 상용 얼굴 인식 시스템의 API를 공격한 결과를 보여줍니다.

본 연구에서는 다양한 표현식이 공격 성능에 미치는 영향과, 상태 집합에 포함된 샘플 수가 공격 일반화 성능에 미치는 영향도 조사했습니다.

그림 6은 MAA가 적대적 다양체에서 20개의 적대적 샘플을 샘플링한 시각화 결과를 비교한 것으로 시각화 효과가 더 자연스러운 것을 확인할 수 있습니다.

물론, 모든 데이터 세트에 ID의 다양한 상태에 대한 그림이 있는 것은 아닙니다. 이 경우 대상 도메인을 확장하는 방법은 무엇입니까? 또한 본 연구에서는 AU 벡터와 표현 편집 모델을 사용하여 목표 상태 집합을 생성하는 실현 가능한 솔루션을 제공합니다. 또한 합성된 목표 상태 집합을 공격한 결과도 제시되어 일반화 성능도 향상되었음을 확인할 수 있습니다. 향상.

원리 방법

모델의 백본에는 WGAN-GP 기반 생성 모듈, 표현 감독 모듈, 전달성 강화 모듈, 일반 공격 모듈이 포함됩니다. 그 중 일반화된 공격 모듈은 대상 상태 세트를 공격하는 기능을 구현하고 있으며, 이전 작업에서 가져온 전송성 향상 모듈을 모든 기준선에 추가했습니다. 표현 감독 모듈은 잘 훈련된 4명의 표현 편집자로 구성되며, 글로벌 구조 감독과 로컬 디테일 감독을 통해 적대적 샘플의 표현 변환을 실현합니다.

표현 감독 모듈의 경우 해당 절제 실험이 논문의 지원 자료에 제공되어 로컬 세부 감독이 아티팩트와 생성된 이미지의 흐릿함을 줄이고 적대적 샘플의 시각적 품질을 효과적으로 향상시킬 수 있음을 확인합니다. , 동시에 적대적 샘플의 발현 합성 정확도를 향상시킬 수 있습니다.

또한 이 논문은 연속적 적대 다양체와 의미론적 연속적 적대 다양체의 개념을 정의하고, 에 의해 생성된 적대적 다양체가 AU 벡터 공간과 동형임을 자세히 증명합니다. ㅋㅋㅋ 대상 도메인의 경우 GMAA는 단일 이미지 대신 상태 모음을 공격하여 대상 ID에 대한 일반화 기능을 향상시킵니다. 또한 GMAA는 적대 영역을 개별 지점에서 의미상 연속적인 적대 다양체("점-표면")

로 확장합니다. 본 연구는 표현 편집에 대한 도메인 지식을 도입하여 GMAA 공격 패러다임을 예시합니다. 광범위한 비교 실험을 통해 GMAA가 다른 경쟁 모델보다 더 나은 공격 성능과 더 자연스러운 시각적 품질을 가지고 있음이 입증되었습니다.

위 내용은 지점에서 표면까지: 개별 적대 공격부터 다양한 적대 공격까지 일반화 가능한 다양한 적대 공격의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!