Beihang University는 모드 장벽을 허물고 가시광선 및 적외선 모드에 걸쳐 보편적인 물리적 반격 방법을 도입합니다.

최근 몇 년간 시각적 인식 시스템의 안전성 평가에 대한 탐구가 점차 심화되고 있으며, 연구원들은 안경, 스티커, 의류 등 다양한 캐리어를 기반으로 한 가시광선 모드 안전성 평가 기술을 성공적으로 구현했으며 몇 가지 새로운 시도도 있습니다. 적외선 모드를 목표로 합니다. 하지만 단일 모드에서만 작동할 수 있습니다.

인공지능 기술의 발달로 가시광-열적외선 이미징 기술은 보안 모니터링, 자율주행 등 안전이 중요한 여러 업무에 활용되고 있습니다. 그 중 가시광 이미징은 주행 중 풍부한 질감 정보를 제공할 수 있습니다. 낮에는 적외선 영상을 촬영하면서 밤에는 대상의 열 복사 분포를 명확하게 표시할 수 있습니다. 이 두 가지의 조합은 24시간 전체 적용 및 환경 제한이 없는 등 시각적 인식 시스템에 많은 이점을 제공합니다. 따라서 다중 모드 시지각 시스템에 대한 통일된 보안 평가 방법에 대한 연구도 시급히 필요하다.

그러나 다중 모드 평가를 달성하는 것은 매우 어렵습니다. 우선, 서로 다른 이미징 메커니즘에서 공격 방법을 보편적으로 적용하기가 어렵습니다. 이전 방법은 특정 대상 양식의 영상 특성을 기반으로 제안되었으며 다른 양식에서는 작동하기 어렵습니다. 게다가 스텔스 성능, 생산 비용, 유연한 적용의 균형을 맞추는 것도 어렵습니다. 가시광선 모드와 적외선 모드의 이중 효과를 구현하는 것은 쉽지 않으며, 저렴하고 편리한 생산 및 사용을 달성하는 것은 더욱 어렵습니다.

많은 어려움에 직면한 베이항 인공 지능 연구소의 연구원들은 가시광선과 적외선 모드 사이의 일반적인 모양 속성을 탐구하고 가시광선-적외선 동기화를 달성하기 위한 "교차 모드 범용 대책 패치"를 혁신적으로 제안했습니다. . 구입이 쉽고, 가격이 저렴하며, 보온성이 뛰어난 소재를 선택하여 즉시 사용할 수 있는 편리한 패치를 제작하며, 가시광선-적외선 다중 모드 검출의 견고성 평가 기술의 공백을 메울 뿐만 아니라 현재 물리적 세계의 시스템뿐만 아니라 물리적 구현의 단순성과 즉시성도 고려합니다. 실험을 통해 다양한 탐지 모델 및 양식과 여러 시나리오에서의 일반화에서 이 방법의 효율성이 입증되었습니다. 현재 이 논문은 ICCV 2023에 승인되었습니다.

https : https://arxiv.org/abs/2307.07859

코드 링크 : https://github.com/aries-iai/cross-modal_patch_attack

technical points

본 연구에서는 진화 알고리즘을 기본 프레임워크로 사용하여 형상 모델링, 형상 최적화, 모드 균형의 세 가지 관점을 기반으로 스킴 설계 및 효과 개선을 수행합니다.

1. 스플라인 보간을 기반으로 한 다중 앵커 형상 모델링

기본 형상 모델링 부분에 대해 연구진은 직접 조정할 수 있는 점 최적화 모델링의 새로운 패러다임을 설계했습니다. 포인트 좌표를 변경하여 패치 모양을 찾습니다. 이 프로세스에서 앵커 포인트의 이동은 방향, 거리 등에 의해 제한되지 않으므로 패치 모양에 대한 검색 공간이 효과적으로 늘어납니다. 이를 바탕으로 모양의 자연스러움을 보장하기 위해 스플라인 보간 방법을 사용하여 부드러운 연결을 구현하고 스플라인이 제어점을 보다 밀접하게 따르게 됩니다.

2. 미분 진화 기반 경계 제한 형상 최적화 알고리즘

공격을 구현하려면 효과적인 최적화 방법이 필요합니다. 이러한 이유로 연구자들은 시간 비용, 실제 효과 측면에서 진화 알고리즘을 기본 프레임워크로 간주합니다. 등 그리고 경계 설정과 적합성 기능이라는 두 가지 관점에서 개선이 이루어졌습니다.

(1) 경계 설정: 앵커 포인트의 경계 설정은 변형의 효율성을 높이고 시간 비용을 줄입니다. 다음 설정이 있습니다. 곡선 세그먼트에 루프나 자체 교차가 형성되지 않습니다. 곡선 세그먼트에 교두가 쉽게 나타나지 않으며 유효하지 않은 영역에도 나타나지 않습니다.

기준점

을 예로 들면 아래 그림의 파란색 부분은 경계 설정 범례이고, 주황색 부분은 오류 예입니다.

기준점의 경계 결정에 대해

수학적 표현은 다음과 같습니다.

(2) 피트니스 기능: 단일 모드로만 공격을 평가하는 이전 작업과 달리 이번 작업은 가시광선과 적외선의 두 가지 모드에 중점을 두고 있으며, 밸런스 모드의 효과에는 당연히 차이가 있습니다. 따라서 단일 모드를 쉽게 최적화하는 극단적인 상황을 피하기 위해 연구자들은 검출기 신뢰도 점수 인식을 기반으로 하는 교차 모드 적합성 함수를 혁신적으로 제안하여 두 모드의 효과 차이의 균형을 유지하면서 성공적인 방향 탐색을 장려했습니다. 모드, 그리고 마지막으로 점수에 따른 적자 생존입니다. 초기 단계와 후반 단계의 공격 난이도 차이를 고려하여 선형 함수 대신 지수 함수를 사용하여 단계별 공격 진행 차이를 강조합니다. 알고리즘은 두 모드 모두 성공적으로 공격하고 최적의 형상 전략을 출력할 때까지 탐색 프로세스를 반복합니다.전체 최적화 프로세스는 다음과 같습니다.

실험 결과

실험 1: 다양한 탐지기 시리즈에 대한 교차 모달 공격 성능 검증

실험 2: 형상에 대한 절제 실험

실험 3: 크로스모달 피트니스 기능에 대한 절제 실험

실험 4: 방법 견고성 물리적 구현 편차에 따른 검증

실험 5: 다양한 물리적 조건에서의 방법 효율성 검증

다양한 환경에서 성능 검증 결과를 시각화 각도, 거리, 자세 및 시나리오

Summary

이 작업은 변형 패치와 교차 모드 공격 결합, 물리적 환경에서의 가시-적외선 다중 모드 견고성 평가 방법을 설계합니다. 이 방법은 다중 모드(가시광선-적외선) 표적 탐지 시스템의 견고성을 평가하고, 평가 결과를 기반으로 탐지기 모델을 효과적으로 수정하며, 가시광선 및 적외선 모드 모두에서 표적 이미지 탐지의 정확도를 동시에 향상시킬 수 있습니다. 물리학 환경에서 실제로 구현 및 적용할 수 있으며 다중 모드 탐지 시스템의 견고성 평가 및 개선에 기여할 수 있습니다.

위 내용은 Beihang University는 모드 장벽을 허물고 가시광선 및 적외선 모드에 걸쳐 보편적인 물리적 반격 방법을 도입합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!