CVPR 2023|Meitu와 국립과학기술대학교는 시각적 Transformer 과적합 문제를 효과적으로 피하기 위해 두 줄의 코드를 사용하는 DropKey 정규화 방법을 공동으로 제안했습니다.

최근 Transformer 기반 알고리즘은 다양한 컴퓨터 비전 작업에 널리 사용되지만 이러한 유형의 알고리즘은 훈련 데이터의 양이 적을 때 과적합 문제가 발생하기 쉽습니다. 기존 Vision Transformers는 CNN에서 일반적으로 사용되는 드롭아웃 알고리즘을 정규화 도구로 직접 도입하는 경우가 많습니다. 이 알고리즘은 Attention Weight Map에서 무작위 드롭을 수행하고 다양한 깊이의 Attention 레이어에 대한 통합 드롭 확률을 설정합니다. Dropout은 매우 간단하지만 이 Drop 방법에는 세 가지 주요 문제점이 있습니다.

먼저, 소프트맥스 정규화 후 무작위 Drop을 수행하면 Attention 가중치의 확률 분포가 깨지고 가중치 피크에 페널티를 적용하지 못하여 모델이 여전히 로컬 특정 정보에 과적합됩니다(그림 1). 둘째, 네트워크의 더 깊은 레이어에서 더 큰 드롭 확률은 높은 수준의 의미 정보가 부족하게 되는 반면, 더 얕은 레이어에서 더 작은 드롭 확률은 기본 세부 기능에 과적합으로 이어지므로 일정한 드롭 확률은 훈련 과정이 불안정해질 수 있습니다. 마지막으로 Vision Transformer의 CNN에서 일반적으로 사용되는 구조화된 드롭 방식의 유효성이 명확하지 않습니다.

그림 1 주의 분포 맵에 대한 다양한 정규화 도구의 영향

Meitu Imaging Research Institute(MT Lab)와 University of Chinese Academy of Sciences는 CVPR 2023에 대한 기사를 게시했습니다. Vision Transformer의 과적합 문제를 효과적으로 완화할 수 있는 새로운 플러그 앤 플레이 정규화 장치 DropKey가 제안되었습니다.

논문 링크: https://arxiv.org/abs/2208.02646

다음 세 가지 핵심 문제가 기사에서 연구됩니다.

첫 번째, 주의 계층에서 수행해야 할 작업 정보 Drop 작업을 수행하려면? Attention 가중치를 직접 Drop하는 것과는 다르게 Attention Matrix를 계산하기 전에 Drop 연산을 수행하고 Key를 기본 Drop 단위로 사용합니다. 이 방법은 정규화기 DropKey가 주의가 높은 영역에 불이익을 주고 다른 관심 영역에 주의 가중치를 할당함으로써 모델의 글로벌 정보 캡처 능력을 향상시킬 수 있음을 이론적으로 검증합니다.

두 번째, 드랍 확률은 어떻게 설정하나요? 동일한 Drop 확률을 공유하는 모든 레이어와 비교하여 본 논문에서는 Self-Attention 레이어가 심화됨에 따라 Drop 확률 값을 점차적으로 감쇠시키는 새로운 Drop 확률 설정 방법을 제안합니다.

셋째, CNN처럼 구조화된 Drop 작업을 수행해야 합니까? 이 방법은 블록 창과 교차 창을 기반으로 구조화된 드롭 접근 방식을 시도한 결과 이 ​​기술이 Vision Transformer에 중요하지 않다는 것을 발견했습니다.

Background

Vision Transformer(ViT)는 최근 컴퓨터 비전 모델의 새로운 패러다임으로 이미지 인식, 이미지 분할, 인간 핵심 ​​포인트 탐지 및 상호 탐지 등의 작업에 널리 사용됩니다. 사람들.중. 구체적으로 ViT는 사진을 고정된 개수의 이미지 블록으로 나누고, 각 이미지 블록을 기본 단위로 취급하며, 상호 관계가 포함된 특징 정보를 추출하기 위해 Multi-Head Self-Attention 메커니즘을 도입합니다. 그러나 기존 ViT와 유사한 방법은 작은 데이터 세트에서 과적합 문제로 어려움을 겪는 경우가 많습니다. 즉, 지정된 작업을 완료하기 위해 대상의 로컬 기능만 사용합니다.

위의 문제를 극복하기 위해 본 논문에서는 ViT 클래스 메서드의 과적합 문제를 완화하기 위해 단 두 줄의 코드로 구현할 수 있는 플러그 앤 플레이 정규화 DropKey를 제안합니다. 기존 Dropout과 달리 DropKey는 Key를 Drop 객체에 설정하고, 이러한 변경으로 인해 Attention Value가 높은 부분에 Penalty를 부여하는 동시에 모델이 Target과 관련된 다른 이미지 패치에 더 주의를 기울이도록 유도할 수 있음을 이론적, 실험적으로 검증했습니다. 전역적으로 강력한 기능을 포착하는 데 도움이 됩니다. 또한, 이 논문에서는 계속해서 심화되는 주의 계층에 대해 감소하는 드롭 확률을 설정하는 것을 제안합니다. 이를 통해 모델이 낮은 수준 기능에 과적합되는 것을 방지하는 동시에 안정적인 훈련을 위해 충분한 높은 수준 기능을 보장할 수 있습니다. 또한, 이 논문은 ViT에는 구조화된 드롭 방식이 필요하지 않음을 실험적으로 증명했습니다.

DropKey

본 연구에서는 먼저 Attention 메커니즘을 간단한 최적화 목적으로 형식화하고 Lagrangian 확장 형식을 분석했습니다. 모델이 지속적으로 최적화되면 현재 반복에서 주의 비율이 더 높은 이미지 패치가 다음 반복에서 더 큰 주의 가중치가 할당되는 경향이 있는 것으로 나타났습니다. 이 문제를 완화하기 위해 DropKey는 주의 분산을 제한하고 더 원활하게 만들기 위해 Key의 일부를 무작위로 삭제하여 각 주의 블록에 적응형 연산자를 암시적으로 할당합니다. 특정 작업을 위해 설계된 다른 정규화 도구와 비교할 때 DropKey에는 수동 설계가 필요하지 않다는 점은 주목할 가치가 있습니다. 훈련 단계에서 Key에 대해 무작위 삭제가 수행되어 훈련 및 테스트 단계에서 출력 기대치가 일관되지 않게 되므로 이 방법에서는 몬테카를로 방법 또는 미세 조정 기술을 사용하여 출력 기대치를 정렬하는 것도 제안합니다. 또한 이 방법을 구현하려면 그림 2와 같이 두 줄의 코드만 필요합니다.

그림 2 DropKey 구현 방법

일반적으로 ViT는 여러 Attention 레이어를 겹쳐서 점차적으로 고차원 기능을 학습합니다. 일반적으로 얕은 레이어는 저차원의 시각적 특징을 추출하는 반면, 깊은 레이어는 모델링 공간에 대한 거칠지만 복잡한 정보를 추출하는 것을 목표로 합니다. 따라서 본 연구에서는 대상 객체의 중요한 정보를 잃지 않도록 깊은 레이어에 대한 드롭 확률을 더 작게 설정하려고 시도합니다. 구체적으로 DropKey는 각 레이어마다 고정된 확률로 무작위 드랍을 수행하지 않고, 레이어 수가 늘어날수록 드롭 확률을 점차 줄여줍니다. 또한 연구에 따르면 이 접근 방식은 DropKey에서 작동할 뿐만 아니라 Dropout 성능도 크게 향상시키는 것으로 나타났습니다.

CNN에서 구조화된 드롭 방법이 자세히 연구되었지만 이 드롭 방법이 ViT에 미치는 성능 영향은 연구되지 않았습니다. 이 전략이 성능을 더욱 향상시킬 수 있는지 알아보기 위해 이 문서에서는 DropKey-Block과 DropKey-Cross라는 두 가지 구조화된 DropKey 형식을 구현합니다. 그 중 DropKey-Block은 그림 3과 같이 Seed Point를 중심으로 사각형 창에 연속된 영역을 DropKey-Cross는 Seed Point를 중심으로 십자 모양의 연속 영역을 Drop합니다. 그러나 연구에서는 구조화된 드롭 접근 방식이 성능 향상으로 이어지지 않는 것으로 나타났습니다.

그림 3 DropKey의 구조적 구현 방법

실험 결과

그림 4 CIFAR10/100

에서 DropKey 및 Drop out 성능 비교

그림 5 CIFAR100에서 DropKey와 Dropout의 주의 지도 시각화 효과 비교

그림 6 다양한 드롭 확률 설정 전략의 성능 비교

그림 7 다양한 출력 기대 정렬 전략의 성능 비교

그림 9 ImageNet의 DropKey 및 Dropout 성능 비교

그림 10 COCO

그림 11 HICO-DET

그림 12 성능 HICO-DET

에서 DropKey와 Dropout 비교

그림 13 HICO-DET에서 DropKey와 Dropout 간의 Attention Map을 시각적으로 비교

Summary

이 논문에서는 과적합을 완화하는 데 사용되는 ViT용 정규화 장치를 혁신적으로 제안합니다. ViT의 문제. 기존 Regularizer와 비교하여 이 방법은 Key를 드롭 객체로 설정하는 것만으로 Attention 레이어에 대한 원활한 Attention 분산을 제공할 수 있습니다. 또한, 본 논문에서는 과적합을 효과적으로 완화하면서 훈련 과정을 성공적으로 안정화하는 새로운 낙하 확률 설정 전략도 제안합니다. 마지막으로, 이 문서에서는 구조화된 드롭 방법이 모델 성능에 미치는 영향도 조사합니다.

위 내용은 CVPR 2023|Meitu와 국립과학기술대학교는 시각적 Transformer 과적합 문제를 효과적으로 피하기 위해 두 줄의 코드를 사용하는 DropKey 정규화 방법을 공동으로 제안했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!