세 가지 개념을 뒤집으세요! Google의 최신 연구: 성능이 낮은 모델의 '유사성'을 계산하는 것이 더 정확합니까?

이미지 간의 유사성을 계산하는은 컴퓨터 비전의 공개 문제입니다.

이미지 생성이 전 세계적으로 유행하는 오늘날, "유사성"을 정의하는 방법 역시 생성된 이미지의 진위 여부를 평가하는 중요한 문제입니다.

현재 픽셀 단위의 차이(예: FSIM, SSIM)를 측정하는 등 이미지 유사성을 계산하는 상대적으로 직접적인 방법이 있지만 이 방법으로 얻은 유사성 차이는 이미지에서 인식하는 차이와 동일하지 않습니다. 인간의 눈 차이는 심오합니다.

딥 러닝이 등장한 후 일부 연구자들은 AlexNet, VGG, SqueezeNet 등과 같은 일부 신경망 분류기에 의해 ImageNet에서 교육을 받은 후 얻은 중간 표현이 지각 계산에 사용될 수 있음을 발견했습니다. 유사성.

즉, 임베딩은 픽셀보다 여러 이미지의 유사성에 대한 사람들의 인식에 더 가깝습니다.

물론 이것은 단지 가설 입니다.

최근 Google은 ImageNet 분류기가 지각적 유사성을 더 잘 평가할 수 있는지 여부를 구체적으로 연구하는 논문을 발표했습니다.

문서 링크: https://openreview.net/pdf?id=qrGKGZZvH0​

2018년에 출시된 BAPPS 데이터 세트에 대한 작업이 있었지만 BAPPS 데이터세트 지각 점수는 1세대 ImageNet 분류기에서 연구되었으며 정확도와 지각 점수 간의 상관관계는 물론 다양한 하이퍼파라미터의 영향을 추가로 평가하기 위해 최신 ViT 모델의 연구 결과도 추가되었습니다. .

정확도가 높을수록 인지된 유사성은 더 나빠지나요?

우리 모두 알고 있듯이 ImageNet의 훈련을 통해 학습된 기능은 많은 다운스트림 작업으로 잘 전달될 수 있으며 다운스트림 작업의 성능을 향상시킬 수 있으며, 이는 또한 ImageNet의 사전 훈련을 표준 작업으로 만듭니다.

또한 ImageNet에서 더 높은 정확도를 달성한다는 것은 손상된 이미지에 대한 견고성, 배포되지 않은 데이터 일반화 성능 및 더 작은 범주형 데이터 세트로의 전이 학습과 같은 다양한 다운스트림 작업 세트에서 더 나은 성능을 의미하는 경우가 많습니다.

그러나 지각적 유사성 계산으로 보면 모든 것이 반대인 것 같습니다.

ImageNet에서 높은 정확도를 달성한 모델은 실제로 지각 점수가 더 나쁜 반면, "중간" 점수를 가진 모델은 지각 유사성 작업에서 최고의 성능을 나타냅니다.

ImageNet 64 × 64 검증 정확도(x축), BAPPS 데이터 세트(y축)의 64 × 64 지각 점수, 각 파란색 점은 ImageNet 분류자를 나타냅니다.

다음을 수행할 수 있습니다. 더 나은 ImageNet 분류기가 어느 정도 더 나은 지각 점수를 달성하지만, 특정 임계값을 초과하면 정확도가 향상되어 분류기의 정확도가 보통(20.0-40.0)으로 감소함을 알 수 있습니다. 최고의 인식 점수 .

이 논문에서는 너비, 깊이, 훈련 단계 수, 가중치 감쇠, 라벨 평활화 및 드롭아웃과 같은 지각 점수에 대한 신경망 하이퍼파라미터의 영향도 연구합니다.

각 하이퍼파라미터에는 최적의 정확도가 있습니다. 정확도가 높아지면 지각 점수가 향상되지만 이 최적 값은 매우 낮으며 하이퍼파라미터 스윕 초기에 도달합니다.

이 외에도 분류기 정확도가 높아지면 지각 점수가 낮아집니다.

예를 들어, 이 기사에서는 ResNet의 훈련 단계와 ViT의 너비라는 두 가지 하이퍼 매개변수를 기준으로 지각 점수의 변화를 제공합니다.

조기 중지된 ResNet은 6, 50 및 200의 다양한 깊이 설정에서 최고의 지각 점수를 달성했습니다.

ResNet-50 및 ResNet-200의 지각 점수는 처음 몇 에포크에서 가장 높은 값에 도달했습니다. 그러나 최고점 이후에는 성능이 더 좋은 분류기의 지각 점수 값이 더 급격하게 떨어졌습니다.

결과는 ResNets의 훈련 및 학습률 조정이 단계가 증가함에 따라 모델의 정확도를 향상시킬 수 있음을 보여줍니다. 마찬가지로, 정점 이후 모델은 점진적으로 증가하는 정확도와 일치하는 지각 유사성 점수의 점진적인 감소를 나타냅니다.

ViTs는 입력 이미지에 적용된 Transformer 블록 세트로 구성됩니다. ViT 모델의 너비는 단일 Transformer 블록의 출력 뉴런 수입니다. 너비를 늘리면 모델의 정확도를 효과적으로 향상시킬 수 있습니다.

두 가지 ViT 변형의 너비를 대체하여 연구원들은 B/8(즉, Base-ViT 모델, 패치 크기는 4) 및 L/4(즉, Large-ViT 모델) 두 가지 모델을 확보하고 성별을 정확하게 평가했습니다. 그리고 인지도 평가.

결과는 여전히 초기 중지 ResNets 관찰과 유사하며 정확도가 낮고 더 좁은 ViT가 기본 너비보다 더 나은 성능을 발휘합니다.

그러나 ViT-B/8 및 ViT-L/4의 최적 너비는 각각 기본 너비의 6% 및 12%입니다. 또한 이 문서에서는 기타 하이퍼 매개변수에 대한 보다 자세한 실험 목록도 제공합니다. 너비, 깊이, 훈련 단계 수, 가중치 감소, 라벨 평활화 및 ResNet 및 ViT 전반의 드롭아웃 등이 있습니다.

그래서 인지된 유사성을 개선하려면 전략은 간단합니다. 정확도를 적절하게 낮추면 됩니다.

ImageNet 모델을 축소하여 지각 점수를 향상시킵니다. 표의 값은 기본 하이퍼매개변수

를 사용하는 모델에 비해 주어진 하이퍼매개변수를 사용하여 모델을 확장하여 얻은 개선점을 나타냅니다. 위의 결론, 우리는 아키텍처의 지각 점수를 향상시키기 위한 간단한 전략을 제안했습니다. 최적의 지각 점수가 달성될 때까지 모델을 축소하여 정확도를 줄입니다.

실험 결과에서도 각 하이퍼파라미터에 대해 각 모델을 축소하여 얻은 지각 점수 향상을 볼 수 있습니다. 조기 중지는 ViT-L/4를 제외한 모든 아키텍처에서 가장 높은 점수 향상을 가져오며, 조기 중지는 시간이 많이 걸리는 그리드 검색이 필요 없는 가장 효과적인 전략입니다.

전역 지각 함수

이전 작업에서는 지각 유사성 함수가 이미지 공간 차원에 걸친 유클리드 거리를 사용하여 계산되었습니다.

이 접근 방식은 픽셀 간의 직접적인 대응을 가정하지만 이러한 대응은 곡선, 변환 또는 회전된 이미지에는 적용되지 않을 수 있습니다.

이 기사에서 연구원들은 이미지의 전역 표현에 의존하는 두 가지 지각 기능, 즉 두 이미지 간의 스타일 유사성을 포착하는 신경 스타일 전달 작업에서 스타일 손실 기능과 정규화를 채택했습니다. 기능.

스타일 손실 함수는 두 이미지 간의 채널 간 상호 상관 행렬을 비교하는 반면, 평균 풀링 함수는 공간 평균 전역 표현을 비교합니다.

전역 퍼셉트론 기능은 훈련 에포크의 함수로서 네트워크 훈련 기본 하이퍼파라미터와 ResNet-200 모두의 지각 점수를 지속적으로 향상시킵니다.

이 기사에서는 정확도와 관계를 설명하기 위해 몇 가지 가정도 살펴봅니다. 인식 점수 사이에서 몇 가지 추가 통찰력을 얻었습니다.

예를 들어 일반적으로 사용되는 건너뛰기 연결이 없는 모델 정확도는 인식 점수에 반비례합니다. 즉, 출력에 가까운 레이어는 입력에 가까운 레이어에 비해 평균적으로 낮은 인식 점수를 갖습니다.

또한 왜곡 감도, ImageNet 카테고리 세분성 및 공간 주파수 감도를 더 자세히 조사했습니다.

간단히 말하면, 이 논문에서는 분류 정확도를 향상하면 더 나은 지각 지표가 생성되는지 여부에 대한 문제를 탐구합니다. 이는 서로 다른 하이퍼파라미터에서 ResNet과 ViT의 정확도와 지각 점수 간의 관계를 연구하고 지각 점수와 정확도가 역U를 나타내는 것을 발견합니다. 유형 관계는 정확도와 인식 점수가 어느 정도 관련되어 있으며 역U자형 관계를 보여줍니다.

마지막으로 이 기사에서는 건너뛰기 연결, 전역 유사성 함수, 왜곡 민감도, 계층적 지각 점수, 공간 주파수 민감도 및 ImageNet 카테고리 세분성을 포함하여 정확도와 지각 점수 간의 관계를 자세히 논의합니다.

ImageNet 정확도와 인지적 유사성 사이의 균형에 대한 정확한 설명은 여전히 ​​수수께끼로 남아 있지만, 이 문서는 앞으로 나아갈 첫 번째 단계입니다.

위 내용은 세 가지 개념을 뒤집으세요! Google의 최신 연구: 성능이 낮은 모델의 '유사성'을 계산하는 것이 더 정확합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!