CV가 대형모델 시대를 연다! Google, 역사상 최대 규모의 ViT 출시: 220억 개의 매개변수, 시각적 인식은 인간의 그것에 가깝습니다.

Transformer는 의심할 여지없이 자연어 처리 분야의 번영에 가장 큰 기여를 하고 있으며, GPT-4와 같은 대규모 언어 모델의 인프라이기도 합니다.

그러나 언어 모델의 매개변수가 수백억 개에 달하는 것에 비해 컴퓨터 비전 분야는 Transformer의 이점을 그다지 활용하지 못합니다. 현재 가장 큰 시각적 Transformer 모델인 ViT-e는 매개변수가 40억개에 불과합니다.

최근 Google은 대규모 ViT(Vision Transformers) 모델을 효율적이고 안정적으로 훈련할 수 있는 방법을 연구자들이 제안한 논문을 발표하여 ViT 매개변수 수를 220억 개로 성공적으로 늘렸습니다.

문서 링크: https://arxiv.org/abs/2302.05442

모델 확장을 달성하기 위해 ViT-22B는 다른 언어 모델의 기능을 결합합니다(예: PaLM 모델) QK 정규화를 사용하여 훈련 안정성을 높이고, 새로운 비동기 병렬 선형 연산 방법을 제안하여 훈련 효율성을 높이고, 더 높은 하드웨어 효율성으로 Cloud TPU에서 훈련할 수 있다는 아이디어입니다.

다운스트림 작업의 성능을 평가하기 위해 ViT-22B 모델에 대한 실험을 수행했을 때 ViT-22B도 대규모 언어 모델과 유사한 기능을 보여주었습니다. 즉, 모델 규모가 커질수록 성능이 계속 향상됩니다.

ViT-22B는 PaLM-e에서도 사용할 수 있습니다. 언어 모델과 결합된 대형 모델은 로봇 작업의 기술 수준을 크게 향상시킬 수 있습니다.

연구원들은 공정성과 성능 사이의 더 나은 균형, 모양/질감 편향 측면에서 인간의 시각적 인식과의 일관성, 더 나은 견고성을 포함하여 규모가 가져오는 다른 이점을 추가로 관찰했습니다.

모델 아키텍처

ViT-22B는 Transformer 아키텍처를 기반으로 한 모델입니다. 원래 ViT 아키텍처와 비교하여 연구원들은 훈련 효율성과 훈련 안정성을 향상시키기 위해 주로 세 가지 수정을 거쳤습니다.

병렬 레이어

ViT-22B는 어텐션 블록과 MLP 블록을 병렬로 실행하는 반면 원래 Transformer에서는 순차적으로 실행됩니다.

PaLM 모델 학습에도 이 방법이 사용되는데, 이 방법을 사용하면 성능 저하 없이 대형 모델의 학습 속도를 15% 높일 수 있습니다.

쿼리/키(QK) 정규화

ViT를 확장하는 과정에서 연구원들은 80억 개의 매개변수가 있는 모델에서 주로 수천 단계의 훈련 후에 훈련 손실이 갈라지기 시작하는 것을 관찰했습니다. 어텐션 로짓의 지나치게 큰 값으로 인한 불안정성으로 인해 엔트로피가 0인 어텐션 가중치(거의 원-핫)가 발생합니다.

이 문제를 해결하기 위해 연구원들은 포인트 제품 주목도 계산 이전에 Query 및 Key에 LayerNorm을 사용했습니다.

80억 매개변수 모델에 대한 실험 결과는 아래 그림과 같습니다. 발산 문제.

QKV 투영 및 LayerNorms에서 바이어스 항 제거

PaLM 모델과 마찬가지로 ViT-22B는 QKV 투영 및 모든 LayerNorms에서 바이어스 항을 제거합니다. 바이어스 및 센터링이 없으면 하드웨어 활용도가 높아집니다. 품질 저하 없이 3% 정도 향상됩니다.

그러나 ViT-22B는 PaLM과 달리 (내부 및 외부) MLP 조밀하게 연결된 레이어에 대해 바이어스 항을 사용하여 품질이 향상되고 속도가 저하되지 않는 것을 관찰할 수 있습니다.

ViT-22B의 인코더 모듈에서 추출 패치, 선형 투영 및 추가 위치 임베딩을 포함한 임베딩 레이어는 원래 ViT에서 사용된 것과 동일하며 멀티 헤드 어텐션 풀링을 사용하여 토큰별 표현을 집계합니다. 각 머리에 .

ViT-22B의 패치 크기는 14×14이고 이미지의 해상도는 224×224입니다(인셉션 크롭 및 무작위 수평 뒤집기에 의해 전처리됨).

비동기 병렬 선형 연산

대규모 모델에도 샤딩이 필요합니다. 즉, 모델 매개변수가 여러 컴퓨팅 장치에 분산됩니다. 또한 연구원은 활성화(입력의 ​​중간 표현)도 수행합니다. 슬라이스.

입력과 행렬 자체가 다양한 장치에 분산되어 있기 때문에 행렬 곱셈과 같은 간단한 연산에도 특별한 주의가 필요합니다.

연구원들은 행렬 곱셈 장치(TPU에서 통신할 컴퓨팅 성능의 대부분을 차지하는 단위)에서 계산하는 동안 장치 간 활성화 및 가중치를 동시에 제어할 수 있는 비동기 병렬 선형 연산이라는 방법을 개발했습니다. .

비동기 방식은 수신 통신을 기다리는 시간을 최소화하여 장치 효율성을 높입니다.

비동기 병렬 선형 연산의 목표는 행렬 곱셈 y = Ax를 계산하는 것입니다. 그러나 행렬 A와 활성화 x는 모두 서로 다른 장치에 배포되므로 이를 달성하려면 장치 간 통신과 계산이 중복되어야 합니다. 행렬 A는 여러 장치에 걸쳐 열로 분할됩니다. 각 행렬에는 연속된 조각이 포함되어 있으며 각 블록은 Aij로 표시됩니다.

실험 결과

ViT-22B에서 학습한 표현이 매우 풍부하다는 것을 설명하기 위해 연구원들은 LiT-tuning을 사용하여 텍스트 모델을 훈련하여 텍스트와 이미지 정렬을 위한 일부 표현을 생성했습니다.

다음은 Parti와 Imagen에서 생성한 배포 외 이미지를 사용하여 얻은 실험 결과입니다. ViT-22B의 제로샷 이미지 분류 일반화 능력이 매우 강력하다는 것을 알 수 있습니다. web. 눈에 보이지 않는 사물과 장면을 자연스러운 이미지로 식별할 수 있습니다.

이 논문에서는 ViT-22B가 비디오 분류, 깊이 추정 및 의미론적 분할 작업에 미치는 영향도 논의합니다.

인간 객체 인식에 맞춰 조정

ViT-22B 분류 결정과 인간 분류 결정의 일관성을 확인하기 위해 연구원들은 OOD(배포 외) 데이터 세트의 다양한 해상도에서 ViT-22B를 미세 조정했습니다. 모델 대 인간 도구 상자를 통해 인간 비교 데이터를 사용할 수 있는 튜닝.

이 도구 상자는 주로 세 가지 주요 지표를 측정합니다. 모델이 왜곡(정확도)을 어떻게 처리합니까? 인간 정확도와 모델 정확도의 차이(정확도 차이)는 무엇입니까? 사람과 모델의 오류 패턴(오류 일관성)은 얼마나 유사합니까?

형상 편차 평가(값이 클수록 모양 편차가 더 많음을 나타냄). 많은 비전 모델은 낮은 형상/높은 텍스처 편향을 가지며, ImageNet에서 미세 조정된 ViT-22B는 현재까지 ML 모델 중 기록된 가장 높은 형상 편향을 가지며, 이는 인간 형상 편향에 더 가깝습니다.

실험 결과에 따르면 그렇지는 않지만 미세 조정된 솔루션은 모두 좋은 성능을 보였지만 ViT-22B 변형은 세 가지 지표 모두에서 새로운 최고치를 달성했습니다.

또한 ViT-22B 모델은 비주얼 모델 중 형태 편차가 가장 높은 모델이기도 합니다. 이는 분류 결정을 내리기 위해 물체의 질감보다는 물체의 모양을 주로 사용한다는 것을 의미하며, 전략 결과는 인간의 인식과 유사합니다(모양 편향은 96%).

표준 모델(예: ResNet-50은 20~30%의 모양 편향을 가짐)은 종종 질감을 기준으로 분류하는 반면, 모양 편향이 높은 모델은 모양(아래 이미지에서 고양이로 식별됨)에 초점을 맞추는 경향이 있습니다. 모델과 인식에는 여전히 많은 차이가 있지만 ViT-22B는 인간의 시각적 개체 인식과 더 많은 유사점을 보여줍니다.

고양이인가 코끼리인가? 자동차인가 시계인가? 새인가, 자전거인가? 한 물체의 모양과 다른 물체의 질감이 있는 이미지를 사용하여 모양/질감 편차를 측정할 수 있습니다.

배포 성능

OOD 데이터 세트의 성능을 측정하면 모델의 일반화 가능성을 평가하는 데 도움이 됩니다.

이 실험에서 연구원들은 JFT에서 ImageNet으로, ImageNet에서 ObjectNet과 같은 배포되지 않은 다양한 데이터 세트로의 레이블 매핑을 구성했습니다.

이러한 데이터에 대한 사전 학습 결과는 아래 그림과 같으며 모델은 ImageNet에서 완전히 미세 조정됩니다.

Vision Transformer를 확장하면 OOD 성능이 향상될 수 있음을 확인할 수 있습니다. ImageNet의 정확도가 포화 상태에 도달하더라도 ObjectNet에서 ViT-e에서 ViT-22B 모델로 전환하면 OOD 성능이 크게 향상될 수 있음을 알 수 있습니다. 성능.

Linear Probe

Linear Probe는 고정 모델 위에 단일 선형 레이어를 배치하는 기술로, 전체 미세 조정보다 훈련 비용이 저렴하고 설정이 더 쉽습니다.

ImageNet에서 훈련되고 ImageNet-Real, ImageNet-v2, ObjectNet, ImageNet-R 및 ImageNet-A 데이터 세트에서 평가된 선형 탐지 결과, 고해상도 미세 조정 ViT-e/14 제공 참고용

ViT-22B의 선형 감지 성능은 고해상도 이미지를 사용하여 더 작은 모델을 완전히 미세 조정하는 최첨단 수준에 가깝다는 것을 결과에서 볼 수 있습니다. 일반적으로 훨씬 더 비싸지만 많은 작업에서 더 나은 결과를 얻을 수 있습니다.

증류

증류법을 사용하면 더 큰 모델에 대한 지식을 더 작은 모델에 대한 지식으로 변환할 수 있어 더 비싸고 느리게 실행되는 대형 모델의 운영 효율성을 향상시킬 수 있습니다.

실험 결과에서 ViT-22B에 대한 지식을 ViT-B/16 및 ViT-L/16과 같은 더 작은 모델로 이전하고 동시에 ImageNet에서 새로 고칠 수 있음을 알 수 있습니다. 모델 크기 성능 기록.

공정성과 편향

기계 학습 모델은 잘못된 상관 관계를 찾거나 하위 그룹 간의 성능 격차가 발생하는 등 의도하지 않은 불공정한 편향에 취약하며 연구자들은 모델을 확장하면 이러한 문제를 완화하는 데 도움이 된다는 사실을 발견했습니다.

우선, 규모는 유망한 절충안입니다. 모델을 훈련한 다음 인구학적 동등 수준을 규정되고 허용 가능한 수준 이하로 제어하기 위해 사후 처리하더라도 성능은 시간이 지남에 따라 향상됩니다. 규모의 증가.

위: 편향 제거 전 CelebA의 각 하위 그룹 정확도. 아래: y축은 이 예에서 강조된 두 특정 하위 그룹(여성과 남성)에 대한 성과의 절대적인 차이를 보여줍니다. 더 작은 ViT 모델에 비해 ViT-22B의 성능 격차는 매우 작습니다.

더 중요한 것은 성능이 정확도 측면에서 측정될 때뿐만 아니라 교정(예: 모델 추정 확률의 진실성에 대한 통계적 측정)과 같은 다른 측정에도 적용된다는 점입니다. 규모가 커질수록 개선되는 경향이 있으며 ViT-22B는 하위 그룹 간의 성능 격차를 줄입니다.

결론

연구원들은 현재 220억 개의 매개변수를 포함하는 가장 큰 시각적 Transformer 모델 중 하나인 ViT-22B를 제안했습니다.

원래 모델 아키텍처에 작지만 중요한 수정을 함으로써 더 높은 하드웨어 활용도와 훈련 안정성이 달성되어 여러 벤치마크에서 상한 성능을 향상시키는 모델이 탄생했습니다.

고정 모델을 사용하여 임베딩을 생성하면 맨 위에 몇 개의 레이어만 훈련하면 매우 좋은 성능을 얻을 수 있으며, 평가 결과에 따르면 ViT-22B는 기존 모델에 비해 상당한 형태 및 텍스처 편향을 보여줍니다. 더 큰 유사성 인간의 시각적 인식에 적합하며 공정성과 견고성 측면에서 이점을 제공합니다.

위 내용은 CV가 대형모델 시대를 연다! Google, 역사상 최대 규모의 ViT 출시: 220억 개의 매개변수, 시각적 인식은 인간의 그것에 가깝습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!