이미지 검색에 어려움을 겪은 적이 있나요?
방대한 양의 이미지 중에서 원하는 이미지를 정확하게 찾기가 어렵거나, 텍스트 기반 검색에서는 만족스럽지 못한 결과를 얻을 수 있습니다. 이 문제와 관련하여 Microsoft Research Asia와 Microsoft 클라우드 컴퓨팅 및 인공 지능 부서의 연구원은 경량 시각적 모델에 대한 심층적인 연구를 수행하고 시각적 Transformer 경량 배포 요구 사항을 실현하기 위한 시각적 사전 훈련 모델에 대한 일련의 설계 및 압축 방법을 제안했습니다. .
현재 이 방법과 모델은 Microsoft의 Bing 검색 엔진에 성공적으로 적용되어 수백억 개의 이미지에 대해 정확하고 빠른 추론과 검색을 달성하고 있습니다. 이 기사에서는 경량 시각적 사전 훈련 모델의 개발, 핵심 기술, 응용 프로그램 및 잠재력뿐만 아니라 향후 기회와 과제에 대한 심층적인 설명을 제공할 것입니다. 관련 기술 개발을 공동으로 추진한다.
최근 Transformer 기반 시각적 사전 훈련 모델은 많은 컴퓨터 비전 작업에서 뛰어난 성능을 달성했으며 광범위한 관심을 받았습니다. 그러나 시각적 Transformer 사전 훈련 모델은 일반적으로 매개변수가 크고 복잡성이 높기 때문에 실제 애플리케이션, 특히 리소스가 제한된 장치 또는 실시간 요구 사항이 높은 시나리오에서의 배포 및 사용이 제한됩니다. 따라서 대규모 시각적 사전 훈련 모델에 대한 "경량" 연구가 학계와 산업계에서 새로운 핫스팟이 되었습니다.
이와 관련하여 Microsoft Research Asia와 Microsoft 클라우드 컴퓨팅 및 인공 지능 부서의 연구원들은 대형 시각적 모델의 구조 설계 및 훈련 추론에 대한 심층적인 연구를 수행하는 동시에, 경량화 및 실시간 성능에 중점을 두었습니다. 그리고 클라우드 배포로 인해 혁신적인 애플리케이션도 만들어졌습니다. 이 기사에서는 경량 시각적 사전 훈련 모델 개발에서 시작하여 모델 경량화 연구의 핵심 기술, 실제 제품에서의 경량 시각적 Transformer 모델의 적용 및 잠재력을 탐색하고 마지막으로 향후 개발 기회와 전망을 기대합니다. 가벼운 시각적 모델에 도전합니다.
최근 ImageNet 이미지 분류 작업에서 딥러닝의 발전은 주로 용량의 실질적인 확장에 힘입었습니다. 시각적 모델의 그림 1에서 볼 수 있듯이 불과 몇 년 만에 시각적 사전 훈련 모델의 용량은 4,450만 개의 매개변수를 가진 ResNet-101 모델에서 150억 개의 매개변수를 가진 V-MoE 모델로 300배 이상 확장되었습니다. 대규모 시각적 사전 학습 모델 학습 모델은 이미지 이해 및 시각적 콘텐츠 생성과 같은 작업에서 큰 발전을 이루었습니다.
그림 1: 시각적 사전 훈련 모델 매개변수의 변화 추세 차트
Microsoft의 30억 매개변수 Swin-V2 모델이든 Google에서 출시한 18억 매개변수 ViT-G/14 모델이든, 대규모 시각적 모델은 많은 작업에서 뛰어난 성능을 보여 주었으며, 특히 일반 지능을 달성하는 데 중요한 강력한 소형 샷(few-shot) 및 제로 샷(zero-shot) 일반화 기능을 보여주었습니다.
그러나 많은 실제 시나리오에서는 스토리지 및 컴퓨팅 리소스의 제한으로 인해 대형 모델을 직접 배포하기 어렵거나 실시간 요구 사항을 충족할 수 없습니다. 따라서 경량의 시각적 사전 훈련 모델에 대한 연구가 점점 더 중요해지고 있으며 실질적인 적용 가치가 높습니다. 현재 경량 모델을 탐색하는 일부 작업이 있지만 이러한 방법의 대부분은 특정 작업 및 특정 구조를 위해 설계되었습니다. 모델의 다양성은 설계 및 교육 과정에서 고려되지 않으며 데이터 영역 및 작업 제한에 걸쳐 일반화가 있습니다.
경량 시각적 사전 훈련 모델을 구현하기 위해 Microsoft 연구원들은 두 가지 핵심 문제를 발견했습니다. 1) 보다 다양한 경량 모델 구조를 설계하는 방법은 무엇입니까? 2) 경량의 시각적 사전 훈련 모델의 제한된 용량에 따라 작은 모델이 대규모 데이터에서 효과적인 정보를 학습할 수 있도록 효율적인 사전 훈련 방법을 설계하는 방법은 무엇입니까? 이러한 문제에 직면한 연구자들은 끊임없는 연구와 탐색을 통해 몇 가지 초기 결과를 달성했습니다.
경량 사전 학습 모델의 다양성을 향상시키는 핵심은 제한된 리소스(매개변수 양, 지연 등) 조건에서 모델의 학습 능력을 어떻게 강화하여 더 잘 학습할 수 있는지에 있기 때문입니다. 대규모 데이터의 보편적 특성에 대해 연구자들은 다음 세 가지 관점에서 심층적인 탐구를 진행했습니다.
경량 및 저지연 모듈은 경량 모델의 중요한 부분입니다. 컨벌루션 신경망에서 대표적인 경량 모듈로는 MobileNet의 Inverted Residual Block과 ShuffleNet의 채널 랜덤 크로스오버 유닛(Shuffle Unit)이 있습니다. 시각적 Transformer 구조에서는 이미지 블록 간의 주의 계산이 상대 위치 인코딩 정보를 잘 고려하지 않기 때문에 연구자들은 플러그 앤 플레이 방식의 경량 2차원 이미지 상대 위치 인코딩 방법 iRPE를 설계했습니다. 훈련 하이퍼파라미터를 수정하지 않고도 모델의 성능을 향상시킬 수 있습니다. 또한 시각적 Transformer 매개변수 중복 문제를 해결하기 위해 연구자들은 Weight Multiplexing 모듈을 설계했습니다[2]. 그림 2에서 볼 수 있듯이 이 방법은 다층 가중치 재사용을 통해 모델 매개변수의 중복성을 줄이고 매개변수 다양성을 높이기 위해 비공유 선형 변환을 도입합니다.
그림 2: Transformer의 가중치 다중화 모듈
신경 아키텍처 검색은 모델 설계 공간에서 자동으로 찾을 수 있습니다. 더 가볍고 더 나은 모델 구조 성능 [3]. 컨벌루션 신경망의 대표적인 작품으로는 NASNet과 EfficientNet이 있습니다. 시각적 Transformer 구조 검색에서 연구자들은 시각적 모델의 채널 폭, 네트워크 깊이, 헤드 수와 같은 다차원에 대해 AutoFormer [4] 및 S3 [5]를 연속적으로 제안하여 시각적 모델의 동적 확장 가능한 훈련 및 확장성을 실현했습니다. . 구조 검색. 동일한 모델 정확도 하에서 검색을 통해 얻은 새로운 모델은 더 적은 수의 매개변수 및 계산을 갖습니다. S3에서 연구자들은 검색 공간을 안내하고 개선하기 위해 E-T Error [5]와 가중치 공유 슈퍼넷을 사용하여 보다 효율적인 모델 구조를 얻는 동시에 그림과 같이 검색 공간의 진화 과정도 분석했다는 점에 주목할 필요가 있습니다. 3개 표시. 동시에 모델 구조 검색 프로세스는 경량 모델 설계에 대한 효과적인 설계 경험과 참조를 제공합니다.
그림 3: 경량 모델 검색 공간 진화 프로세스
경량 사전 학습 모델의 또 다른 어려움은 모델 용량이 제한되어 있다는 것입니다. 대규모 데이터에 담긴 풍부한 정보와 지식을 직접적으로 학습하기는 어렵습니다. 이러한 문제를 해결하기 위해 연구자들은 대형 모델의 지식을 경량 소형 모델로 전달하는 빠른 사전 훈련 증류 방식을 제안했습니다[6]. 그림 4에서 볼 수 있듯이 기존의 단일 단계 지식 증류와 달리 빠른 사전 학습 증류는 1) 대규모 모델 학습 과정에서 사용되는 데이터 증강 정보 및 예측 정보를 압축하고 저장합니다. 2) 로드 및 복원합니다. 대형 모델의 예측 정보와 데이터가 증강된 후, 대형 모델은 교사로 사용되어 사전 훈련 증류를 통해 경량 학생 모델의 학습과 훈련을 안내합니다. 가지치기 및 양자화와 달리 이 방법은 가중치 공유를 기반으로 위에서 언급한 가중치 재사용을 사용합니다. 경량 가중치 변환 및 증류를 도입하여 대규모 시각적 사전 훈련 모델을 성공적으로 압축하고 보다 강력한 경량 모델을 얻습니다. 이 방법을 사용하면 성능 저하 없이 원본 대형 모델을 수십 번 압축할 수 있습니다.
그림 4: 빠른 사전 훈련 지식 증류
이 일련의 연구 결과는 컴퓨터 비전에 관한 최고의 학술 컨퍼런스(CVPR, ICCV, ECCV, NeurIPS 등)에서 많은 논문을 발표했을 뿐만 아니라 [1-6] 역시 Microsoft Bing과의 협력을 통해 경량 사전 학습 모델을 이미지 검색 제품에 성공적으로 적용하여 실제 비즈니스에서 이미지 및 비디오 콘텐츠에 대한 이해 능력을 향상시켰습니다.
경량 시각적 사전 훈련 모델은 특히 실시간 렌더링 및 클라우드 비디오 향상, 엔드투엔드 이미지 테스트 및 비디오 콘텐츠 이해와 같이 실시간 요구 사항이 높거나 리소스 제약이 있는 시나리오에서 많은 실제 용도를 갖습니다. . 경량의 시각적 모델은 스마트 소매, 첨단 제조 및 기타 분야에서 폭넓은 응용 가능성을 보여 주었으며 향후 메타버스 및 자율 주행과 같은 신흥 산업에서 중요한 역할을 할 것입니다. 다음은 Microsoft Bing 제품의 이미지 콘텐츠 검색을 예로 들어 경량 시각적 모델의 실제 적용 및 배포를 보여줍니다.
현재 콘텐츠 기반 이미지 검색은 이미지의 카테고리 속성을 이해하는 데 비교적 성숙했지만, 복잡한 장면의 콘텐츠를 이해하는 데는 여전히 큰 어려움이 있습니다. 복잡한 장면의 사진은 일반적으로 넓은 피사계 심도, 어수선한 배경, 많은 캐릭터, 복잡한 개체 관계와 같은 특성을 가지므로 콘텐츠 이해의 어려움이 크게 증가하므로 사전 학습 모델의 견고성과 일반화에 대한 요구 사항이 더 높아집니다.
예를 들어, 애니메이션 사진의 검색 품질은 오랫동안 효과적으로 향상될 수 없습니다. 주요 과제는 다음과 같습니다. 선과 색상이 실제 장면 사진보다 더 과장되어 있고, 더 많은 액션과 장면이 포함되어 있으며, 다양한 만화가 있습니다. 스타일과 내용의 큰 차이. 그림 5~7은 각각 "슬램덩크", "피카츄", "캡틴"의 세 가지 다른 만화 캐릭터와 행동을 보여줍니다. 각각의 만화 스타일과 내용은 매우 다릅니다. 만화 그림의 내용을 효과적으로 이해하는 방법은 시각적 사전 훈련 모델에 대한 더 높은 요구 사항을 제시합니다.
그림 5: Microsoft Bing 검색 엔진에서 슬램덩크 마스터의 행동에 대한 이해에는 덩크, 드리블, 도루, 슈팅 등이 포함됩니다.
그림 6: Microsoft Bing에서 검색 엔진에서 피카츄의 행동에 대한 이해는 사과 먹기, 수박 먹기, 아이스크림 먹기 등입니다.
그림 7: Microsoft Bing 검색 엔진에서 축구 선수의 슈팅 동작을 클로즈업한 모습
위에서 언급한 경량의 시각적 일반 모델과 빠른 사전 훈련 증류 알고리즘은 Microsoft의 Bing 검색 엔진에서 성공적으로 사용되었습니다. Microsoft Research Asia에서 제공하는 시각적 언어 다중 모달 사전 학습 모델의 도움으로 Microsoft의 Bing 이미지 검색 기능은 만화 콘텐츠에 대한 이해를 높이고 사용자 요구에 더 잘 맞는 이미지 콘텐츠를 반환할 수 있습니다.
동시에 Microsoft Bing 검색 엔진의 거대한 인덱스 라이브러리는 검색 효율성에 대한 요구 사항이 매우 높습니다. Microsoft Research Asia에서 제공하는 신속한 사전 훈련 증류 방법은 사전 훈련된 대형 모델의 인덱싱 기능을 경량 모델로 효과적으로 마이그레이션하여 기존 모델의 인식 정확도를 14% 향상시키고 모델 계산 효율성을 크게 최적화합니다. , 수백억 개의 이미지에 대한 빠른 추론을 달성합니다.
모델 경량화는 미래 인공 지능 응용의 핵심입니다. 비전 기술, 알고리즘, 컴퓨팅 성능 및 데이터가 지속적으로 향상됨에 따라 모델의 복잡성이 극적으로 증가했으며 신경망 계산의 에너지 소비 비용이 점점 더 높아졌습니다. 경량의 시각적 모델의 높은 계산 효율성과 낮은 배포 및 애플리케이션 비용은 향후 더 많은 실제 제품에서 큰 이점을 제공할 수 있습니다. 또한 현지화된 경량의 사전 훈련된 시각적 모델은 더 많은 서비스를 지원하는 동시에 사용자 데이터와 개인 정보를 더 효과적으로 보호할 수 있습니다. 사용자의 데이터는 더 이상 장치 외부로 나갈 필요가 없으므로 모델 서비스와 같은 기능을 원격으로 업그레이드할 수 있습니다.
물론 연구자들은 사전 훈련된 가벼운 시각적 모델이 직면한 과제도 알고 있습니다. 한편으로는 모델 구조 설계 측면에서 모델 수의 제약 하에서 모델의 최적 학습 능력을 달성하는 방법을 알고 있습니다. 매개 변수 및 추론 지연은 항상 있어 왔습니다. 이는 학계와 업계가 세심한 주의를 기울이는 문제입니다. 많은 효과적인 모델 구조가 축적되고 UAT(Universal Approximation Theorem), NAS(Neural Network Structure Search) 등의 분야에서 큰 진전이 있었지만, 기존의 경량 사전 학습된 시각적 모델과 시각적 대규모 모델에는 여전히 격차가 있습니다. 더욱 최적화되고 개선되어야 하는 모델 간. 한편, 훈련 방법 측면에서 학계와 업계에서는 대형 시각적 모델에 대한 자기 감독, 이미지 분류, 다중 모드 등 다양한 훈련 방법을 제안하여 모델의 전반적인 성능을 크게 향상시켰습니다. 용량이 제한된 경량 모델에 대해 보다 효과적인 훈련 방법을 설계하는 방법은 추가 연구와 탐색이 필요합니다. Microsoft Research Asia의 연구원들은 사전 훈련된 가벼운 시각적 모델의 과학적 연구 진행을 지속적으로 홍보하고 이 분야의 관련 기술에 대해 소통하고 탐색할 더 많은 기술 동료를 환영할 것입니다.
위 내용은 이미지 검색을 효율적이고 정확하게 수행하는 방법은 무엇입니까? 경량 비전 사전 훈련 모델을 살펴보세요의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
