목차
하나. 연구 배경
II. 연구 방법
1.Tip-Adapter
3. 실험 결과
1. ImageNet의 분류 정확도
2. 또 다른 10개의 이미지 분류 데이터 세트에서
3. 도메인 일반화 능력 평가
넷. 결론
기술 주변기기 일체 포함 다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

Apr 12, 2023 pm 03:25 PM
영상 기차

다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.


  • 문서 링크: https://arxiv.org/pdf/2207.09519.pdf
  • 코드 링크: https://github.com/gaopengcuhk/Tip-Adapter

하나. 연구 배경

CLIP(Contrastive Image Language Pre-training Model)는 최근 강력한 시각적 도메인 전송 기능을 입증했으며 새로운 다운스트림 데이터 세트에서 제로샷 이미지 인식을 수행할 수 있습니다. CLIP의 마이그레이션 성능을 더욱 향상시키기 위해 기존 방법은 다운스트림 데이터 세트에 대한 소량의 훈련 데이터를 제공하는 CoOp 및 CLIP-Adapter와 같은 소수 설정을 사용하므로 CLIP이 다양한 시각적 시나리오에 대해 더 나은 결정을 내릴 수 있습니다. . 그러나 이 추가 교육 단계는 상당한 시간과 공간 리소스 오버헤드를 가져오며 이는 CLIP 고유의 빠른 지식 전달 기능에 어느 정도 영향을 미칩니다. 따라서 우리는 추가적인 다운스트림 학습이 필요하지 않고 CLIP의 정확도를 크게 향상시킬 수 있는 몇 장의 이미지 분류 방법인 Tip-Adapter를 제안합니다. 이를 바탕으로 우리는 적은 양의 미세 조정만으로 최첨단 성능을 달성할 수 있는 솔루션인 Tip-Adapter-F를 제안하여 효율성과 성능 간의 최상의 절충안을 달성했습니다. 아래 표 1에서 볼 수 있듯이 Tip-Adapter는 훈련 시간이 필요하지 않으므로 ImageNet 데이터 세트의 CLIP을 +1.7% 정확도(Accuracy)로 향상시킬 수 있는 반면 Tip-Adapter-F는 훈련 시간의 1/10만 필요합니다. 이전 솔루션(Epochs, Time) 중 최고의 분류 성능을 얻을 수 있습니다.

다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

표 1: ImageNet 데이터세트에 대한 다양한 체계의 16샷 이미지 분류 정확도 및 학습 시간 비교

II. 연구 방법

1.Tip-Adapter

Tip-Adapter의 전체 네트워크 구조는 아래 그림 1과 같습니다. 주어진 Few-Shot 훈련 데이터 세트와 레이블에 대해 CLIP을 사용하여 비훈련 솔루션 Cache를 구축합니다. 테스트 중에 다운스트림 훈련 데이터의 분류 지식을 저장하는 모델, Tip-Adapter는 캐시 모델의 예측과 원본 CLIP의 예측을 선형적으로 추가하여 더 강력한 최종 분류 결과를 얻습니다.

자세히 말하면 CLIP 사전 훈련된 시각적 인코더(Visual Encoder)를 사용하여 Few-shot 훈련 세트의 모든 이미지 특징을 캐시 모델의 키로 추출하고 해당 이미지 레이블을 하나로 변환합니다. 캐시 모델의 값으로 핫 인코딩 형식. 이 Key-Value Cache 모델 구축 방법은 사전 훈련된 Visual Encoder를 사용하고, Few-shot 훈련 세트에 각 카테고리(1~16개 샷)에 대한 적은 수의 이미지만 포함되어 있으므로 훈련 오버헤드가 필요하지 않습니다. 캐시 모델은 추가 그래픽 메모리 오버헤드도 거의 차지하지 않습니다. 표 1의 GPU 메모리 표시기를 참조하세요.

테스트 이미지의 경우 먼저 CLIP의 Visual Encoder를 사용하여 기능을 가져온 다음 기능을 쿼리로 처리하여 캐시 모델의 다운스트림 소수 데이터에 대한 지식 검색을 수행합니다. Key는 CLIP의 Visual Encoder에서도 추출되므로 테스트 이미지 기능 Query와 동일한 원점을 가지므로 Key-Query 인접 행렬을 얻기 위해 이들 간의 코사인 유사성을 직접 계산할 수 있습니다. 가치에. 따라서 캐시 모델을 검색하여 얻은 이 테스트 이미지에 대한 분류 예측을 얻기 위해 값의 가중 합을 계산할 수 있습니다. 또한 테스트 이미지 특징을 CLIP의 Textual Encoder 텍스트 특징과 일치시켜 CLIP의 제로샷 예측을 얻을 수도 있습니다. 두 가지의 합에 선형 가중치를 적용하여 CLIP에서 사전 훈련된 이미지 언어 대조 지식과 새로운 다운스트림 데이터 세트의 소수 지식을 모두 포함하는 최종 분류 예측을 얻으므로 보다 정확한 예측을 달성할 수 있습니다. 강력한 이미지 분류 정확도.

Tip-Adapter의 네트워크 구조를 기반으로 Cache Model의 Keys 부분을 학습 매개변수로 변환할 수 있으며, 이 솔루션은 Tip-Adapter-F입니다. 이미 구축된 캐시 모델의 도움으로 Tip-Adapter-F는 표 1에 표시된 것처럼 더 높은 성능을 달성하기 위해 기존 CLIP-Adapter의 훈련 라운드와 시간의 10분의 1만 필요합니다.

다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

그림 1: Tip-Adapter와 Tip-Adapter-F의 네트워크 흐름도

2. Tip-Adapter와 기존 솔루션의 차이점 및 연관성

CLIP- Adapter 비교 , 그림 2에서 볼 수 있듯이 Tip-Adapter에 저장된 키와 값은 실제로 CLIP-Adapter의 어댑터 구조의 두 선형 레이어에 해당할 수 있지만 전자는 구축하는 데 교육이 필요하지 않으며 후자는 무작위입니다. 그런 다음 최적의 매개 변수를 학습하려면 훈련이 필요합니다.

다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

그림 2: Tip-Adapter와 CLIP-Adapter 비교

캐시 모델 구축을 위한 기존의 다른 솔루션과 비교하면 그림 3과 같이 Tip-Adapter의 캐시 모델을 볼 수 있습니다. 캐시는 다중 모드의 시각적 언어입니다. CLIP의 Textual Encoder에서 출력되는 기능은 텍스트의 Key-Value로 간주될 수 있으므로 이미지 기능을 쿼리로 테스트하는 것과 동일하므로 시각적 캐시와 텍스트 캐시에서만 지식을 검색하는 기존 솔루션과 비교됩니다. 시각적 캐시, Tip-Adapter는 다중 모드 지식을 활용하여 더 강력한 인식 성능을 얻을 수 있습니다.

다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

그림 3: 캐시 모델 구축을 위한 다른 솔루션과 팁 어댑터 비교

3. 실험 결과

1. ImageNet의 분류 정확도

그림 4와 표 2는 1, 2, 4, 8, 16샷 이미지 분류 정확도를 Tip-Adapter, Tip-Adapter-F와 비교합니다. 3은 16샷 ImageNet 데이터 세트에서 다양한 CLIP을 사용하여 Visual Encoder의 정확도를 비교합니다. 두 가지 솔루션 모두 리소스 오버헤드가 거의 없이 뛰어난 성능을 달성하는 것을 볼 수 있습니다.

다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

그림 4 및 표 2: ImageNet 데이터세트에 대한 다양한 방법의 1~16샷 이미지 분류 정확도 비교


다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

5:16 - Shot ImageNet에서 다른 CLIP을 사용하는 Visual Encoder의 이미지 분류 정확도 비교

2. 또 다른 10개의 이미지 분류 데이터 세트에서

그림 5와 같이 우리는 또 다른 10개의 이미지 분류 데이터 세트의 정확도를 제공합니다. 결과는 StandfordCars, UCF101, Caltech101, Flowers102, SUN397, DTD, EuroSAT, FGVCAircraft, OxfordPets 및 Food101입니다. 그림에서 볼 수 있듯이 당사의 Tip-Adapter-F는 모두 가장 높은 인식 정확도를 달성했습니다.

다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

그림 5: 다른 10개 데이터 세트에 대한 다양한 방법의 1~16샷 이미지 분류 정확도 비교

3. 도메인 일반화 능력 평가

도메인 일반화에서 Tip-Adapter와 Tip-Adapter-F의 성능을 테스트했습니다. 표 6에서 볼 수 있듯이 두 가지 방식 모두 강력한 견고성과 기능 전송 기능을 보여줍니다.

다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.

넷. 결론

본 논문에서는 다운스트림 소수 이미지 분류를 위해 CLIP을 사용하기 위한 교육이 필요 없는 솔루션인 Tip-Adapter를 제안합니다. Tip-Adapter는 테스트 이미지 Query에 대한 지식 검색 데이터베이스로 Key-Value Cache Model을 구축하고, Cache Model의 예측과 CLIP의 Zero-shot 예측을 융합하여 보다 강력한 인식 성능을 얻습니다. Tip-Adapter가 사전 훈련된 모델의 효율적인 마이그레이션에 대한 후속 작업에 더 많은 영감을 줄 수 있기를 바랍니다.

위 내용은 다운스트림 교육 없이 Tip-Adapter는 CLIP 이미지 분류 정확도를 크게 향상시킵니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

오픈 소스! ZoeDepth를 넘어! DepthFM: 빠르고 정확한 단안 깊이 추정! 오픈 소스! ZoeDepth를 넘어! DepthFM: 빠르고 정확한 단안 깊이 추정! Apr 03, 2024 pm 12:04 PM

0. 이 글은 어떤 내용을 담고 있나요? 우리는 다재다능하고 빠른 최첨단 생성 단안 깊이 추정 모델인 DepthFM을 제안합니다. DepthFM은 전통적인 깊이 추정 작업 외에도 깊이 인페인팅과 같은 다운스트림 작업에서 최첨단 기능을 보여줍니다. DepthFM은 효율적이며 몇 가지 추론 단계 내에서 깊이 맵을 합성할 수 있습니다. 이 작품을 함께 읽어보아요~ 1. 논문 정보 제목: DepthFM: FastMoncularDepthEstimationwithFlowMatching 저자: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Tongyi Qianwen은 다시 오픈 소스이며 Qwen1.5는 6개 볼륨 모델을 제공하며 성능은 GPT3.5를 초과합니다. Tongyi Qianwen은 다시 오픈 소스이며 Qwen1.5는 6개 볼륨 모델을 제공하며 성능은 GPT3.5를 초과합니다. Feb 07, 2024 pm 10:15 PM

봄 축제에 맞춰 Tongyi Qianwen Large Model(Qwen) 버전 1.5가 온라인에 출시되었습니다. 오늘 아침, 새 버전 소식이 AI 커뮤니티의 이목을 끌었습니다. 대형 모델의 새 버전에는 0.5B, 1.8B, 4B, 7B, 14B 및 72B의 6가지 모델 크기가 포함됩니다. 그 중 가장 강력한 버전의 성능은 GPT3.5와 Mistral-Medium을 능가합니다. 이 버전에는 기본 모델과 채팅 모델이 포함되어 있으며 다국어 지원을 제공합니다. Alibaba의 Tongyi Qianwen 팀은 관련 기술이 Tongyi Qianwen 공식 웹사이트와 Tongyi Qianwen 앱에도 출시되었다고 밝혔습니다. 또한 오늘의 Qwen 1.5 릴리스에는 다음과 같은 주요 기능이 있습니다. 32K 컨텍스트 길이를 지원하고 Base+Chat 모델의 체크포인트를 엽니다.

인코더-디코더 아키텍처를 버리고 더 나은 결과를 얻기 위해 확산 모델을 사용하여 더 나은 결과를 얻었습니다. 인코더-디코더 아키텍처를 버리고 더 나은 결과를 얻기 위해 확산 모델을 사용하여 더 나은 결과를 얻었습니다. Feb 07, 2024 pm 10:12 PM

현재 딥 에지 감지 네트워크는 일반적으로 다중 레벨 기능을 더 잘 추출하기 위해 업 및 다운 샘플링 모듈을 포함하는 인코더-디코더 아키텍처를 채택합니다. 그러나 이 구조는 정확하고 상세한 에지 감지 결과를 출력하기 위해 네트워크를 제한합니다. 이 문제에 대한 대응으로 AAAI2024에 대한 논문이 새로운 솔루션을 제공합니다. 논문 제목: DiffusionEdge:DiffusionProbabilisticModelforCrispEdgeDetection 저자: Ye Yunfan(국방기술대학교), Xu Kai(국립국방기술대학교), Huang Yuxing(국립국방기술대학교), Yi Renjiao(국립국방기술대학교), Cai Zhiping (국방기술대학교) 논문링크 : https://ar

대형 모델도 슬라이스할 수 있으며 Microsoft SliceGPT는 LLAMA-2의 계산 효율성을 크게 높입니다. 대형 모델도 슬라이스할 수 있으며 Microsoft SliceGPT는 LLAMA-2의 계산 효율성을 크게 높입니다. Jan 31, 2024 am 11:39 AM

LLM(대형 언어 모델)은 일반적으로 수십억 개의 매개변수를 가지며 수조 개의 토큰에 대해 훈련됩니다. 그러나 이러한 모델은 훈련하고 배포하는 데 비용이 매우 많이 듭니다. 계산 요구 사항을 줄이기 위해 다양한 모델 압축 기술이 종종 사용됩니다. 이러한 모델 압축 기술은 일반적으로 증류, 텐서 분해(낮은 순위 인수분해 포함), 가지치기 및 양자화의 네 가지 범주로 나눌 수 있습니다. 가지치기 방법은 한동안 사용되어 왔지만 성능을 유지하기 위해 가지치기 후 RFT(복구 미세 조정)가 필요한 경우가 많아 전체 프로세스에 비용이 많이 들고 확장이 어렵습니다. ETH Zurich와 Microsoft의 연구원들은 SliceGPT라는 이 문제에 대한 솔루션을 제안했습니다. 이 방법의 핵심 아이디어는 가중치 행렬에서 행과 열을 삭제하여 네트워크의 임베딩을 줄이는 것입니다.

안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

초지능의 생명력이 깨어난다! 하지만 자동 업데이트 AI가 등장하면서 엄마들은 더 이상 데이터 병목 현상을 걱정할 필요가 없습니다. 초지능의 생명력이 깨어난다! 하지만 자동 업데이트 AI가 등장하면서 엄마들은 더 이상 데이터 병목 현상을 걱정할 필요가 없습니다. Apr 29, 2024 pm 06:55 PM

세상은 미친 듯이 큰 모델을 만들고 있습니다. 인터넷의 데이터만으로는 충분하지 않습니다. 훈련 모델은 '헝거게임'처럼 생겼고, 전 세계 AI 연구자들은 이러한 데이터를 탐식하는 사람들에게 어떻게 먹이를 줄지 고민하고 있습니다. 이 문제는 다중 모드 작업에서 특히 두드러집니다. 아무것도 할 수 없던 시기에, 중국 인민대학교 학과의 스타트업 팀은 자체 새로운 모델을 사용하여 중국 최초로 '모델 생성 데이터 피드 자체'를 현실화했습니다. 또한 이해 측면과 생성 측면의 두 가지 접근 방식으로 양측 모두 고품질의 다중 모드 새로운 데이터를 생성하고 모델 자체에 데이터 피드백을 제공할 수 있습니다. 모델이란 무엇입니까? Awaker 1.0은 중관촌 포럼에 최근 등장한 대형 멀티모달 모델입니다. 팀은 누구입니까? 소폰 엔진. 런민대학교 힐하우스 인공지능대학원 박사과정 학생인 Gao Yizhao가 설립했습니다.

Sora 'Ke Ling'의 Kuaishou 버전이 테스트용으로 공개되었습니다. 120초가 넘는 비디오를 생성하고 물리학을 더 잘 이해하며 복잡한 움직임을 정확하게 모델링할 수 있습니다. Sora 'Ke Ling'의 Kuaishou 버전이 테스트용으로 공개되었습니다. 120초가 넘는 비디오를 생성하고 물리학을 더 잘 이해하며 복잡한 움직임을 정확하게 모델링할 수 있습니다. Jun 11, 2024 am 09:51 AM

무엇? 주토피아는 국내 AI로 현실이 되는 걸까? 영상과 함께 노출된 것은 '켈링'이라는 국산 대형 영상세대 신형 모델이다. Sora는 유사한 기술 경로를 사용하고 자체 개발한 여러 기술 혁신을 결합하여 크고 합리적인 움직임뿐만 아니라 물리적 세계의 특성을 시뮬레이션하고 강력한 개념적 결합 능력과 상상력을 갖춘 비디오를 제작합니다. 데이터에 따르면 Keling은 최대 1080p의 해상도로 30fps에서 최대 2분의 초장 영상 생성을 지원하며 다양한 화면비를 지원합니다. 또 다른 중요한 점은 Keling이 실험실에서 공개한 데모나 비디오 결과 시연이 아니라 단편 비디오 분야의 선두주자인 Kuaishou가 출시한 제품 수준 애플리케이션이라는 점입니다. 더욱이 백지 작성이 아닌 실용성에 중점을 두고, 출시되자마자 온라인에 진출하는 데 중점을 두고 있다. 콰이잉에서는 커링의 대형 모델이 출시됐다.

미 공군이 주목할만한 최초의 AI 전투기를 선보였습니다! 전 과정에 걸쳐 장관이 직접 간섭 없이 테스트를 진행했고, 10만 줄의 코드를 21차례 테스트했다. 미 공군이 주목할만한 최초의 AI 전투기를 선보였습니다! 전 과정에 걸쳐 장관이 직접 간섭 없이 테스트를 진행했고, 10만 줄의 코드를 21차례 테스트했다. May 07, 2024 pm 05:00 PM

최근 군계는 미군 전투기가 이제 AI를 활용해 완전 자동 공중전을 완수할 수 있다는 소식에 충격을 받았다. 네, 얼마 전 미군의 AI 전투기가 최초로 공개되면서 그 미스터리가 드러났습니다. 이 전투기의 정식 명칭은 VISTA(Variable Stability Flight Simulator Test Aircraft)로 미 공군 장관이 직접 조종해 일대일 공중전을 모의 실험한 것이다. 5월 2일, 미 공군 장관 프랭크 켄달(Frank Kendall)이 X-62AVISTA를 타고 에드워드 공군 기지에서 이륙했습니다. 1시간의 비행 동안 모든 비행 작업은 AI에 의해 자동으로 완료되었습니다. Kendall은 "지난 수십 년 동안 우리는 자율 공대공 전투의 무한한 잠재력에 대해 생각해 왔지만 항상 도달할 수 없는 것처럼 보였습니다."라고 말했습니다. 그러나 지금은,

See all articles