Bytedance Doubao와 무한 대학은 CAL을 제안했습니다: 시각적으로 관련된 토큰을 통해 다중 모드 정렬 효과를 향상합니다.-일체 포함-php.cn

Bytedance Doubao와 무한 대학은 CAL을 제안했습니다: 시각적으로 관련된 토큰을 통해 다중 모드 정렬 효과를 향상합니다.

WBOY

풀어 주다： 2024-06-19 09:53:01

원래의

911명이 탐색했습니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

현재 주류 시각적 언어 모델(VLM)은 주로 추가 미세 조정을 위한 LLM(대형 언어 모델)을 기반으로 합니다. 따라서 다양한 방법으로 이미지를 LLM의 임베딩 공간에 매핑한 후 자동 회귀 방법을 사용하여 이미지 토큰을 기반으로 답을 예측하는 것이 필요합니다.

이 과정에서 모달 정렬은 텍스트 토큰을 통해 암묵적으로 구현됩니다. 이 단계를 어떻게 정렬하는 것이 매우 중요합니다.

이 문제에 대응하여 우한대학교, ByteDance Beanbao 대형 모델팀, 중국과학원의 연구원들은 대조 학습을 기반으로 한 텍스트 토큰 스크리닝 방법(CAL)을 제안했습니다. 이미지와 관련성이 높은 이미지에는 손실 함수의 가중치가 증가하여 보다 정확한 다중 모드 정렬을 달성합니다.

字节豆包、武大提出 CAL：通过视觉相关的 token 增强多模态对齐效果

문서 링크: https://arxiv.org/pdf/2405.17871
코드 링크: https://github.com/foundation-multimodal-models/CAL

CAL의 주요 특징은 다음과 같습니다.

은 추가 사전 교육 단계 없이 교육 프로세스에 직접 중첩될 수 있습니다.
시각화를 통해 CAL이 이미지 모달 정렬을 향상시키는 것을 확인할 수 있습니다.
CAL을 사용하면 학습 프로세스가 시끄러운 데이터에 대한 저항력을 더욱 높일 수 있습니다.

연구 동기

현재 시각적 언어 모델은 이미지 양식의 정렬에 의존하며 정렬을 수행하는 방법은 매우 중요합니다. 현재 주류 방법은 텍스트 자동 회귀를 통해 암시적 정렬을 수행하는 것이지만, 이미지 정렬에 대한 각 텍스트 토큰의 기여도는 일관되지 않습니다. 이러한 텍스트 토큰을 구별하는 것이 매우 필요합니다.

CAL은 기존 시각적 언어 모델(VLM) 훈련 데이터에서 텍스트 토큰을 세 가지 범주로 나눌 수 있다고 제안했습니다. 사람, 동물, 사물), 수량, 색상, 텍스트 등 이러한 토큰은 이미지 정보에 직접적으로 해당하며 다중 모드 정렬에 중요합니다.

그림과 상관관계가 낮은 텍스트

이미지 내용과 모순되는 텍스트
标 그림 1: 녹색 표시는 관련성이 높은 토큰과 관련이 있고 빨간색은 내용과 반대이며 무색은 중립 토큰입니다. 토큰은 실제로 더 큰 비율을 차지하지만 이미지에 크게 의존하지 않기 때문에 이미지의 모달 정렬에 거의 영향을 미치지 않습니다. 따라서 더 나은 정렬을 위해서는 첫 번째 유형의 텍스트 토큰, 즉 이미지와 관련성이 높은 토큰의 가중치를 높일 필요가 있습니다. 이 토큰 부분을 어떻게 찾는지가 이 문제를 해결하는 열쇠가 되었습니다.
Method

이미지와 관련성이 높은 토큰 찾기 이 문제는 조건 대조를 통해 해결할 수 있습니다.

학습 데이터의 각 이미지-텍스트 쌍에 대해 이미지 입력이 없는 경우 각 텍스트 토큰의 로짓은 컨텍스트 및 기존 지식 값을 기반으로 이 상황 발생에 대한 LLM의 추정치를 나타냅니다.

앞에 이미지 입력을 추가하면 추가 상황 정보를 제공하는 것과 같습니다. 이 경우 각 텍스트 토큰의 로짓은 새로운 상황에 따라 조정됩니다. 이 두 경우의 로짓 변경은 각 텍스트 토큰에 대한 그림의 새로운 조건의 영향을 나타냅니다.
- 다음 네 가지 검증 부분이 포함되어 있습니다.
(1) CAL을 사용하는 모델은 다양한 벤치마크 지표에서 더 나은 성능을 발휘합니다.
(2) 두 이미지-텍스트 쌍의 텍스트를 비율에 맞게 무작위로 교환하여 노이즈 데이터(이미지-텍스트 불일치) 배치를 생성하고 이를 모델 훈련에 사용합니다. 훈련 과정을 만듭니다. 더 강력한 데이터 소음 방지 성능을 갖습니다. 도 그림 3: 다양한 강도의 소음 훈련의 경우 CAL의 성능과 기준선

(3) QA 사례의 답변 부분에서 그림 토큰의 주의 점수를 계산하고 이를 플롯팅합니다. 원본 이미지에서 CAL 훈련 모델은 더 명확한 주의 분포 맵을 갖습니다.

C 그림 4: 기준선과 CAL의 Attention Map을 시각화할 수 있습니다. 각 쌍의 오른쪽은 CAL
(4)과 가장 유사한 LLM 어휘의 텍스트 토큰입니다. 원본 이미지에서는 CAL로 훈련된 모델 매핑 콘텐츠가 이미지 콘텐츠에 더 가깝습니다. ㅋㅋ ~ >

^{Doubao Big Model 팀은 AI 분야에 대한 장기적인 비전과 의지를 가지고 있으며 연구 방향은 NLP, CV, 연설 등을 포함하며 중국에 실험실과 연구직이 있습니다. 싱가포르, 미국 및 기타 장소. 플랫폼의 충분한 데이터, 컴퓨팅 및 기타 리소스를 기반으로 팀은 자체 개발한 일반 대형 모델을 출시하여 다중 모드 기능을 제공하고 있으며 Doubao, Buttons 등 50개 이상의 비즈니스를 지원합니다. 및 Jimeng이며 Volcano Engine 고객을 통해 대중에게 공개됩니다. 현재 Doubao APP는 중국 시장에서 가장 많은 사용자를 보유한 AIGC 애플리케이션이 되었습니다. ByteDance Beanbao 모델 팀에 합류하신 것을 환영합니다.}