Kuaishou 및 Beida 다중 모드 대형 모델: 이미지는 외국어이며 DALLE-3의 획기적인 제품과 비슷합니다.

동적 시각적 단어 분할 통합 그래픽 및 텍스트 표현인 Kuaishou와 Peking University는 다중 모드 이해 및 생성 작업 목록을 정리하기 위해 기본 모델 LaVIT를 제안하기 위해 협력했습니다.

GPT, LLaMA 등과 같은 현재의 대규모 언어 모델은 자연어 처리 분야에서 상당한 발전을 이루었으며 복잡한 텍스트 콘텐츠를 이해하고 생성할 수 있습니다. 그러나 우리는 이 강력한 이해와 생성 능력을 다중 모드 데이터로 이전하는 것을 고려해 보았습니까? 이를 통해 우리는 방대한 양의 이미지와 비디오를 쉽게 이해하고 풍부한 일러스트레이션 콘텐츠를 만들 수 있습니다. 이 비전을 실현하기 위해 Kuaishou와 Peking University는 최근 LaVIT라는 새로운 다중 모드 대형 모델을 개발하기 위해 협력했습니다. LaVIT는 이 아이디어를 점차 현실화하고 있으며, 앞으로의 발전을 기대합니다.

• 논문 제목: Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization

• 논문 주소: https://arxiv.org/abs/2309.04669

• 코드 모델 주소: https: //github.com/jy0205/LaVIT

모델 개요

LaVIT는 시각적 콘텐츠를 이해하고 생성할 수 있는 언어 모델과 유사한 새로운 일반 다중 모드 기본 모델입니다. LaVIT의 교육 패러다임은 대규모 언어 모델의 성공적인 경험을 바탕으로 하며 자동 회귀 접근 방식을 사용하여 다음 이미지 또는 텍스트 토큰을 예측합니다. 교육 후 LaVIT는 추가 미세 조정 없이 다중 모드 이해 및 생성 작업을 수행할 수 있는 다중 모드 범용 인터페이스 역할을 할 수 있습니다. 예를 들어 LaVIT에는 다음과 같은 기능이 있습니다.

LaVIT는 텍스트 프롬프트를 기반으로 고품질, 다양한 종횡비 및 미적인 이미지를 생성할 수 있는 고급 이미지 생성 모델입니다. LaVIT의 이미지 생성 기능은 Parti, SDXL 및 DALLE-3과 같은 최첨단 이미지 생성 모델과 비교하여 우수합니다. 고품질의 텍스트-이미지 생성을 효과적으로 달성하여 사용자에게 더 많은 선택권과 더 나은 시각적 경험을 제공할 수 있습니다.

다중 모드 프롬프트 기반 이미지 생성: LaVIT에서는 이미지와 텍스트가 이산화된 토큰으로 균일하게 표현되므로 여러 모달 조합(예: 텍스트, 이미지 + 텍스트, 이미지 + 이미지)을 프롬프트로 허용할 수 있습니다. 미세 조정 없이 해당 이미지를 생성합니다.

이미지 내용 이해 및 질문에 답하기: 입력 이미지가 주어지면 LaVIT는 이미지 내용을 읽고 의미를 이해할 수 있습니다. 예를 들어, 모델은 입력 이미지에 대한 캡션을 제공하고 해당 질문에 답할 수 있습니다.

방법 개요

LaVIT의 모델 구조는 아래 그림에 나와 있습니다. 전체 최적화 프로세스는 두 단계로 구성됩니다.

그림: LaVIT 모델의 전체 아키텍처

1단계 : 동적 시각적 토크나이저

자연어와 같은 시각적 콘텐츠를 이해하고 생성할 수 있도록 LaVIT는 시각적 콘텐츠(연속적인 신호)를 텍스트와 같은 토큰 시퀀스로 변환하는 잘 설계된 시각적 토크나이저를 도입합니다. LLM이 이해할 수 있는 외국어 같은 거죠. 저자는 통일된 비전과 언어 모델링을 이루기 위해서는 시각적 토크나이저(Tokenizer)가 다음과 같은 두 가지 특성을 가져야 한다고 믿습니다.

1. Discretization: 시각적 토큰은 텍스트처럼 이산화된 형태로 표현되어야 합니다. 이는 두 가지 양식에 대한 통합 표현 형식을 사용하며, 이는 통합된 자동 회귀 생성 훈련 프레임워크에서 다중 모드 모델링 최적화를 위해 동일한 분류 손실을 사용하는 LaVIT에 도움이 됩니다.

2. Dynamicification: 텍스트 토큰과 달리 이미지 패치는 그들 사이에 상당한 상호 의존성을 가지므로 한 패치를 다른 패치에서 추론하는 것이 상대적으로 간단합니다. 따라서 이러한 의존성은 원래 LLM의 다음 토큰 예측 최적화 목표의 효율성을 감소시킵니다. LaVIT는 다양한 이미지의 다양한 의미적 복잡성을 기반으로 동적 수의 시각적 토큰을 인코딩하는 토큰 병합을 사용하여 시각적 패치 간의 중복성을 줄이는 것을 제안합니다. 이러한 방식으로 복잡성이 다른 이미지의 경우 동적 토큰 인코딩을 사용하면 사전 학습의 효율성이 더욱 향상되고 중복 토큰 계산이 방지됩니다.

다음 그림은 LaVIT에서 제안하는 시각적 단어 분할 구조입니다.

^{그림: (a) 동적 시각적 토큰 생성기 (b) 토큰 결합기}

동적 시각적 토크나이저에는 토큰 선택기와 토큰 결합기가 포함되어 있습니다. 그림에서 볼 수 있듯이 토큰 선택기는 가장 유익한 이미지 블록을 선택하는 데 사용되는 반면, 토큰 병합은 유익하지 않은 시각적 블록의 정보를 보유 토큰으로 압축하여 중복 토큰을 병합하는 데 사용됩니다. 전체 동적 시각적 단어 분할기는 입력 이미지의 의미 재구성을 최대화하여 학습됩니다.

토큰 선택기

토큰 선택기는 N개의 이미지 블록 수준 기능을 입력으로 받고 각 이미지 블록의 중요성을 평가하고 전체 이미지를 완전히 표현하기 위해 가장 많은 양의 정보가 있는 블록을 선택하는 것입니다. 이 목표를 달성하기 위해 여러 MLP 레이어로 구성된 경량 모듈을 사용하여 분포 π를 예측합니다. 분포 π에서 샘플링하여 해당 이미지 패치를 유지할지 여부를 나타내는 이진 결정 마스크가 생성됩니다.

토큰 결합기

토큰 결합기는 N개의 이미지 블록을 생성된 결정 마스크에 따라 X_r을 유지하고 X_d를 폐기하는 두 그룹으로 나눕니다. X_d를 직접 버리는 것과 달리 토큰 결합기는 입력 이미지의 세부 의미를 최대한 보존할 수 있습니다. 토큰 결합기는 L 개의 블록으로 구성되며 각 블록에는 Causal Self-Attention 레이어, Cross-Attention 레이어 및 Feed-forward 레이어가 포함됩니다. Causal self-attention 레이어에서 X_r의 각 토큰은 LLM의 텍스트 토큰 형식과의 일관성을 보장하기 위해 이전 토큰에만 주의를 기울입니다. 이 전략은 양방향 self-attention에 비해 성능이 더 좋습니다. 교차 주의 계층은 보유된 토큰 X_r을 쿼리로 사용하고 의미론적 유사성을 기반으로 X_d의 토큰을 병합합니다.

2단계: 통합 생성 사전 훈련

시각적 단어 분할기에 의해 처리된 시각적 토큰은 텍스트 토큰과 연결되어 훈련 중 입력으로 다중 모달 시퀀스를 형성합니다. 두 가지 양식을 구별하기 위해 저자는 이미지 토큰 시퀀스의 시작과 끝 부분에 특수 토큰인 [IMG] 및 [/IMG]를 삽입합니다. 이는 시각적 콘텐츠의 시작과 끝을 나타내는 데 사용됩니다. LaVIT는 텍스트와 이미지를 생성하기 위해 [이미지, 텍스트] 및 [텍스트;

이러한 다중 모드 입력 시퀀스의 경우 LaVIT는 통합된 자동 회귀 접근 방식을 사용하여 사전 훈련을 위한 각 다중 모드 시퀀스의 가능성을 직접 최대화합니다. 표현 공간과 교육 방법의 완전한 통합은 LLM이 다중 모드 상호 작용 및 정렬을 더 잘 학습하는 데 도움이 됩니다. Pre-training이 완료되면 LaVIT는 이미지를 인지하는 능력을 갖게 되며 텍스트와 같은 이미지를 이해하고 생성할 수 있습니다.

실험

제로샷 다중 모드 이해

LaVIT는 이미지 캡션 생성(NoCaps, Flickr30k) 및 시각적 질문 응답(VQAv2)과 같은 제로 샷 다중 모드 이해 작업에서 최첨단 결과를 달성했습니다. , OKVQA, GQA, VizWiz) 최고의 성능.

^{표 1 Zero-shot 다중모달 이해 작업 평가}

Zero-shot 다중모달 생성

본 실험에서는 제안된 시각적 토크나이저가 이미지를 이산화 토큰으로 표현할 수 있으므로 LaVIT 자동 회귀를 통해 텍스트와 같은 시각적 토큰을 생성하여 이미지를 합성하는 기능이 있습니다. 저자는 제로샘플 텍스트 조건에서 모델의 이미지 합성 성능을 정량적으로 평가하였고, 비교 결과는 Table 2와 같다.

^{표 2 다양한 모델의 제로샷 텍스트-이미지 생성 성능}

표에서 볼 수 있듯이 LaVIT는 다른 모든 다중 모달 언어 모델보다 성능이 뛰어납니다. Emu와 비교하여 LaVIT는 더 작은 LLM 모델에서 추가 개선을 달성하여 탁월한 시각적-언어적 정렬 기능을 보여줍니다. 또한 LaVIT는 더 적은 훈련 데이터를 사용하면서 최첨단 텍스트-이미지 전문가 Parti와 비슷한 성능을 달성합니다.

멀티 모달 프롬프트 이미지 생성

LaVIT는 여러 모달 조합을 프롬프트로 원활하게 수용하고 미세 조정 없이 해당 이미지를 생성할 수 있습니다. LaVIT는 주어진 다중 모드 큐의 스타일과 의미를 정확하게 반영하는 이미지를 생성합니다. 그리고 입력의 다중 모드 단서를 사용하여 원본 입력 이미지를 수정할 수 있습니다. Stable Diffusion과 같은 기존 이미지 생성 모델은 추가로 미세 조정된 다운스트림 데이터 없이는 이 기능을 달성할 수 없습니다.

^{멀티모달 이미지 생성 결과 예시}

정성분석

아래 그림과 같이 LaVIT의 동적 토크나이저는 이미지 콘텐츠를 기반으로 가장 유익한 이미지 블록을 동적으로 선택할 수 있으며, 학습된 코드는 높은 수준의 의미를 지닌 시각적 인코딩을 생성할 수 있습니다.

^{동적 시각적 토크나이저 시각화(왼쪽) 및 학습된 코드북(오른쪽)}

요약

LaVIT의 출현은 다중 모드 작업 처리에 혁신적인 패러다임을 제공하며 성공적인 기술을 계승합니다. 비전과 언어를 통합된 개별 토큰 표현으로 표현하기 위해 동적 시각적 토크나이저를 사용하여 LLM의 자동 회귀 생성 학습 패러다임을 제공합니다. LaVIT는 통합된 생성 목표에 따라 최적화함으로써 이미지를 외국어처럼 취급하고 텍스트처럼 이해하고 생성할 수 있습니다. 이 방법의 성공은 LLM의 강력한 추론 기능을 사용하여 보다 스마트하고 포괄적인 다중 모드 이해 및 생성을 위한 새로운 가능성을 열어 미래 다중 모드 연구의 개발 방향에 대한 새로운 영감을 제공합니다.

위 내용은 Kuaishou 및 Beida 다중 모드 대형 모델: 이미지는 외국어이며 DALLE-3의 획기적인 제품과 비슷합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!