이미지 및 비디오 생성에서는 언어 모델이 처음으로 확산 모델을 물리쳤으며 토크나이저가 핵심입니다.

대규모 언어 모델(LLM 또는 LM)은 원래 언어를 생성하는 데 사용되었지만 시간이 지남에 따라 다양한 양식으로 콘텐츠를 생성할 수 있게 되었으며 오디오, 음성, 코드 생성, 의료 응용 프로그램, 로봇 공학과 같은 영역에서 사용됩니다. , 등 인수 시작

물론 LM에서는 이미지와 동영상도 생성할 수 있습니다. 이 프로세스 동안 이미지 픽셀은 시각적 토크나이저에 의해 일련의 개별 토큰으로 매핑됩니다. 그런 다음 이러한 토큰은 LM 변환기에 공급되어 생성 모델링을 위한 어휘처럼 사용됩니다. 시각적 생성의 상당한 발전에도 불구하고 LM은 여전히 ​​확산 모델보다 성능이 떨어집니다. 예를 들어, 이미지 생성에 대한 최고의 표준 벤치마크인 ImageNet 데이터 세트에서 평가할 때 최고의 언어 모델은 확산 모델보다 무려 48%나 더 나쁜 성능을 보였습니다(256ˆ256 해상도에서 이미지를 생성할 때 FID 3.41 대 1.79).

영상 생성에서 언어 모델이 확산 모델보다 뒤처지는 이유는 무엇입니까? Google과 CMU의 연구자들은 주된 이유가 시각적 세계를 효과적으로 모델링하기 위한 자연어 시스템과 유사한 좋은 시각적 표현이 부족하기 때문이라고 믿습니다. 이 가설을 확인하기 위해 그들은 연구를 수행했습니다.

논문 링크: https://arxiv.org/pdf/2310.05737.pdf

이 연구는 동일한 교육 데이터, 비교 가능한 모델 크기 및 교육 예산 하에서 우수한 시각적 토크나이저를 사용하여 마스크 처리된 것을 보여줍니다. 언어 모델은 이미지 및 비디오 벤치마크의 생성 충실도와 효율성 모두에서 SOTA 확산 모델을 능가합니다. 이는 상징적인 ImageNet 벤치마크에서 언어 모델이 확산 모델을 능가한다는 최초의 증거입니다.

연구원의 목적은 언어 모델이 다른 모델보다 나은지 주장하는 것이 아니라 LLM 시각적 토큰화 방법의 탐색을 촉진하는 것임을 강조해야 합니다. LLM과 다른 모델(예: 확산 모델)의 근본적인 차이점은 LLM이 개별 잠재 형식, 즉 시각적 토크나이저에서 얻은 토큰을 사용한다는 것입니다. 이 연구는 다음과 같은 장점 때문에 이러한 개별 시각적 토큰의 가치를 무시해서는 안 된다는 것을 보여줍니다.

1. 토큰 표현의 주요 장점은 언어 토큰과 동일한 형식을 공유하므로 더 빠른 훈련 및 추론 속도, 모델 인프라의 발전, 확장 방법을 포함하여 LLM을 개발하기 위해 수년 동안 커뮤니티가 수행한 최적화를 직접 활용한다는 것입니다. 모델, GPU/TPU 최적화와 같은 혁신. 동일한 토큰 공간을 통해 비전과 언어를 통합하면 시각적 환경 내에서 이해하고, 생성하고, 추론할 수 있는 진정한 다중 모드 LLM의 기반을 마련할 수 있습니다.

2. 압축 표현. 개별 토큰은 비디오 압축에 대한 새로운 관점을 제공할 수 있습니다. 시각적 토큰은 인터넷 전송 중에 데이터가 차지하는 디스크 저장 공간과 대역폭을 줄이기 위해 새로운 비디오 압축 형식으로 사용될 수 있습니다. 압축된 RGB 픽셀과 달리 이러한 토큰은 기존 압축 해제 및 잠재 인코딩 단계를 우회하여 생성 모델에 직접 공급될 수 있습니다. 이는 비디오 생성 애플리케이션의 처리 속도를 높일 수 있으며 특히 엣지 컴퓨팅 상황에 유용합니다.

3. 시각적 이해의 장점. 이전 연구에서는 BEiT 및 BEVT에서 논의된 것처럼 자기 지도 표현 학습에서 사전 훈련 목표로서 이산 레이블의 가치를 보여주었습니다. 또한, 연구에서는 마커를 모델 입력으로 사용하면 견고성과 일반화 성능을 향상시킬 수 있다는 사실을 발견했습니다

본 논문에서 연구자들은 비디오(및 이미지)를 컴팩트한 형식으로 변환하는 것을 목표로 하는 MAGVIT-v2라는 비디오 토크나이저를 제안했습니다. 개별 토큰

내용은 다음과 같이 다시 작성되었습니다. 이 모델은 VQ-VAE 프레임워크 내의 SOTA 비디오 토크나이저인 MAGVIT의 개선을 기반으로 합니다. 연구원들은 두 가지 새로운 기술을 제안했습니다. 1) 대규모 어휘 학습을 가능하게 하여 언어 모델 생성 품질을 향상시키는 혁신적인 조회 없는 수량화 방법 2) 광범위한 경험적 분석을 통해 MAGVIT의 수정이 생성 품질을 향상시킬 뿐만 아니라 , 공유 어휘를 사용하여 이미지와 비디오를 토큰화할 수도 있습니다

실험 결과에 따르면 새 모델은 세 가지 핵심 영역인 MAGVIT에서 이전 최고 성능의 비디오 분할기보다 성능이 뛰어난 것으로 나타났습니다. 첫째, 새 모델은 MAGVIT의 생성 품질을 크게 향상시켜 일반적인 이미지 및 비디오 벤치마크에서 최고 수준의 결과를 달성했습니다. 둘째, 사용자 연구에 따르면 압축 품질이 MAGVIT 및 현재 비디오 압축 표준 HEVC를 초과하는 것으로 나타났습니다. 게다가 차세대 비디오 코덱인 VVC와도 비교할 수 없습니다. 마지막으로 연구원들은 두 가지 설정과 세 가지 데이터 세트의 비디오 이해 작업에서 새로운 단어 분할이 MAGVIT보다 더 나은 성능을 발휘한다는 것을 보여줍니다

방법 소개

이 문서에서는 시각적 장면의 시공간 역학을 언어 모델에 적합한 컴팩트한 개별 토큰으로 매핑하는 것을 목표로 하는 새로운 비디오 토크나이저를 소개합니다. 또한 이 방법은 MAGVIT를 기반으로 합니다.

이후 연구에서는 LFQ(Lookup-Free Quantization)와 토크나이저 모델 개선이라는 두 가지 새로운 디자인을 강조합니다.

조회 없는 양자화

최근 VQ-VAE 모델이 큰 발전을 이루었지만 이 방법에는 문제가 있습니다. 즉, 재구성 품질 향상과 후속 세대 품질 간의 관계입니다. 분명하지 않다. 많은 사람들은 재구성을 개선하는 것이 언어 모델 생성을 개선하는 것과 동일하다고 잘못 믿고 있습니다. 예를 들어 어휘를 확장하면 재구성의 질이 향상될 수 있습니다. 그러나 이러한 개선은 어휘가 작은 세대에만 적용되며 어휘가 매우 클 경우 언어 모델의 성능에 해를 끼칠 것입니다

본 논문에서는 VQ-VAE 코드북 임베딩 차원을 0으로 줄입니다. 교체된 코드북 은 정수 집합 으로, 여기서 입니다.

VQ-VAE 모델과 달리 이 새로운 디자인은 포함된 조회의 필요성을 완전히 제거하므로 이름이 LFQ입니다. 본 논문에서는 LFQ가 어휘력을 증가시켜 언어 모델 생성의 품질을 향상시킬 수 있음을 발견했습니다. 그림 1의 파란색 곡선에서 볼 수 있듯이 어휘 크기가 증가함에 따라 재구성과 생성 모두 향상됩니다. 이는 현재 VQ-VAE 방법에서는 관찰되지 않는 속성입니다.

지금까지 사용할 수 있는 LFQ 방법은 많지만 이 문서에서는 간단한 변형에 대해 설명합니다. 구체적으로, LFQ의 잠재 공간은 1차원 변수의 데카르트 곱, 즉 으로 분해됩니다. 특징 벡터 가 주어지면 양자화 표현 q(z)의 각 차원은 다음에서 얻습니다.

LFQ와 관련하여 q(z)의 토큰 인덱스는 다음과 같습니다. 제외 또한 이 기사에서는 학습 과정 중에 엔트로피 페널티를 추가합니다.

시각 토크나이저 모델 개선

공동 이미지-비디오 토크나이저를 구축하려면 다시 설계해야 합니다. . 연구에 따르면 공간 변환기와 비교하여 3D CNN의 성능이 더 우수합니다

이 문서에서는 두 가지 가능한 설계 솔루션을 탐구합니다. 그림 2b는 C-ViViT와 MAGVIT를 결합합니다. 그림 2c는 기존 3D CNN을 대체하기 위해 시간적 인과 3D 컨볼루션을 사용합니다. .

표 5a는 그림 2의 설계를 경험적으로 비교한 결과 인과적 3D CNN이 가장 잘 수행된다는 것을 알 수 있습니다.

이 문서에서는 MAGVIT 성능을 향상시키기 위해 다른 아키텍처 수정을 수행합니다. 인과적인 3D CNN 레이어를 사용하는 것 외에도 이 논문에서는 인코더 다운샘플러를 평균 풀링에서 스트라이드 컨볼루션으로 변경하고 레이어 등의 각 해상도에서 잔여 블록 앞에 적응형 그룹 정규화를 추가합니다.

실험 결과

본 논문에서는 비디오 및 이미지 생성, 비디오 압축, 동작 인식의 세 가지 실험을 통해 제안된 단어 분할기의 성능을 검증합니다. 그림 3은 토크나이저를 이전 연구 결과

비디오 세대와 시각적으로 비교합니다. 표 1은 우리 모델이 두 벤치마크 모두에서 기존의 모든 기술보다 성능이 뛰어나다는 것을 보여주며, 이는 좋은 시각적 토크나이저가 LM이 고품질 비디오를 생성할 수 있도록 하는 데 중요한 역할을 한다는 것을 보여줍니다. MAGVIT-v2의 이미지 생성 결과를 평가함으로써 본 연구에서는 우리의 모델이 샘플링 품질(ID 및 IS) 및 추론 시간 효율성(샘플링 단계) 측면에서 최고의 확산 모델의 성능을 초과한다는 것을 확인했습니다. 그림 5는 시각화를 보여줍니다. 결과.

동영상 압축. 결과는 표 3에 나와 있습니다. 우리 모델은 모든 지표에서 MAGVIT보다 성능이 뛰어나고 LPIPS에서는 모든 방법보다 성능이 뛰어납니다.

표 4에서 볼 수 있듯이 MAGVIT-v2는 이러한 평가에서 이전 최고의 MAGVIT보다 성능이 뛰어납니다

위 내용은 이미지 및 비디오 생성에서는 언어 모델이 처음으로 확산 모델을 물리쳤으며 토크나이저가 핵심입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!