확산 모델에 Transformer를 사용하여 AI 생성 비디오가 사실감을 구현합니다.

비디오 생성 시나리오에서 Transformeri를 확산 모델의 노이즈 제거 백본으로 사용하는 것이 Li Feifei와 같은 연구자들에 의해 실현 가능한 것으로 입증되었습니다. 이는 비디오 생성 분야에서 Transformer의 큰 성공으로 간주될 수 있습니다.

최근 비디오 제너레이션 리서치는 X네티즌으로부터 '할리우드의 종말'이라는 평가를 받을 정도로 많은 호평을 받고 있습니다.

정말 그렇게 좋은가요? 먼저 효과를 살펴보겠습니다:

분명히 이 영상들은 인공물이 거의 없을 뿐만 아니라 매우 일관되고 디테일이 풍부하여 블록버스터 영화에 몇 개의 프레임을 추가하더라도 분명히 모순되지는 않을 것 같습니다.

이 영상의 작성자는 Stanford University, Google, Georgia Institute of Technology의 연구진이 제안한 Window Attention Latent Transformer, 즉 Window Attention Latent Transformer, 즉 W.A.L.T라고 합니다. 이 방법은 Transformer 아키텍처를 잠재 비디오 확산 모델에 성공적으로 통합합니다. 스탠포드 대학의 Feifei Li 교수도 논문의 저자 중 한 명입니다.

• 프로젝트 웹사이트: https://walt-video-diffusion.github.io/
• 논문 주소: https://walt-video-diffusion.github.io/assets/W.A.L.T.pdf

이에 앞서 Transformer 아키텍처는 다양한 분야에서 큰 성공을 거두었지만, 이미지 및 비디오 생성 모델링 분야는 예외입니다. 이 분야에서 지배적인 패러다임은 확산 모델입니다.

이미지 및 비디오 생성 분야에서는 확산 모델이 주요 패러다임이 되었습니다. 그러나 모든 비디오 확산 방법 중에서 지배적인 백본 네트워크는 일련의 Convolutional 및 Self-Attention 레이어로 구성된 U-Net 아키텍처입니다. Transformer의 전체 주의 메커니즘에 대한 메모리 요구 사항이 입력 시퀀스의 길이에 따라 2차적으로 증가하기 때문에 U-Net이 선호됩니다. 비디오와 같은 고차원 신호를 처리할 때 이러한 성장 패턴으로 인해 계산 비용이 매우 높아집니다.

잠재 확산 모델(LDM)은 오토인코더에서 파생된 저차원 잠재 공간에서 작동하므로 계산 요구 사항이 줄어듭니다. 이 경우 주요 설계 선택은 잠재 공간 유형(공간 압축 대 시공간 압축)입니다.

사람들은 공간 압축을 선호하는 경우가 많습니다. 사전 훈련된 이미지 자동 인코더와 LDM(대형 쌍의 이미지-텍스트 데이터 세트를 사용하여 훈련됨)을 사용할 수 있기 때문입니다. 그러나 공간 압축을 선택하면 네트워크 복잡성이 증가하고 특히 고해상도 비디오를 생성할 때 Transformer를 네트워크 백본으로 사용하기가 어려워집니다(메모리 제약으로 인해). 반면, 시공간 압축은 이러한 문제를 완화할 수 있지만, 비디오-텍스트 데이터 세트보다 더 크고 다양한 경향이 있는 쌍을 이루는 이미지-텍스트 데이터 세트 작업에는 적합하지 않습니다.

W.A.L.T는 LVDM(잠재 영상 확산 모델)을 위한 Transformer 방식입니다.

이 방법은 두 단계로 구성됩니다.

첫 번째 단계에서는 오토인코더를 사용하여 비디오와 이미지를 통합된 저차원 잠재 공간에 매핑합니다. 이를 통해 단일 생성 모델을 이미지 및 비디오 데이터 세트에 대해 공동으로 훈련할 수 있으며 고해상도 비디오 생성에 필요한 계산 비용을 크게 줄일 수 있습니다.

두 번째 단계에서 팀은 겹치지 않고 창 제한 공간과 시간에서 작동하는 self-attention 레이어로 구성된 잠재 비디오 확산 모델을 위한 새로운 Transformer 블록을 설계했습니다. 이 디자인에는 두 가지 주요 이점이 있습니다. 첫째, 로컬 창 주의를 사용하므로 계산 요구 사항을 크게 줄일 수 있습니다. 둘째, 공간 계층이 이미지와 비디오 프레임을 독립적으로 처리할 수 있는 반면 시공간 계층은 비디오의 시간적 관계를 모델링하는 데 사용되는 공동 훈련을 용이하게 합니다.

개념적으로는 간단하지만, 이 연구는 공개 벤치마크에서 잠재 비디오 확산에 있어서 Transformer의 우수한 생성 품질과 매개변수 효율성을 실험적으로 입증한 최초의 연구입니다.

마지막으로 팀에서는 새로운 방법의 확장성과 효율성을 입증하기 위해 어려운 사실적인 이미지-비디오 생성 작업도 실험했습니다. 그들은 세 가지 모델을 함께 계단식으로 훈련했습니다. 여기에는 기본 잠재 비디오 확산 모델과 두 가지 비디오 초해상도 확산 모델이 포함됩니다. 결과는 초당 8프레임에서 512×896 해상도의 비디오입니다. 이 접근 방식은 UCF-101 벤치마크에서 최첨단 제로샷 FVD 점수를 달성합니다.

또한 이 모델을 사용하면 일관된 3D 카메라 모션으로 비디오를 생성할 수 있습니다.

W.A.L.T

Learning Visual tokens

비디오 생성 모델링 분야에서 중요한 디자인 결정은 잠재 공간 표현의 선택입니다. 이상적으로 우리는 이미지와 비디오 모두의 생성적 모델링에 사용할 수 있는 공유되고 통합된 압축된 시각적 표현을 원합니다.

구체적으로 비디오 시퀀스 x가 주어지면 목표는 특정 시간 및 공간 규모에서 시공간 압축을 수행하는 저차원 표현 z를 학습하는 것입니다. 비디오와 정지 이미지의 통일된 표현을 얻으려면 항상 나머지 프레임과 별도로 비디오의 첫 번째 프레임을 인코딩해야 합니다. 이를 통해 정지 이미지를 프레임이 하나만 있는 비디오인 것처럼 처리할 수 있습니다.

이 아이디어를 바탕으로 팀의 실제 디자인은 MAGVIT-v2 토크나이저의 인과적인 3D CNN 인코더-디코더 아키텍처를 사용합니다.

이 단계 후에 모델에 대한 입력은 단일 비디오 또는 개별 이미지 스택을 나타내는 잠재 텐서 배치가 됩니다(그림 2). 그리고 여기서 암시적 표현은 실수 값이며 양자화되지 않습니다.

이미지와 비디오를 생성하는 방법을 알아보세요

Patchify. 원래 ViT 디자인에 따라 팀은 숨겨진 각 프레임을 겹치지 않는 타일의 시퀀스로 변환하여 개별적으로 타일링했습니다. 그들은 또한 공간적 위치 임베딩과 시간적 위치 임베딩의 합인 학습 가능한 위치 임베딩을 사용했습니다. 타일의 선형 투영에 위치 임베딩이 추가됩니다. 이미지의 경우 첫 번째 숨겨진 프레임에 해당하는 시간적 위치 임베딩을 추가하기만 하면 됩니다.

창문 주의. 전체적으로 전역 self-attention 모듈로 구성된 변환기 모델은 특히 비디오 작업의 경우 계산 및 메모리 비용이 많이 듭니다. 이미지와 비디오의 효율성과 공동 처리를 위해 팀은 공간(S)과 시공간(ST)이라는 두 가지 유형의 비중첩 구성을 기반으로 창 방식으로 self-attention을 계산합니다(그림 2 참조).

공간 창(SW) 관심은 숨겨진 프레임 내의 모든 토큰에 집중됩니다. SW는 이미지와 비디오의 공간적 관계를 모델링합니다. 시공간 창(STW) 주의의 범위는 비디오의 숨겨진 프레임 간의 시간적 관계를 모델링하는 3D 창입니다. 마지막으로 절대 위치 임베딩 외에도 상대 위치 임베딩도 사용했습니다.

보고서에 따르면 이 디자인은 단순하지만 계산 효율성이 뛰어나고 이미지 및 비디오 데이터 세트에 대해 공동으로 학습할 수 있습니다. 프레임 수준 자동 인코더를 기반으로 하는 방법과 달리 새로운 방법은 비디오 프레임을 별도로 인코딩하고 디코딩하는 방법에서 흔히 발생하는 깜박이는 아티팩트를 생성하지 않습니다.成 조건부 생성

제어 가능한 비디오 생성을 달성하기 위해 확산 모델은 조건인 시간 단계 T 외에도 카테고리 태그, 자연어, 과거, 과거 프레임 또는 하위 프레임과 같은 추가 조건 정보 C를 사용하는 경우가 많습니다. 해상도 영상. 새로 제안된 Transformer 백본 네트워크에서 팀은 아래 설명과 같이 세 가지 유형의 조건부 메커니즘을 통합했습니다.

Cross-attention. 윈도우가 적용된 Transformer 블록에서 self-attention 레이어를 사용하는 것 외에도 텍스트 조건 생성을 위해 cross-attention 레이어도 추가했습니다. 비디오만으로 모델을 훈련할 때 교차 어텐션 레이어는 self-attention 레이어와 동일한 창 제한 어텐션을 사용합니다. 이는 S/ST가 SW/STW 교차 어텐션 레이어를 갖게 됨을 의미합니다(그림 2). 그러나 공동 훈련에는 SW 교차 어텐션 레이어만 사용됩니다. Cross-attention의 경우 팀의 접근 방식은 입력 신호(쿼리)와 조건부 신호(키, 값)를 연결하는 것입니다.

AdaLN-LoRA. 적응형 정규화 레이어는 많은 생성 및 시각적 합성 모델에서 중요한 구성 요소입니다. 적응형 정규화 레이어를 통합하기 위한 간단한 접근 방식은 각 레이어 i에 대해 MLP 레이어를 포함하여 조건부 매개변수의 벡터를 회귀하는 것입니다. 이러한 추가 MLP 레이어의 매개변수 수는 레이어 수에 따라 선형적으로 증가하고 모델 차원에 따라 2차적으로 증가합니다. LoRA에서 영감을 받아 연구원들은 모델 매개변수를 줄이기 위한 간단한 솔루션인 AdaLN-LoRA를 제안했습니다.

자가 조절. 외부 입력을 조건으로 하는 것 외에도 반복 생성 알고리즘은 추론 중에 생성하는 샘플을 조건으로 조건을 지정할 수도 있습니다. 특히 Chen et al.은 "아날로그 비트: 자가 조절이 포함된 확산 모델을 사용하여 이산 데이터 생성"이라는 논문에서 확산 모델의 훈련 프로세스를 수정하여 모델이 샘플을 생성할 특정 확률 p_sc를 갖도록 했습니다. 이 초기 샘플에서는 또 다른 정방향 전달을 사용하여 이 추정치를 구체화합니다. 1-p_sc가 하나의 정방향 패스만 완료할 확률도 있습니다.팀은 이 모델 추정치를 채널 차원에 따른 입력과 연결했으며 이 간단한 기술이 v-예측과 함께 잘 작동한다는 것을 발견했습니다.

자동 회귀 생성

자기 회귀 예측을 통해 긴 동영상을 생성하기 위해 팀에서는 프레임 예측 작업에 대한 모델도 공동으로 훈련했습니다. 이는 훈련 과정 동안 과거 프레임을 조건으로 특정 확률 p_fp를 모델에 제공함으로써 달성됩니다. 조건은 1개의 숨겨진 프레임(이미지-비디오 생성) 또는 2개의 숨겨진 프레임(비디오 예측)입니다. 이 조건은 잡음이 있는 암시적 입력을 따라 채널 차원으로 모델에 통합됩니다. 표준 분류자가 없는 부트스트래핑은 추론 중에 c_fp를 조건부 신호로 사용하여 사용됩니다.

비디오 초해상도

고해상도 비디오를 생성하기 위해 단일 모델을 사용하는 데 드는 계산 비용은 매우 높으며 기본적으로 달성하기 어렵습니다. 연구원들은 "고충실도 이미지 생성을 위한 계단식 확산 모델"이라는 논문을 참조하고 계단식 방법을 사용하여 세 가지 모델을 계단식으로 배열했으며 점점 더 높은 해상도에서 작동합니다.

기본 모델은 128×128의 해상도로 비디오를 생성한 다음 두 개의 초해상도 단계를 통해 두 번 업샘플링됩니다. 저해상도 입력(비디오 또는 이미지)은 먼저 깊이-공간 컨볼루션 작업을 사용하여 공간적으로 업샘플링됩니다. 학습(실측 저해상도 입력이 제공되는 경우)과 달리 추론은 이전 단계에서 생성된 암시적 표현에 의존합니다.

이 차이를 줄이고 저해상도 단계에서 생성된 아티팩트를 초해상도 단계에서 더욱 강력하게 처리하기 위해 팀에서는 잡음 조건 강화도 사용했습니다.

종횡비 미세 조정. 훈련을 단순화하고 다양한 종횡비를 가진 더 많은 데이터 소스를 활용하기 위해 기본 단계에서 정사각형 종횡비를 사용했습니다. 그런 다음 위치 임베딩 보간을 통해 9:16 종횡비의 비디오를 생성하기 위해 데이터 하위 집합에 대한 모델을 미세 조정했습니다.

Experiments

연구원들은 카테고리 조건에 따른 이미지 및 비디오 생성, 프레임 예측, 텍스트 기반 비디오 생성 등 다양한 작업에 대해 새로 제안된 방법을 평가했습니다. 그들은 또한 절제 연구를 통해 다양한 설계 선택의 효과를 탐구했습니다.

Visual Generation

비디오 생성: UCF-101 및 Kinetics-600 데이터 세트 모두에서 W.A.L.T는 FVD 측정 항목에서 이전의 모든 방법보다 성능이 뛰어납니다. 표 1을 참조하세요.

이미지 생성: 표 2는 W.A.L.T의 결과를 256×256 해상도 이미지를 생성하기 위한 다른 현재 최고의 방법과 비교합니다. 새로 제안된 모델은 이전 방법보다 성능이 뛰어나며 특수한 스케줄링, 컨볼루션 유도 편향, 향상된 확산 손실 및 분류기가 없는 안내가 필요하지 않습니다. VDM++는 FID 점수가 약간 높지만 모델 매개변수가 더 많습니다(2B).

절제 연구

다양한 디자인 결정의 기여도를 이해하기 위해 팀에서는 절제 연구도 수행했습니다. 표 3은 패치 크기, 창 주의, 자가 조절, AdaLN-LoRA 및 자동 인코더 측면에서 절제 연구 결과를 보여줍니다.

텍스트-비디오 생성

팀은 텍스트-이미지 및 텍스트-비디오 쌍에 대한 W.A.L.T의 텍스트-비디오 생성 기능을 공동으로 교육했습니다. 그들은 ~970M 텍스트-이미지 쌍과 ~89M 텍스트-비디오 쌍을 포함하는 공용 인터넷 및 내부 소스의 데이터 세트를 사용했습니다.

기본 모델(3B)의 해상도는 17×128×128이고, 캐스케이드된 2개의 초해상도 모델은 17×128×224 → 17×256×448(L, 1.3B, p = 2) ) 및 17×256×448→17×512×896(L, 419M, p = 2). 또한 기본 단계에서 화면비를 미세 조정하여 128×224 해상도의 비디오를 제작했습니다. 모든 텍스트-비디오 생성 결과는 분류자가 없는 부트스트래핑 접근 방식을 사용합니다.

아래는 생성된 동영상 예시입니다. 자세한 내용을 보려면 프로젝트 웹사이트를 방문하세요.

텍스트: 버거를 먹는 다람쥐.

텍스트: 유령 자전거 라이더를 타고 사막을 통과하는 고양이 .

정량적 평가

과학적인 방식으로 텍스트 기반 비디오 생성을 평가하는 것은 부분적으로 표준화된 교육 데이터 세트 및 벤치마크가 부족하기 때문에 여전히 어려운 과제입니다. 지금까지 연구자들의 실험과 분석은 공정한 비교를 보장하기 위해 동일한 훈련 데이터를 사용하는 표준 학술 벤치마크에 중점을 두었습니다.

그럼에도 불구하고 팀은 이전 텍스트-비디오 생성 연구와 비교하기 위해 제로샷 평가 설정에서 UCF-101 데이터 세트에 대한 결과를 보고합니다.

W.A.L.T의 장점은 확실하다고 볼 수 있습니다.

자세한 내용은 원문을 참고해주세요.

위 내용은 확산 모델에 Transformer를 사용하여 AI 생성 비디오가 사실감을 구현합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!