소라의 성공적인 출시와 함께 영상 DiT 모델은 폭넓은 관심과 논의를 불러일으켰습니다. 안정적이고 매우 큰 규모의 신경망을 설계하는 것은 항상 비전 생성 분야의 연구 초점이었습니다. DiT 모델의 성공은 이미지 생성 확장에 대한 새로운 가능성을 제공합니다.
그러나 비디오 데이터의 고도로 구조화되고 복잡한 특성으로 인해 DiT를 비디오 생성 영역으로 확장하는 것은 어려운 작업입니다. 상하이 인공지능연구소(Shanghai Artificial Intelligence Laboratory) 및 기타 기관의 연구팀으로 구성된 팀은 대규모 실험을 통해 이 질문에 답했습니다.
지난해 11월, 팀에서는 소라와 유사한 기술을 갖춘 자체 개발 모델인 라떼를 출시했습니다. Latte는 세계 최초의 오픈 소스 Wensheng 비디오 DiT이며 광범위한 관심을 받았습니다. Open-Sora Plan(PKU), Open-Sora(ColossalAI) 등 많은 오픈소스 프레임워크에서 Latte의 모델 디자인을 사용하고 참고하고 있습니다.
먼저 라떼의 영상 생성 효과를 살펴보겠습니다.
일반적으로 Latte에는 사전 훈련된 VAE와 비디오 DiT라는 두 가지 핵심 모듈이 포함되어 있습니다. 사전 훈련된 VAE에서 인코더는 프레임별로 비디오를 픽셀 공간에서 잠재 공간으로 압축하는 역할을 담당하고, 비디오 DiT는 토큰을 추출하고 시공간 모델링을 수행하여 잠재 표현을 처리합니다. 마지막으로 VAE 디코더 매핑입니다. 비디오를 생성하기 위해 픽셀 공간을 지원하는 기능입니다. 최고의 비디오 품질을 얻기 위해 연구원들은 Latte 디자인의 두 가지 중요한 측면, 즉 비디오 DiT 모델의 전체 구조 설계와 모델 훈련의 모범 사례 세부 사항에 중점을 두었습니다.
(1) Latte 전체 모델 구조 설계에 관한 연구
Figure 1. Latte 모델 구조 및 변형
저자는 Latte의 4가지 변형을 제안했습니다(그림 1) , Transformer 2개 모듈은 시공간 주의 메커니즘의 관점에서 설계되었으며 각 모듈에서 두 가지 변형(변형)이 연구되었습니다.
1 단일 주의 메커니즘 모듈, 각 모듈에는 시간 또는 공간 주의만 포함됩니다.
2. 다중 주의 메커니즘 모듈, 각 모듈 에는 시간적 및 공간적 주의 메커니즘이 모두 포함되어 있습니다(Open-sora 참조 변형).
실험에 따르면(그림 2) 네 가지 모델 변형에 대해 동일한 매개변수 양을 설정하면 변형 4가 다른 세 가지 변형에 비해 FLOPS에서 상당한 차이가 있으므로 FVD도 가장 높습니다. 전체 성능 다른 세 가지 변종도 비슷하며, 변종 1이 최고의 성능을 보였다. 저자는 앞으로 대규모 데이터에 대해 좀 더 자세한 논의를 진행할 계획이다.
그림 2. 모델 구조 FVD
(2) Latte 모델의 최적 설계 탐색 및 학습 세부 사항(모범 사례)
모델의 전체 구조 설계 외에 , 저자는 다른 모델과 훈련에서도 생성 효과에 영향을 미치는 요인을 탐색했습니다.
1.토큰 추출: 단일 프레임 토큰(a)과 시공간 토큰(b)의 두 가지 방법을 탐색했습니다. 전자는 공간 수준에서 토큰만 압축하는 반면, 후자는 시공간 정보를 공간 수준에서 압축합니다. 동시. 실험에 따르면 단일 프레임 토큰이 시공간 토큰보다 더 나은 것으로 나타났습니다(그림 4). Sora와 비교하여 저자는 Sora가 제안한 시공간 토큰이 비디오 VAE를 통해 시간 차원에서 사전 압축되어 단일 프레임 토큰만 처리한다는 점에서 잠재 공간에서 Latte의 설계와 유사하다고 추측합니다.
2. 모드
: 두 가지 방법(a) S-AdaLN 및 (b) 모든 토큰을 탐색했습니다(그림 5). S-AdaLN은 정규화 과정에서 조건 정보를 변수로 변환하고 MLP를 통해 모델에 주입합니다. 모든 토큰 형식은 모든 조건을 모델에 대한 입력으로 통합 토큰으로 변환합니다. 실험을 통해 S-AdaLN 방법이 모든 토큰보다 고품질 결과를 얻는 데 더 효과적이라는 것이 입증되었습니다(그림 6). 그 이유는 S-AdaLN을 사용하면 각 모듈에 정보를 직접 주입할 수 있기 때문입니다. 그러나 모든 토큰은 입력부터 최종까지 조건 정보를 레이어별로 전달해야 하며, 정보 흐름 과정에서 손실이 발생합니다.
그림 5. (a) S-AdaLN 및 (b) 모든 토큰.
그림 6. 조건부 주입 방법 FVD
3.
공간 및 시간 위치 인코딩: 절대 위치 인코딩과 상대 위치 인코딩을 살펴보세요. 다른 위치 인코딩은 최종 비디오 품질에 거의 영향을 미치지 않습니다(그림 7). 생성 기간이 짧기 때문에 위치 인코딩의 차이가 비디오 품질에 영향을 미칠 만큼 충분하지 않습니다. 긴 비디오 생성의 경우 이 요소를 다시 고려해야 합니다.
그림 7. 위치 인코딩 방법 FVD
4.
모델 초기화: ImageNet 사전 학습 매개변수 초기화 사용이 모델 성능에 미치는 영향을 살펴보세요. 실험에 따르면 ImageNet을 사용하여 초기화된 모델은 수렴 속도가 더 빠르지만 훈련이 진행됨에 따라 무작위로 초기화된 모델이 더 나은 결과를 얻습니다(그림 8). 가능한 이유는 ImageNet과 훈련 세트인 FaceForensics 사이에 상대적으로 큰 분포 차이가 있어서 모델의 최종 결과를 승격시키지 못했기 때문입니다. Vincent 비디오 작업의 경우 이 결론을 재고해야 합니다. 일반 데이터 세트의 분포에서 이미지와 비디오의 콘텐츠 공간 분포는 유사하며 사전 훈련된 T2I 모델을 사용하면 T2V를 크게 촉진할 수 있습니다.
그림 8. 초기화 매개변수 FVD
5. 이미지 및 비디오 공동 훈련
: 공동 훈련을 위해 비디오와 이미지를 통합 토큰으로 압축합니다. 이미지 토큰은 공간 매개변수만 담당합니다.합동 훈련으로 최종 결과가 크게 향상되었습니다(표 2 및 표 3). 합동 훈련을 통해 사진 FID와 비디오 FVD가 모두 감소했습니다. 이 결과는 UNet 기반 프레임워크[2][3]와 일치합니다. 6. 모델 크기
: S, B, L, XL의 4가지 모델 크기가 탐색되었습니다(표 1).비디오 DiT의 규모를 확장하면 생성된 샘플의 품질을 크게 향상시키는 데 도움이 됩니다(그림 9). 이 결론은 또한 후속 확장을 위해 비디오 확산 모델에서 Transformer 구조를 사용하는 것이 정확함을 입증합니다.
표 1. 다양한 크기의 라떼 모델 스케일
그림 9. 모델 크기 FVD
의 정성적 및 정량적 분석 저자는 각각 4개의 학술 데이터 세트(FaceForensics, TaichiHD, SkyTimelapse 및 UCF101)에 대해 교육했습니다. 정성적, 정량적 결과(표 2 및 표 3)에서는 Latte가 가장 좋은 성능을 달성한 것으로 나타났으며, 이는 모델의 전체적인 디자인이 우수함을 입증합니다.
표 2. UCF101 화질 평가
표 3. Latte 및 SoTA 영상 품질 평가
Vincent Video Extension
추가 증거를 위해 Latte의 일반적인 성능을 위해 저자는 사전 훈련된 PixArt-alpha[4] 모델을 공간 매개변수 초기화로 사용하여 Latte를 Vincent 비디오 작업으로 확장했습니다. 처음에는 Vincent 비디오 작업을 수행했습니다. 후속 계획은 스케일업을 통해 라떼 생성 능력의 상한선을 검증하는 것이다.
Latte는 세계 최초의 오픈 소스 Vincent Video DiT로서 유망한 결과를 얻었습니다. 그러나 컴퓨팅 리소스의 엄청난 차이로 인해 세대의 명확성, 유창성 및 지속 시간에 문제가 있습니다. .. 소라와 비교하면 아직 격차가 크다. 팀은 오픈 소스의 힘을 활용하여 우수한 성능을 갖춘 자체 개발한 대규모 범용 비디오 생성 모델을 만들기를 희망하면서 모든 종류의 협력을 환영하고 적극적으로 모색하고 있습니다.
위 내용은 라떼에 대한 자세한 설명 : 지난해 말 출시된 세계 최초 오픈소스 Vincent Video DiT의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
