Fudan University와 Huawei Noah는 반복적인 고품질 비디오 생성을 달성하기 위해 VidRD 프레임워크를 제안합니다.

Fudan University의 연구원과 Huawei의 Noah's Ark Laboratory는 LDM(이미지 확산 모델) - VidRD(재사용 및 확산)를 기반으로 고품질 비디오를 생성하기 위한 반복 솔루션을 제안했습니다. 이 솔루션은 생성된 비디오의 품질과 시퀀스 길이를 혁신하고 제어 가능한 고품질의 긴 시퀀스 비디오 생성을 달성하는 것을 목표로 합니다. 생성된 비디오 프레임 간의 지터 문제를 효과적으로 줄이고, 높은 연구 성과 가치를 가지며, 현재 뜨거운 AIGC 커뮤니티에 기여합니다.

Latent Diffusion Model(LDM)은 Denoising Autoencoder를 기반으로 한 생성 모델로, 점진적으로 노이즈를 제거하여 무작위로 초기화된 데이터에서 고품질 샘플을 생성할 수 있습니다. 그러나 모델 교육 및 추론 중 계산 및 메모리 제한으로 인해 단일 LDM은 일반적으로 매우 제한된 수의 비디오 프레임만 생성할 수 있습니다. 기존 연구에서는 더 많은 비디오 프레임을 생성하기 위해 별도의 예측 모델을 사용하려고 시도했지만 이로 인해 추가 훈련 비용이 발생하고 프레임 수준의 지터가 발생합니다.

이 문서에서는 이미지 합성에서 LDM(잠재 확산 모델)의 놀라운 성공에 영감을 받아 "재사용 및 확산"(줄여서 VidRD)이라는 프레임워크를 제안합니다. 이 프레임워크는 LDM에서 이미 생성된 소수의 비디오 프레임 이후에 더 많은 비디오 프레임을 생성할 수 있으므로 더 길고 고품질이며 다양한 비디오 콘텐츠를 반복적으로 생성할 수 있습니다. VidRD는 효율적인 훈련을 위해 사전 훈련된 이미지 LDM 모델을 로드하고 노이즈 제거를 위해 시간 정보가 추가된 U-Net 네트워크를 사용합니다.

• 논문 제목: 재사용 및 확산: 텍스트-비디오 생성을 위한 반복적 노이즈 제거
• 논문 주소: https://arxiv.org/abs/2309.03549
• 프로젝트 홈페이지: https://anonymous0x233.github.io/ReuseAndDiffuse/

이 기사의 주요 기여는 다음과 같습니다.

1. 더 원활한 비디오를 생성하기 위해 이 기사에서는 다음을 기반으로 하는 반복 방법을 제안합니다. 타이밍 인식 LDM 모델 "텍스트-비디오" 생성 방법. 이 방법은 이미 생성된 비디오 프레임의 잠재 공간 특징을 재사용하고 매번 이전 확산 프로세스를 따라 반복적으로 더 많은 비디오 프레임을 생성할 수 있습니다.
2. 이 기사에서는 고품질 "텍스트-비디오" 데이터 세트를 생성하기 위한 일련의 데이터 처리 방법을 설계합니다. 기존 동작 인식 데이터 세트에 대해 본 논문에서는 다중 모드 대형 언어 모델을 사용하여 비디오에 텍스트 설명을 제공합니다. 이미지 데이터의 경우 이 문서에서는 무작위 크기 조정 및 변환 방법을 사용하여 더 많은 비디오 교육 샘플을 생성합니다.
3. UCF-101 데이터 세트에서 FVD와 IS의 두 가지 평가 지표와 시각화 결과를 검증한 결과, 정량적, 정성적 결과를 보면 VidRD 모델이 기존 방법보다 더 나은 결과를 얻은 것으로 나타났습니다.

방법 소개

그림 1. 이 기사에서 제안한 VidRD 비디오 생성 프레임워크의 도식

이 기사에서는 사전 훈련된 이미지 LDM을 LDM 훈련의 출발점으로 사용한다고 믿습니다. 고품질 비디오 합성을 위해서는 효율적이고 현명하게 선택하세요. 동시에, 이 견해는 [1, 2]와 같은 연구 작업에 의해 더욱 뒷받침됩니다. 이러한 맥락에서 이 기사에서 신중하게 설계된 모델은 사전 훈련된 안정적인 확산 모델을 기반으로 구축되었으며, 우수한 특성을 완전히 학습하고 상속합니다. 여기에는 정확한 잠재 표현을 위한 VAE(변형 자동 인코더)와 강력한 잡음 제거 네트워크 U-Net이 포함됩니다. 그림 1은 모델의 전체 아키텍처를 명확하고 직관적인 방식으로 보여줍니다.

이 기사의 모델 설계에서 주목할만한 특징은 사전 훈련된 모델 가중치를 최대한 활용한다는 것입니다. 특히, VAE의 구성요소와 U-Net의 업샘플링 및 다운샘플링 레이어를 포함한 대부분의 네트워크 레이어는 안정 확산 모델의 사전 훈련된 가중치를 사용하여 초기화됩니다. 이 전략은 모델 훈련 프로세스의 속도를 크게 높일 뿐만 아니라 모델이 처음부터 우수한 안정성과 신뢰성을 나타내도록 보장합니다. 우리 모델은 원래 잠재 기능을 재사용하고 이전 확산 프로세스를 모방하여 적은 수의 프레임이 포함된 초기 비디오 클립에서 추가 프레임을 반복적으로 생성할 수 있습니다. 또한 픽셀 공간과 잠재 공간 사이를 변환하는 데 사용되는 자동 인코더의 경우 타이밍 관련 네트워크 레이어를 디코더에 삽입하고 이러한 레이어를 미세 조정하여 시간적 일관성을 향상시킵니다.

비디오 프레임 간의 연속성을 보장하기 위해 이 문서에서는 모델에 3D Temp-conv 및 Temp-attn 레이어를 추가합니다. Temp-conv 계층은 3D 컨볼루션 작업을 구현하여 공간적 및 시간적 상관 관계를 캡처하여 비디오 시퀀스 집계의 동적 변화와 연속성을 이해할 수 있는 구조인 3D ResNet을 따릅니다. Temp-Attn 구조는 Self-attention과 유사하며 비디오 시퀀스에서 프레임 간의 관계를 분석하고 이해하는 데 사용되므로 모델이 프레임 간의 실행 정보를 정확하게 동기화할 수 있습니다. 이러한 매개변수는 훈련 중에 무작위로 초기화되며 모델이 시간 구조를 이해하고 인코딩할 수 있도록 설계되었습니다. 또한 모델 구조에 적응하기 위해 데이터 입력도 그에 따라 조정되고 조정되었습니다.

그림 2. 본 글에서 제안한 고품질 "텍스트-비디오" 학습 데이터 세트 구축 방법

VidRD 모델을 학습하기 위해 본 글에서는 대규모의 "텍스트-비디오" 학습 데이터 세트를 구축하는 방법을 제안합니다. scale "text-video" 훈련 데이터 세트 그림 2에 표시된 방법은 설명 없이 "text-image" 데이터와 "text-video" 데이터를 처리할 수 있습니다. 또한, 이 글에서는 고품질의 비디오 생성을 달성하기 위해 훈련 데이터의 워터마크 제거도 시도합니다.

현재 시장에서는 고품질 동영상 설명 데이터세트가 상대적으로 부족하지만, 동영상 분류 데이터세트는 많이 존재합니다. 이러한 데이터 세트에는 풍부한 비디오 콘텐츠가 있으며 각 비디오에는 분류 레이블이 함께 제공됩니다. 예를 들어 Moments-In-Time, Kinetics-700 및 VideoLT는 대표적인 대규모 비디오 분류 데이터 세트 3가지입니다. Kinetics-700은 700가지 인간 행동 카테고리를 다루며 600,000개 이상의 비디오 클립을 포함합니다. Moments-In-Time에는 총 100만 개가 넘는 비디오 클립과 함께 339개의 액션 카테고리가 포함되어 있습니다. 반면 VideoLT에는 1,004개의 카테고리와 250,000개의 긴 편집되지 않은 비디오가 포함되어 있습니다.

기존 동영상 데이터를 최대한 활용하기 위해 이 글에서는 이러한 동영상에 자동으로 주석을 더 자세히 추가하려고 합니다. 이 기사에서는 BLIP-2 및 MiniGPT4와 같은 다중 모드 대형 언어 모델을 사용합니다. 비디오의 키 프레임을 대상으로 하고 원래 분류 레이블을 결합하여 모델 질문 및 답변을 통해 주석을 생성하는 많은 프롬프트를 설계합니다. 이 방법은 비디오 데이터의 음성 정보를 향상시킬 뿐만 아니라, 자세한 설명이 없는 기존 비디오에 보다 포괄적이고 상세한 비디오 설명을 제공함으로써 보다 풍부한 비디오 태그 생성을 가능하게 하여 VidRD 모델이 더 나은 훈련 효과를 가져올 수 있도록 돕습니다.

또한 기존의 매우 풍부한 이미지 데이터에 대해 이 기사에서는 학습을 위해 이미지 데이터를 비디오 형식으로 변환하는 자세한 방법도 설계했습니다. 구체적인 작업은 이미지의 다양한 위치에서 다양한 속도로 이동 및 확대/축소하여 각 이미지에 독특하고 역동적인 프리젠테이션 형태를 제공하고 카메라를 움직여 실제 사물을 캡처하는 효과를 시뮬레이션하는 것입니다. 이 방법을 통해 기존의 영상 데이터를 영상 훈련에 효과적으로 활용할 수 있습니다.

효과 표시

설명 텍스트는 다음과 같습니다: "하늘에 오로라가 있는 눈밭에서의 저속 촬영.", "촛불이 타오르고 있습니다.", "밤에 빛나는 도시 위를 공격하는 장엄한 토네이도." , "아름다운 바다 기슭의 하얀 모래사장을 공중에서 바라본 모습." 더 많은 시각화 자료는 프로젝트 홈페이지에서 확인할 수 있습니다.

Figure 3. 기존 방식과 생성 효과의 시각적 비교

마지막으로 Figure 3과 같이 본 글의 생성 결과를 기존 방식 Make-A-Video와 비교한다. ] 및 Imagen Video [4]의 시각적 비교는 이 기사에서 모델의 더 나은 품질 생성 효과를 보여줍니다.

위 내용은 Fudan University와 Huawei Noah는 반복적인 고품질 비디오 생성을 달성하기 위해 VidRD 프레임워크를 제안합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!