AIGC 시대의 영상 확산 모델, 푸단 외 팀이 해당 분야 최초 리뷰 공개

AI 생성 콘텐츠는 현재 인공지능 분야에서 가장 뜨거운 주제 중 하나가 되었으며 이 분야의 최첨단 기술을 대표합니다. 최근 몇 년 동안 Stable Diffusion, DALL-E3, ControlNet 등의 신기술이 출시되면서 AI 이미지 생성 및 편집 분야는 놀라운 시각 효과를 달성했으며 학계와 업계 모두에서 폭넓은 관심과 논의를 받아왔습니다. 이러한 방법의 대부분은 강력한 제어 가능한 생성, 사실적인 생성 및 다양성을 달성하는 능력의 핵심인 확산 모델을 기반으로 합니다.

그러나 단순한 정적인 이미지에 비해 동영상은 더 풍부한 의미 정보와 역동적인 변화를 가지고 있습니다. 비디오는 물리적 객체의 역동적인 진화를 보여줄 수 있으므로 비디오 생성 및 편집 분야의 요구와 과제는 더욱 복잡합니다. 이 분야에서는 주석이 달린 데이터와 컴퓨팅 자원의 한계로 인해 비디오 생성에 대한 연구가 어려움을 겪고 있지만 Make-A-Video, Imagen Video 및 Gen-2 방법과 같은 일부 대표적인 연구 작업이 이미 점진적으로 시작되었습니다. 지배적 위치에 대해.

이러한 연구 성과는 영상 제작 및 편집 기술의 발전 방향을 선도합니다. 연구 데이터에 따르면 2022년부터 비디오 작업에 대한 확산 모델에 대한 연구 작업이 폭발적인 성장을 보였습니다. 이러한 추세는 학계와 업계에서 비디오 확산 모델의 인기를 반영할 뿐만 아니라 이 분야의 연구자들이 비디오 생성 기술에서 지속적으로 획기적인 발전과 혁신을 이뤄야 한다는 긴급한 필요성을 강조합니다.

최근 푸단대학교 비전 및 학습 연구소는 Microsoft, Huawei 및 기타 교육 기관과 함께 비디오 작업에 대한 확산 모델 작업에 대한 첫 번째 리뷰를 발표하고 응용 프로그램을 체계적으로 분류했습니다. 비디오 생성의 확산 모델, 비디오 학술적 최첨단 결과는 편집 및 비디오 이해에 있습니다.

• 논문 링크: https://arxiv.org/abs/2310.10647
• 홈페이지 링크: https://github.com/ChenHsing/Awesome-Video-Diffusion-Models

비디오 생성

텍스트 기반 비디오 생성: 자연어를 입력으로 사용하는 비디오 생성은 비디오 생성 분야에서 가장 중요한 작업 중 하나입니다. 저자는 확산 모델을 제안하기 전 이 분야의 연구 결과를 먼저 검토한 후 훈련 기반 및 훈련 없는 텍스트-비디오 생성 모델을 각각 소개합니다.

크리스마스 트리 휴일 축하 겨울 눈 애니메이션.

다른 조건에 따른 비디오 생성: 틈새 지역에서의 비디오 생성 작업. 저자는 포즈(pose-guided), 액션(motion-guided), 사운드(sound-guided), 이미지(image-guided), 깊이 맵(depth-guided) 등의 조건에 따라 분류합니다.

무조건 영상 생성: 본 작업은 모델 아키텍처에 따라 크게 U-Net으로 나누어집니다. 기반 및 Transformer 기반 생성 모델.

비디오 완성: 주로 비디오 향상 및 복원, 비디오 예측 및 기타 작업이 포함됩니다.

데이터 세트: 동영상 생성 작업에 사용되는 데이터 세트는 다음 두 가지 범주로 나눌 수 있습니다.

1.캡션 수준: 각 동영상에는 해당 텍스트 설명 정보가 있으며, 마지막 가장 대표적인 것은 WebVid10M 데이터 세트입니다.

2.카테고리 수준: 동영상에는 분류 라벨만 있고 텍스트 설명 정보는 없습니다. UCF-101은 현재 동영상 생성 및 동영상 예측과 같은 작업에 가장 일반적으로 사용되는 데이터 세트입니다.

평가지표와 결과 비교: 영상에서 생성되는 평가지표는 크게 품질수준 평가지표와 정량수준 평가지표로 나뉘며, 품질수준 평가지표는 주로 수동 주관식을 기반으로 합니다. 이미지 수준의 평가 지표는 다음과 같이 나눌 수 있습니다.

1. 이미지 수준의 평가 지표: 영상은 일련의 이미지 프레임으로 구성되므로 이미지 수준의 평가 방법은 기본적으로 T2I 모델의 평가 지표.

2. 비디오 수준 평가 지표: 프레임별 측정에 더 편향된 이미지 수준 평가 지표에 비해 비디오 수준 평가 지표는 생성된 비디오의 시간적 일관성과 같은 측면을 측정할 수 있습니다.

또한 저자는 벤치마크 데이터 세트에서 앞서 언급한 생성 모델의 평가 지표를 수평적으로 비교했습니다.

비디오 편집

많은 연구를 통해 저자는 비디오 편집 작업의 핵심 목표가 다음을 달성하는 것임을 발견했습니다.

1. 편집된 비디오 프레임은 원본 비디오의 내용과 일치해야 합니다.

2. 정렬: 편집된 영상을 입력 조건에 맞게 정렬해야 합니다.

3. 고품질: 편집된 영상은 일관성이 있고 품질이 높아야 합니다.

텍스트 기반 비디오 편집: 기존 텍스트-비디오 데이터의 제한된 규모를 고려할 때 대부분의 현재 텍스트 기반 비디오 편집 작업은 사전 훈련된 T2I 모델을 활용하고 이를 기반으로 비디오 프레임을 해결하는 경향이 있습니다. 일관성 문제 그리고 의미론적 불일치. 저자는 이러한 작업을 훈련 기반, 훈련 없는 방법, 원샷 조정 방법으로 세분화하고 각각 요약합니다.

기타 조건 기반 영상 편집 : 대형 모델 시대의 도래로 조건부 영상 편집으로 가장 직접적인 자연어 정보 외에, 명령어, 사운드, 액션, 멀티 모드 상태 및 기타 조건을 조건으로 한 영상 편집이 점점 더 주목을 받고 있으며, 저자도 해당 작업을 분류하고 정리했습니다.

특정 틈새 영역의 비디오 편집: 일부 작업은 비디오 채색, 인물 비디오 편집 등과 같은 특정 영역의 비디오 편집 작업을 특별하게 사용자 정의해야 하는 필요성에 중점을 둡니다.

비디오 이해

비디오 분야에서 확산 모델의 적용은 전통적인 비디오 생성 및 편집 작업을 훨씬 뛰어넘어 비디오 이해 작업에서도 큰 잠재력을 보여주었습니다. 저자는 최첨단 논문을 추적하여 비디오 시간 분할, 비디오 이상 탐지, 비디오 개체 분할, 텍스트 비디오 검색, 동작 인식 등 기존 응용 시나리오 10개를 요약했습니다.

미래와 요약

이 리뷰는 AIGC 시대 확산 모델의 비디오 작업에 대한 최신 연구를 연구 대상과 기술적 특성에 따라 종합적이고 꼼꼼하게 요약합니다. 이 모델은 일부 고전적인 벤치마크에서 비교되었습니다. 또한 확산 모델에는 다음과 같은 비디오 작업 분야에서 몇 가지 새로운 연구 방향과 과제도 있습니다.

1. 대규모 텍스트-비디오 데이터 세트 수집: T2I 모델의 성공은 수백 가지에서 분리될 수 없습니다 수백만 개의 고품질 마찬가지로 T2V 모델도 지원을 위해 워터마크가 없는 대량의 고해상도 텍스트-비디오 데이터가 필요합니다.

2. 효율적인 훈련 및 추론: 영상 데이터는 이미지 데이터에 비해 규모가 크며, 훈련 및 추론 단계에 필요한 컴퓨팅 성능도 기하학적으로 증가합니다. 효율적인 훈련 및 추론 알고리즘을 사용하면 비용을 크게 줄일 수 있습니다.

3. 신뢰할 수 있는 벤치마크 및 평가 지표: 영상 분야의 기존 평가 지표는 생성된 영상과 원본 영상의 분포 차이를 측정하지만 생성된 영상의 품질을 완전히 측정하지 못하는 경우가 많습니다. 동시에, 사용자 테스트는 여전히 중요한 평가 방법 중 하나이며, 많은 인력이 필요하고 매우 주관적이라는 점을 고려하면 보다 객관적이고 종합적인 평가 지표가 절실히 필요합니다.

위 내용은 AIGC 시대의 영상 확산 모델, 푸단 외 팀이 해당 분야 최초 리뷰 공개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!