얼마 전 OpenAI Sora는 놀라운 비디오 생성 효과로 빠르게 인기를 얻었으며 많은 Wensheng 비디오 모델들 사이에서 눈에 띄었고 전 세계의 관심의 초점이 되었습니다. Colossal-AI 팀은 2주 전 46% 비용 절감을 갖춘 Sora 훈련 추론 재현 프로세스를 출시한 후, 전체 훈련 프로세스를 다루는 세계 최초의 Sora 유사 아키텍처 비디오 생성 모델 "Open-Sora 1.0"을 완전 오픈 소스화했습니다. , 데이터 처리, 모든 교육 세부 정보 및 모델 가중치를 포함하고 글로벌 AI 애호가와 협력하여 비디오 제작의 새로운 시대를 촉진합니다.
미리 살펴보시려면 먼저 Colossal-AI 팀이 출시한 “Open-Sora 1.0” 모델이 생성한 번화한 도시의 영상을 감상해 보세요.
Open-Sora 1.0으로 생성된 번화한 도시의 스냅샷
이는 Sora의 재현 기술의 빙산의 일각에 불과합니다. 위 Wensheng 비디오의 모델 아키텍처, 훈련된 모델 가중치 및 Colossal-AI 팀은 데이터 전처리 프로세스, 데모 디스플레이 및 자세한 시작 튜토리얼을 무료로 GitHub에 공개 소스로 만들었습니다. 동시에 저자는 팀에 즉시 연락하여 그렇게 할 것임을 알게 되었습니다. Open-Sora 관련 솔루션과 최신 개발 내용을 계속 업데이트하고 관심 있는 친구들은 Open-Sora 오픈 소스 커뮤니티에 계속 관심을 가져보세요.
Open-Sora 오픈 소스 주소: https://github.com/hpcaitech/Open-Sora
다음으로 Sora의 여러 측면을 살펴보겠습니다. 복제 솔루션 주요 측면에는 모델 아키텍처 설계, 훈련 방법, 데이터 전처리, 모델 효과 표시 및 최적화 훈련 전략이 포함됩니다.
이 모델은 현재 널리 사용되는 DiT(확산 변압기) [1] 아키텍처를 채택합니다. 저자 팀은 DiT 아키텍처를 기반으로 하는 고품질 오픈 소스 Vincent 그래프 모델 PixArt-α[2]를 사용하고, 이를 기반으로 Temporal Attention 레이어를 도입하고 이를 비디오 데이터로 확장합니다. 구체적으로 전체 아키텍처에는 사전 훈련된 VAE, 텍스트 인코더 및 공간-시간 주의 메커니즘을 활용하는 STDiT(Spatial Temporal Diffusion Transformer) 모델이 포함됩니다. 그 중 STDiT의 각 레이어의 구조는 아래 그림과 같습니다. 이는 시간 관계를 모델링하기 위해 2차원 공간 주의 모듈에 1차원 시간 주의 모듈을 중첩하는 직렬 방법을 사용합니다. Temporal Attention 모듈 이후에는 Cross-Attention 모듈을 사용하여 텍스트의 의미를 정렬합니다. 전체 주의 메커니즘과 비교하여 이러한 구조는 훈련 및 추론 오버헤드를 크게 줄입니다. 공간-시간 주의 메커니즘을 사용하는 Latte [3] 모델과 비교하여 STDiT는 사전 훈련된 이미지 DiT의 가중치를 더 잘 활용하여 비디오 데이터에 대한 훈련을 계속할 수 있습니다.
STDiT 구조 다이어그램
전체 모델의 학습 및 추론 과정은 다음과 같습니다. 훈련 단계에서는 먼저 사전 훈련된 VAE(Variational Autoencoder) 인코더를 사용하여 비디오 데이터를 압축한 다음 압축된 잠재 공간에 텍스트 임베딩과 함께 STDiT 확산 모델을 훈련하는 것으로 이해됩니다. 추론 단계에서는 VAE의 잠재 공간에서 가우스 잡음을 무작위로 샘플링하고 프롬프트 임베딩과 함께 STDiT에 입력하여 잡음 제거된 특징을 얻습니다. 마지막으로 VAE 디코더에 입력하고 디코딩하여 비디오를 얻습니다.
Model training process
우리는 Open-Sora의 재생산 계획이 SVD(Stable Video Diffusion)[3] 작업을 참조한다는 것을 팀에서 알게 되었습니다. 단계, 즉:
각 단계는 이전 단계의 가중치를 바탕으로 훈련을 이어갑니다. 처음부터 단일 단계 학습에 비해 다단계 학습은 데이터를 점진적으로 확장하여 고품질 비디오 생성 목표를 보다 효율적으로 달성합니다.
3단계 교육 계획
첫 번째 단계에서는 대규모 이미지 사전 훈련을 사용하고 성숙한 Vincentian 그래프 모델을 사용하여 비디오 사전 훈련 비용을 효과적으로 절감합니다.
저자팀은 인터넷상의 풍부한 대용량 이미지 데이터와 앞선 Vincent 그래프 기술을 통해 다음 단계의 초기화 가중치가 될 고품질의 Vincent 그래프 모델을 학습시킬 수 있다고 밝혔습니다. 비디오 사전 훈련. 동시에, 현재 고품질 시공간 VAE가 없기 때문에 Stable Diffusion [5] 모델로 사전 훈련된 이미지 VAE를 사용했습니다. 이 전략은 초기 모델의 뛰어난 성능을 보장할 뿐만 아니라 비디오 사전 훈련의 전체 비용을 크게 줄입니다.
두 번째 단계에서는 모델 일반화 능력을 높이고 비디오의 시계열 상관 관계를 효과적으로 파악하기 위해 대규모 비디오 사전 훈련을 수행합니다.
이 단계에서는 비디오 테마의 다양성을 보장하여 모델의 일반화 능력을 높이기 위해 훈련에 많은 양의 비디오 데이터를 사용해야 한다는 것을 이해합니다. 2단계 모델은 1단계 Vincentian 그래프 모델에 Temporal Attention 모듈을 추가하여 영상 속 시간적 관계를 학습합니다. 나머지 모듈은 첫 번째 단계와 일관성을 유지하고 첫 번째 단계 가중치를 초기화로 로드하는 동시에 시간적 주의 모듈의 출력을 0으로 초기화하여 보다 효율적이고 빠른 수렴을 달성합니다. Colossal-AI 팀은 PixArt-alpha[2]의 오픈 소스 가중치를 2단계 STDiT 모델의 초기화로 사용하고 T5[6] 모델을 텍스트 인코더로 사용했습니다. 동시에 사전 훈련을 위해 256x256의 작은 해상도를 사용하여 수렴 속도를 더욱 높이고 훈련 비용을 줄였습니다.
3단계에서는 고품질 비디오 데이터를 미세 조정하여 비디오 생성 품질을 크게 향상시킵니다.
저자팀은 3단계에서 사용되는 영상 데이터의 크기가 2단계에 비해 한 자릿수 작지만 영상의 지속 시간, 해상도, 품질이 더 높다고 언급했습니다. 이러한 방식으로 미세 조정함으로써 짧은 영상에서 긴 영상으로, 낮은 해상도에서 높은 해상도로, 낮은 충실도에서 높은 충실도까지 비디오 생성을 효율적으로 확장할 수 있었습니다.
저자 팀은 Open-Sora 재현 과정에서 훈련에 64개의 H800 블록을 사용했다고 밝혔습니다. 두 번째 단계의 총 훈련량은 2808 GPU 시간으로 약 $7000이고, 세 번째 단계의 훈련량은 1920 GPU 시간으로 약 $4500입니다. 예비 추정 후 전체 교육 프로그램은 Open-Sora 재생산 프로세스를 약 US$10,000까지 성공적으로 제어했습니다.
Sora 재생의 임계값과 복잡성을 더욱 줄이기 위해 Colossal-AI 팀은 코드 웨어하우스에 편리한 비디오 데이터 전처리 스크립트도 제공하여 누구나 쉽게 Sora 재생을 시작할 수 있습니다. -훈련에는 공개 비디오 데이터 세트 다운로드, 긴 비디오를 샷 연속성을 기반으로 짧은 비디오 클립으로 분할, 오픈 소스 대형 언어 모델 LLaVA [7]를 사용하여 정확한 프롬프트 단어 생성이 포함됩니다. 저자팀은 그들이 제공한 일괄 비디오 제목 생성 코드가 2개의 카드와 3초로 비디오에 주석을 달 수 있으며 품질이 GPT-4V에 가깝다고 언급했습니다. 결과 비디오/텍스트 쌍은 교육에 직접 사용할 수 있습니다. GitHub에서 제공하는 오픈 소스 코드를 사용하면 자체 데이터 세트에 대한 교육에 필요한 비디오/텍스트 쌍을 쉽고 빠르게 생성할 수 있으므로 Sora 복제 프로젝트를 시작하기 위한 기술적 임계값과 사전 준비가 크게 줄어듭니다.
데이터 전처리 스크립트를 기반으로 자동 생성된 동영상/텍스트 쌍
오픈소라의 실제 동영상 생성 효과를 살펴보겠습니다. 예를 들어, Open-Sora가 절벽 해안의 바위에 바닷물이 부딪히는 모습을 항공 영상으로 생성해 보겠습니다.
절벽에서 솟아올라 호수로 흘러가는 산과 폭포의 장엄한 모습을 오픈소라에서 담아보세요.
하늘로 가는 것 외에도 바다에 들어갈 수도 있습니다. 프롬프트를 입력하고 Open-Sora가 수중 세계의 장면을 생성하도록 하세요. 장면에서 바다거북이 한가롭게 헤엄치고 있습니다. 산호초.
오픈소라는 타임랩스 사진을 통해 반짝이는 별이 있는 은하수를 보여줄 수도 있습니다.
비디오 생성에 대한 더 흥미로운 아이디어가 있다면 Open-Sora 오픈 소스 커뮤니티를 방문하여 무료 경험을 위한 모델 가중치를 얻을 수 있습니다. 링크: https://github.com/hpcaitech/Open-Sora
저자 팀이 Github에서 현재 버전은 400K 훈련 데이터만 사용하고 모델의 생성 품질과 텍스트를 따라갈 수 있는 능력을 언급했다는 점은 주목할 가치가 있습니다. 모두 개선되어야 합니다. 예를 들어, 위의 거북이 비디오에서 결과 거북이는 다리가 하나 더 있습니다. Open-Sora 1.0은 인물 사진이나 복잡한 이미지를 생성하는 데도 능숙하지 않습니다. 저자 팀은 기존 결함을 지속적으로 해결하고 제작 품질을 향상시키는 것을 목표로 Github에서 수행할 일련의 계획을 나열했습니다.
Sora 재생의 기술적 한계를 대폭 낮추고 지속 시간, 해상도, 콘텐츠 등 다차원에서 비디오 생성 품질을 향상시키는 것 외에도 저자 팀은 Colossal-AI 가속 기능도 제공합니다. 이제 효율적인 훈련 지원을 위한 시스템이 탄생했습니다. 운영자 최적화, 하이브리드 병렬화 등 효율적인 훈련 전략을 통해 64프레임, 512x512 해상도 영상 처리 훈련에서 1.55배의 가속 효과를 달성했습니다. 동시에 Colossal-AI의 이기종 메모리 관리 시스템 덕분에 단일 서버(8*H800)에서 1분 1080p 고화질 비디오 교육 작업을 방해 없이 수행할 수 있습니다.
또한 저자 팀의 보고서에서 STDiT 모델 아키텍처도 학습 중에 탁월한 효율성을 보였다는 사실을 발견했습니다. 완전 주의 메커니즘을 사용하는 DiT와 비교하여 STDiT는 프레임 수가 증가함에 따라 최대 5배의 가속을 달성합니다. 이는 긴 비디오 시퀀스 처리와 같은 실제 작업에서 특히 중요합니다.
오픈소라 오픈소스 프로젝트에 지속적인 관심을 가져주신 것을 환영합니다: https://github.com/hpcaitech/Open-Sora
저자팀은 계속해서 유지관리하고 최적화할 것이라고 밝혔습니다. 오픈소라 프로젝트를 통해 더 많은 영상 훈련 데이터를 활용해 고품질, 긴 영상 콘텐츠를 생성하고, 다중 해상도 기능을 지원해 영화, 게임, 광고 등 분야에서 AI 기술 구현을 효과적으로 촉진할 것으로 기대된다.
참조 링크:
[1] https://arxiv.org/abs/2212.09748 Transformers를 사용한 확장 가능한 확산 모델.
[2] https://arxiv.org/abs/2310.00426 PixArt-α: 사실적인 텍스트-이미지 합성을 위한 확산 변환기의 빠른 훈련.
[3] https://arxiv.org/abs/2311.15127 안정적인 비디오 확산: 잠재 비디오 확산 모델을 대규모 데이터 세트로 확장.
[4] https://arxiv.org/abs/2401.03048 Latte: 비디오 생성을 위한 잠재 확산 변환기.
[5] https://huggingface.co/stabilityai/sd-vae-ft-mse-original.
[6] https://github.com/google-research/text-to-text-transfer-transformer.
[7] https://github.com/haotian-liu/LLaVA.
[8] https://hpc-ai.com/blog/open-sora-v1.0.
위 내용은 OpenAI를 기다리지 말고 Open-Sora가 완전한 오픈 소스가 될 때까지 기다리십시오.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
