AI 새로운 콘센트? 최초의 고품질 'Vinson Video' 모델 Zeroscope는 오픈 소스 전쟁을 촉발합니다. 최소 8G 비디오 메모리로 실행 가능

Stable Diffusion 오픈 소스 이미지 모델 이후 "AI 아트"는 완전히 민주화되었습니다. 소비자급 그래픽 카드만 사용하면 매우 아름다운 사진을 만들 수 있습니다.

텍스트-비디오 변환 분야에서는 현재 얼마 전 런웨이에서 출시한 고품질 상업용 Gen-2 모델이 현재 유일하게 오픈소스 업계에서 경쟁할 수 있는 유일한 모델입니다.

최근 Huggingface의 한 작성자는 17억 개의 매개변수를 갖춘 ModelScope-텍스트-비디오 합성 모델을 기반으로 개발된 텍스트-비디오 합성 모델 Zeroscope_v2를 출시했습니다.

Pictures

모델 링크: https://huggingface.co/cerspense/zeroscope_v2_576w

Zeroscope로 생성한 영상은 원본 버전과 비교하여 워터마크가 없으며 부드러움과 해상도가 향상되었습니다. 16:9 화면비에 맞게 개선되었습니다.

개발자 cerspense는 자신의 목표가 오픈 소스로서 Gen-2와 경쟁하는 것, 즉 모델의 품질을 향상시키면서 대중이 자유롭게 사용할 수도 있다고 말했습니다.

Zerscope_v2에는 두 가지 버전이 있습니다. 그중 Zeroscope_v2 567w는 576x320 픽셀의 해상도와 30 프레임/초의 프레임 속도로 비디오를 빠르게 생성할 수 있으며 비디오 개념을 빠르게 확인하는 데 사용할 수 있으며 약 7.9만 필요합니다. 실행할 비디오 메모리 GB.

Zeroscope_v2 XL을 사용하면 1024x576 해상도의 고화질 비디오를 생성하고 약 15.3GB의 비디오 메모리를 차지합니다.

Zerscope는 음악 생성 도구인 MusicGen과 함께 사용하여 순수하고 독창적인 짧은 비디오를 빠르게 만들 수도 있습니다.

Zerscope 모델 훈련은 9923개의 비디오 클립(클립)과 29769개의 주석이 달린 프레임을 사용하며, 각 클립에는 24개의 프레임이 포함되어 있습니다. 오프셋 노이즈에는 비디오 프레임 내 객체의 무작위 이동, 프레임 타이밍의 약간의 변화 또는 작은 왜곡이 포함됩니다.

훈련 중에 노이즈를 도입하면 모델의 데이터 분포에 대한 이해도가 향상되어 더욱 다양하고 사실적인 영상을 생성하고 텍스트 설명의 변화를 보다 효과적으로 설명할 수 있습니다.

사용방법

stable 확산 webui 사용

Huggingface의 zs2_XL 디렉터리에 가중치 파일을 다운로드한 후 stable-diffusion-webuimodelsModelScopet2v 디렉터리에 넣습니다.

동영상 생성 시 권장되는 노이즈 감소 강도 값은 0.66~0.85

Colab

참고 링크: https://colab.research.google.com / drive/1TsZmatSu1-1lNBeOqz3_9Zq5P2c0xTTq?usp=sharing

먼저 1단계 아래 실행 버튼을 클릭하고 설치를 기다립니다. 약 3분 정도 소요됩니다.

그림

녹색 체크 표시가 나타나면 버튼 옆에 있는 다음 단계로 진행하세요.

Pictures

설치하려는 모델 근처의 실행 버튼을 클릭하세요. Colab에서 3초 편집 영상을 빠르게 얻으려면 저해상도 ZeroScope 모델(576 이상)을 사용하는 것이 좋습니다. 448).

Pictures

Potat 1 또는 ZeroScope XL과 같은 고해상도 모델을 실행할 때 더 긴 실행 시간을 절충해야 합니다.

다음 단계로 진행하려면 체크 표시가 나타날 때까지 다시 기다리세요.

2단계에서 설치한 모델을 선택하여 사용하고 싶다면 고해상도 모델의 경우 생성 시간이 너무 오래 걸리지 않는 다음 구성 매개변수를 권장합니다.

Pictures

다음으로 대상 영상의 프롬프트 단어를 입력하여 효과를 변경할 수 있고, 또한 부정적인 프롬프트(부정 프롬프트)를 입력한 후 실행 버튼을 클릭할 수도 있습니다.

잠시 기다린 후 생성된 비디오가 출력 디렉터리에 저장됩니다.

사진

"Vincent Video" 오픈 소스 공모전

현재 Vincent Video 분야는 아직 초기 단계에 있으며, 최고의 도구라도 몇 초 분량의 동영상만 생성할 수 있으며 시각적인 결함이 큰 경우가 많습니다.

사실 빈첸시안 모델도 처음에는 비슷한 문제에 직면했지만 불과 몇 달 만에 포토리얼리즘을 달성했습니다.

그러나 Vincentian 그래프 모델과 달리 비디오 분야에서는 훈련 및 생성 과정에서 이미지보다 더 많은 리소스가 필요합니다.

Google은 고해상도, 길고 논리적으로 일관된 비디오 클립을 생성할 수 있는 Phenaki 및 Imagen Video 모델을 개발했지만 이 두 모델은 대중에게 제공되지 않습니다. Meta의 Make-a-Video 모델도 출시되지 않았습니다. .

현재 사용 가능한 도구는 여전히 Runway의 상용 모델 Gen-2뿐입니다. Zeroscope의 출시는 Vincent 비디오 분야 최초의 고품질 오픈 소스 모델의 등장이기도 합니다.

위 내용은 AI 새로운 콘센트? 최초의 고품질 'Vinson Video' 모델 Zeroscope는 오픈 소스 전쟁을 촉발합니다. 최소 8G 비디오 메모리로 실행 가능의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!