바이트의 신세대 비디오 세대 모델은 Gen-2보다 VR 안경을 쓴 헐크의 효과를 더 좋게 만들어줍니다!

한 문장으로 헐크가 VR 안경을 쓸 수 있어요.

4K 화질.

팬더의 환상의 삶~

바이트의 최신 AI 영상 생성 모델 MagicVideo-V2로 온갖 환상적인 아이디어를 실현할 수 있습니다. 4K, 8K 초고해상도를 지원할 뿐만 아니라, 다양한 드로잉 스타일을 손쉽게 수용할 수 있습니다.

Δ왼쪽부터 유화 스타일, 사이버 스타일, 디자인 스타일

평가 효과가 Gen-2, Pika 및 기존 AI 영상 생성 도구를 능가합니다.

그 결과 온라인에 올라간 지 24시간 만에 많은 관심을 끌었습니다. 예를 들어 한 트윗의 조회수는 거의 20만 회에 달했습니다.

많은 네티즌들은 그 효과에 놀라며 "런웨이나 피카보다 낫다"라고 퉁명스럽게 말하기까지 했습니다.

"런웨이와 피카보다 낫다"

연구원들이 실제 효과 비교를 진행해봤습니다. 참가자는 MagicVideo-V2, StabilityAI의 SVD-XT, 새로운 잠재 플레이어 Pika1.0, Runway의 Gen-2입니다.

1라운드: 빛과 그림자 효과.

해가 지면서 여행자는 안개 낀 숲 속을 혼자 걷는다.

(왼쪽부터: MagicVideo-V2, SVD-XT, 오른쪽 위 Pika, 오른쪽 아래 Gen-2, 아래도 동일)

MagicVideo-V2, Gen-2 및 피카에는 분명한 빛과 그림자가 있습니다. 하지만 Pika는 MagicVideo-V2의 음색이 더욱 풍부해 여행자용이라고는 볼 수 없습니다.

2라운드: 상황에 따른 플롯 표현.

사회의 일상과 소소한 것들을 이야기하는 1910년대 시트콤

이번 라운드에는 MagicVideo-V2와 Gen-2가 확실히 더 좋습니다. SVD-XT가 선보이는 중저역 구성은 시대성을 반영하지만 표현력이 부족하다.

3라운드: 현실적.

어린 소년이 공원 길에서 자전거를 타고 있었는데, 자갈 위에서 바퀴가 딱딱거리는 소리를 냈습니다.

이번에는 대비가 더욱 뚜렷해졌습니다. MagicVideo-V2와 SVD-XT는 문장의 의미를 완벽하게 반영하지만 MagicVideo-V2는 아이의 움직이는 발의 세세한 부분까지 볼 수 있습니다.

또한 연구원들은 최첨단 방법을 사용하여 MagicVideo-V2에 대한 일대일 인간 평가도 수행했습니다.

결과는 사람들이 MagicVideo-V2가 다른 방법에 비해 더 잘 작동한다고 생각한다는 것을 보여줍니다.

(녹색, 회색, 분홍색 막대는 각각 MagicVideo-V2가 더 좋음, 동등함, 나쁨으로 평가된 실험 결과를 나타냅니다.)

어떻게 달성하나요?

간단히 말하면 MagicVideo-V2는 텍스트-이미지 모델, 비디오 모션 생성기, 참조 이미지 임베딩 모듈 및 보간 모듈을 통합한 비디오 생성 파이프라인입니다.

먼저 T2I 모듈은 먼저 텍스트를 기반으로 1024×1024 이미지를 생성한 다음 I2V 모듈이 정적 이미지에 애니메이션을 적용하여 600×600×32 프레임 시퀀스를 생성한 다음 V2V 모듈을 사용하여 비디오 콘텐츠를 개선하고 마지막으로 보간 모듈을 사용하여 시퀀스를 94프레임으로 확장합니다.

이러한 방식으로 높은 충실도와 시간 연속성이 보장됩니다.

하지만 이르면 2022년 11월에 Byte는 MagicVideo V1 버전을 출시했습니다.

그러나 당시에는 단일 GPU 카드에서 256x256 해상도 비디오를 생성할 수 있는 효율성에 더 중점을 두었습니다.

참조 링크:
https://twitter.com/arankomatsuzaki/status/1744918551415443768?s=20
프로젝트 링크:
https://magicvideov2.github.io/
종이 링크 :
https://arxiv.org/abs/2401.04468
https://arxiv.org/abs/2211.11018

위 내용은 바이트의 신세대 비디오 세대 모델은 Gen-2보다 VR 안경을 쓴 헐크의 효과를 더 좋게 만들어줍니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!