AI 애플리케이션의 다음 인기 애플리케이션이 등장했습니다. Alibaba와 ByteDance는 메시를 쉽게 춤추게 할 수 있는 유사한 인공물을 조용히 출시했습니다.

AI 비디오 생성 유물이 다시 등장했습니다. 최근 Alibaba와 ByteDance는 각자의 도구를 비밀리에 출시했습니다

Ali는 Alibaba 지능형 컴퓨팅 연구소에서 개발한 프로젝트인 Animate Any를 출시했습니다. 정적 캐릭터 이미지(실제 인물, 애니메이션/만화 캐릭터 등 포함)와 일부 동작 및 자세(예: 춤추기, 걷기)만 제공하면 됩니다. 캐릭터의 세세한 특징(표정, 의상 디테일 등)을 그대로 유지하면서 애니메이션이 가능합니다.

메시 사진만 있으면 '축구왕'에게 다양한 포즈를 요청할 수 있습니다(아래 사진 참조). 이 원리에 따르면 메시를 춤추게 만드는 것은 쉽습니다.

싱가포르 국립대학교와 ByteDance는 AI 기술을 사용하여 정적 이미지를 역동적인 비디오로 바꾸는 Magic Animate를 공동으로 출시했습니다. 바이트는 극도로 까다로운 TikTok 댄스 데이터 세트에서 Magic Animate로 생성된 비디오의 현실감이 가장 강력한 기준에 비해 38% 이상 향상되었다고 말했습니다.

Tusheng Video 프로젝트에서 Alibaba와 ByteDance는 손을 잡고 논문 공개, 코드 공개, 테스트 주소 공개 등 일련의 작업을 거의 동시에 완료했습니다. 두 관련 논문의 공개 시간은 단 하루 차이였습니다

Bytes 관련 논문이 11월 27일에 발표되었습니다:

알리 관련 논문은 11월 28일 공개됩니다:

두 회사의 오픈소스 파일은 Github에 지속적으로 업데이트됩니다

다시 작성해야 하는 내용은 Magic Animate의 오픈 소스 프로젝트 파일 패키지입니다

누구나 오픈소스 프로젝트 파일 패키지에 애니메이션 적용

이 사실을 다시 한 번 강조합니다: 비디오 세대는 AIGC에서 인기 있는 경쟁 이벤트이며, 거대 기술 기업과 스타 기업들이 이에 주목하고 적극적으로 투자하고 있습니다. Runway, Meta, Stable AI가 AI Vincent 비디오 애플리케이션을 출시했으며 Adobe는 최근 AI 비디오 제작 회사인 Rephrase.ai 인수를 발표한 것으로 파악됩니다.

위 두 회사의 디스플레이 영상을 보면 생성 효과가 크게 향상되었으며, 부드러움과 사실감이 이전보다 좋아졌습니다. 로컬 왜곡, 흐릿한 세부 정보, 일관성 없는 프롬프트 단어, 원본 이미지와의 차이, 프레임 삭제, 화면 지터 등 현재 이미지/비디오 생성 애플리케이션의 단점을 극복합니다.

두 도구 모두 확산 모델을 통해 시간적으로 일관된 초상화 애니메이션을 생성하며 훈련 데이터는 거의 동일합니다. 두 가지 모두에서 사용되는 Stable Diffusion은 CompVis, Stability AI 및 LAION의 연구원 및 엔지니어가 만든 텍스트-이미지 잠재 확산 모델로, LAION-5B 데이터베이스 하위 집합의 512x512 이미지를 사용하여 훈련되었습니다. LAION-5B는 현존하는 최대 규모의 자유롭게 접근 가능한 다중 모드 데이터 세트입니다.

애플리케이션에 대해 말하면서, Alibaba 연구자들은 기본 방법인 Animate Anybody가 향후 다양한 Tusheng 비디오 애플리케이션으로 확장될 수 있다고 논문에서 밝혔습니다. 이 도구는 온라인 소매, 엔터테인먼트 비디오 및 예술과 같은 많은 잠재적인 애플리케이션 시나리오를 가지고 있습니다. 가상 캐릭터 생성. ByteDance는 또한 Magic Animate가 강력한 일반화 기능을 입증했으며 여러 시나리오에 적용될 수 있다고 강조했습니다.

다중 모드 애플리케이션의 "성배": Vincent Video Vincent Video는 텍스트와 음성 기술을 결합하여 비디오 콘텐츠의 다중 모드 분석 및 처리를 적용하는 것을 말합니다. 텍스트 및 음성 정보를 비디오 이미지와 연결하여 보다 풍부한 비디오 이해 및 대화형 경험을 제공합니다. Vincent Video Application은 지능형 영상 감시, 가상 현실, 영상 편집, 콘텐츠 분석 등 다양한 응용 분야를 보유하고 있습니다. Vincent Video는 텍스트 및 음성 분석을 통해 비디오의 개체, 장면 및 동작을 식별하고 이해할 수 있어 사용자에게 보다 지능적인 비디오 처리 및 제어 기능을 제공합니다. 지능형 비디오 감시 분야에서 Vincent Video는 감시 비디오 콘텐츠에 자동으로 레이블을 지정하고 분류하여 감시 효율성과 정확성을 향상시킬 수 있습니다. 가상 현실 분야에서 Vincent Video는 사용자의 음성 명령 및 가상 환경과 상호 작용하여 더욱 몰입감 있는 가상 경험을 달성할 수 있습니다. 비디오 편집 및 콘텐츠 분석 분야에서 Vincent Video는 사용자가 비디오에서 주요 정보를 자동으로 추출하고 지능적인 편집 및 편집을 수행할 수 있도록 도와줍니다. 간단히 말해서, 다중 모드 애플리케이션의 "성배"인 Vincent Video는 비디오 콘텐츠의 이해와 상호 작용을 위한 보다 포괄적이고 지능적인 솔루션을 제공합니다. 그 발전은 다양한 분야에 더 많은 혁신과 편리함을 가져오고 기술 진보와 사회 발전을 촉진할 것입니다

비디오는 텍스트와 그림에 비해 장점이 있습니다. 정보를 더 잘 표현하고 그림을 풍부하게 하며 역동적일 수 있습니다. 비디오는 텍스트, 이미지, 사운드 및 시각 효과를 결합하여 여러 정보 형태를 통합하여 하나의 미디어로 표현할 수 있습니다

AI 비디오 도구는 강력한 제품 기능을 갖추고 있으며 더 넓은 적용 시나리오를 열 수 있습니다. 간단한 텍스트 설명이나 기타 작업을 통해 AI 비디오 도구는 고품질의 완전한 비디오 콘텐츠를 생성할 수 있으므로 비디오 제작의 문턱을 낮출 수 있습니다. 이를 통해 비전문가도 영상을 통해 콘텐츠를 정확하게 보여줄 수 있어 콘텐츠 제작의 효율성이 향상되고 다양한 산업 분야에서 더 많은 창의성이 발휘될 것으로 기대됩니다

Guosheng Securities의 Song Jiaji는 이전에 AI Wensheng 비디오가 다중 모드 애플리케이션의 다음 단계이자 다중 모드 AIGC의 "성배"라고 지적했습니다. AI 비디오는 다중 모드 AI 생성 퍼즐의 마지막 조각을 완성합니다. , 다운스트림 애플리케이션 가속의 순간도 다가오고 있습니다. Shengang Securities는 비디오 AI가 다중 모드 분야의 마지막 링크라고 말했습니다. Huatai Securities는 AIGC 추세가 Vincentian 텍스트와 Vincentian 사진에서 Vincentian 비디오 분야로 점차 이동하고 있다고 말했습니다. Vincentian 비디오는 계산 난이도가 높고 데이터 요구 사항이 높기 때문에 업스트림 AI 컴퓨팅 성능에 대한 지속적인 강력한 수요를 뒷받침할 것입니다.

그러나 대기업 간, 대기업과 스타트업 간의 격차는 그다지 크지 않습니다. 현재 Vincent Video에는 공개 베타 애플리케이션이 거의 없으며 Runway Gen-2, Zero Scope 및 Pika와 같은 일부 애플리케이션만 있습니다. Meta 및 Google과 같은 실리콘 밸리의 인공 지능 대기업조차도 각각의 Make-A-Video 및 Phenaki 출시가 아직 공개 베타 버전으로 출시되지 않은 상태에서 느린 진전을 보이고 있습니다.

기술적인 관점에서 볼 때 비디오 생성 도구의 기본 모델과 기술은 여전히 ​​최적화되고 있습니다. 현재 주류 Vincent 비디오 모델은 주로 Transformer 모델과 확산 모델을 사용합니다. 확산 모델 도구는 주로 비디오 품질을 향상하고 거친 효과와 세부 묘사 부족 문제를 극복하는 데 전념합니다. 그런데 이 영상들의 길이는 모두 4초 이내입니다

반면 확산 모델은 잘 작동하지만 훈련 과정에 많은 메모리와 컴퓨팅 능력이 필요하므로 대규모 투자를 받은 대기업과 스타트업만이 모델 훈련 비용을 감당할 수 있습니다

출처: 과학기술혁신위원회데일리

위 내용은 AI 애플리케이션의 다음 인기 애플리케이션이 등장했습니다. Alibaba와 ByteDance는 메시를 쉽게 춤추게 할 수 있는 유사한 인공물을 조용히 출시했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!