CCTV는 국내 AI 부활 소환 기술을 극찬했고, 병마용들은 실제로 젬스톤 아저씨와 랩을 했다고?

2천년 넘게 잠들어 있던 병마용과 말이 깨어났다?

진 오페라의 오프닝 라인이 우리를 황토 고원으로 데려 왔습니다. 직접 눈으로 보지 않았다면 많은 관객들이 병마용과 보옥이 같은 무대에서 '육군 행진'을 펼치는 모습을 일생에 볼 수 있을 것이라고는 상상도 하지 못했을 것이다.

"칭하이의 긴 구름과 어두운 눈 덮인 산, 저 멀리 옥문관이 보이는 외로운 도시." 비록 고대의 선율은 음악에서 바뀌었지만 소리는 여전히 감동적입니다:

이 공연의 이면에 있는 "AI 부활 소환 기술"은 Alibaba Tongyi Lab의 EMO라고 합니다. 사진과 오디오만으로 EMO는 정지 이미지를 실제와 같은 노래와 연주 영상으로 바꾸고 오디오의 기복과 기복을 정확하게 포착할 수 있습니다.

역시 EMO 기술을 기반으로 한 CCTV의 '2024 중국 AI 페스티벌'에서는 북송 왕조 작가 소시가 '부활'해 같은 무대에서 이위강과 함께 '수조거두'를 불렀다. '아이수시'의 움직임은 마치 시공간을 여행한 듯 단순하고 자연스럽다.

최초 국가 수준 기술인 EMO 등 AI 분야 첨단 기술에서 영감을 받았다. '2024 중국 AI 페스티벌'은 인공지능을 핵심으로 성대하게 개막한다. 개막식에서는 '미디어 + 기술 + 예술' 통합의 형태로 전시회 전 모든 관객에게 국내 최첨단 AI 기술 파워를 선보일 예정이다. EMO가 "원 밖으로" 나온 것은 이번이 처음이 아닙니다. 한때 소셜 미디어에서 폭발적인 인기를 끌었던 "Gao Qiqiang 통합 Luo Xiang Pufa"도 EMO에서 만들었습니다.

Tongyi APP에 로그인한 후 플레이어의 다양한 상상력 시도의 도움으로 EMO는 오늘날 큰 인기를 끌었습니다. . 아직 시도해보지 않은 친구들은 이 앱을 다운로드한 후 '채널'에 들어가서 '전국무대'를 선택하면 원활한 경험을 할 수 있습니다.

실제 동이연구소에서는 올해 2월 초 EMO(Emote Portrait Alive) 관련 논문을 발표했습니다. 이 논문은 처음 발표되었을 때 극찬을 받았습니다. 어떤 사람들은 "EMO는 혁명적인 연구입니다."

라고 칭찬하기도 했습니다.

• 논문 주소: https://arxiv.org/pdf/2402.17485
• 프로젝트 홈페이지: https://humanaigc.github.io/emote-portrait-alive/

작동 이유 이렇게 높은 평가를 받으려면? 이는 또한 영상 생성 기술의 현재 개발 상황과 EMO의 근본적인 기술 혁신에서 시작됩니다.

그렇다면 EMO는 왜 있는 걸까요?

지난 몇 년 동안 이미지 생성 분야에서 AI의 성공은 모두에게 분명했습니다. 현재 AI 분야의 연구 핫스팟은 더 어려운 과제인 비디오 생성을 극복하는 것입니다.

EMO는 가장 어려운 작업 중 하나인 오디오 기반 캐릭터 비디오 생성에 직면해 있습니다.

일반적인 Vincent 비디오 및 Tusheng 비디오 게임플레이와 달리 오디오 기반 캐릭터 비디오 생성은 오디오에서 비디오 형식으로 직접 교차하는 프로세스입니다. 이러한 유형의 비디오 생성에는 머리 움직임, 시선, 깜박임, 입술 움직임 등과 같은 여러 요소가 포함되는 경우가 많으며 비디오 콘텐츠의 일관성과 부드러움이 유지되어야 합니다.

이전 방식에서는 대부분의 모델이 먼저 얼굴, 머리, 신체 부위에 대한 3D 모델링이나 얼굴 키포인트 마킹을 한 뒤 이를 중간 표현으로 활용해 최종 영상을 제작했습니다. 그러나 중간 표현을 사용하는 방식은 오디오에 담긴 정보가 과도하게 압축되어 최종 생성되는 영상의 감정 표현에 영향을 미칠 수 있다.

Tongyi 연구소 응용 비전 팀장인 Bo Liefeng은 EMO의 핵심 혁신 "약한 제어 설계"가 위의 문제를 잘 해결하여 비디오 생성 비용을 절감할 뿐만 아니라 크게 개선한다고 말했습니다. 비디오 생성 품질.

"약한 제어"는 두 가지 측면에서 반영됩니다. 첫째, EMO는 모델링이 필요하지 않으며 오디오에서 직접 정보를 추출하여 표정 역동성 및 입술 동기화 비디오를 생성하므로 복잡한 전처리가 필요하지 않습니다. . 자연스럽고 부드러우며 표현력이 풍부한 인물 사진 비디오를 처음부터 끝까지 제작하세요. 둘째, EMO는 생성된 표정과 몸의 움직임에 대해 너무 많은 "제어"를 하지 않습니다. 자연스럽고 부드러운 최종 생성 결과는 고품질 데이터를 통해 학습된 모델 자체의 일반화 능력 때문입니다.

병마용과 말, 보석보석을 같은 프레임에 담아 '군행진'을 부르는데, 노래에 담긴 감정(흥분 등)이 사람에게 낯설지 않고 얼굴에 잘 표현된다. disobedience:

약한 제어 개념을 기반으로 연구팀은 EMO 모델을 위한 크고 다양한 오디오 및 비디오 데이터 세트를 구축했습니다. 연설, 영화를 포함한 다양한 콘텐츠 중국어, 영어를 포함한 여러 언어로 된 TV 클립과 노래 공연을 통해 다양한 비디오를 통해 교육 자료가 다양한 인간 표현과 보컬 스타일을 포착할 수 있도록 보장합니다.

학계에서는 데이터 세트에 대한 최고의 무손실 압축이 데이터 세트 외부의 데이터에 대한 최고의 일반화라는 견해가 있습니다. 효율적인 압축을 달성할 수 있는 알고리즘은 데이터의 심층 패턴을 드러낼 수 있는 경우가 많으며 이는 지능의 중요한 표현이기도 합니다.

따라서 팀은 데이터를 압축하거나 처리하는 과정에서 원본 정보의 풍부한 세부 정보와 동적 범위가 최대한 유지되도록 훈련 과정에서

고충실도 데이터 인코딩 알고리즘

을 설계했습니다. . EMO 훈련의 경우 오디오 정보가 완성되어야 캐릭터의 감정이 잘 표현될 수 있습니다.

동영상 세대 트랙이 급증하고 있습니다

동이랩은 어떻게 세계 최초의 계층이 되었나요?

올해 2월 초, 소라의 출시로 영상 세대 트랙에 불이 붙었고, 그 뒤에 숨어 있는 DiT(확산 변압기)를 포함한 많은 기술이 주목을 받았습니다.

우리는 확산 모델의 U-Net이 잡음으로부터 신호를 점진적으로 복구하는 과정을 시뮬레이션할 수 있다는 것을 알고 있습니다. 이는 이론적으로 모든 복잡한 데이터 분포를 근사화할 수 있으며 생성적 적대 네트워크(GAN)보다 우수하고 가변적입니다. 보다 자연스러운 질감과 보다 정확한 디테일로 실제 이미지를 생성하는 자동 인코더(VAE). 그러나 DiT 논문에서는 U-Net 유도 바이어스가 확산 모델의 성능에 필수 불가결한 것이 아니며 표준 설계(예: Transformer)로 쉽게 대체될 수 있음을 보여줍니다. 이는 Transformer 아키텍처를 기반으로 하는 새로운 확산 모델 DiT입니다. 논문에서 제안했습니다.

가장 중요한 것은 DiT를 핵심으로 하는 Sora가 비디오 생성 모델에 스케일링 법칙이 여전히 존재한다는 것을 검증했으며, 연구자들은 더 많은 매개변수와 데이터를 추가하여 모델 크기를 확장하여 더 나은 결과를 얻을 수 있다는 것입니다.

실제 비디오 생성에서 DiT 모델의 성공으로 AI 커뮤니티는 이 방법의 잠재력을 볼 수 있었고, 비디오 생성 분야는 고전적인 U-Net 아키텍처에서 Transformer 기반 확산 백본 아키텍처. Transformer 어텐션 메커니즘과 대규모 고품질 비디오 데이터를 기반으로 한 시간적 예측은 이러한 변화를 이끄는 핵심 원동력입니다.

그러나 현재 비디오 세대 분야를 살펴보면 아직 '통일된' 아키텍처는 존재하지 않습니다.

EMO는 DiT와 같은 아키텍처를 기반으로 하지 않습니다. 즉, 전통적인 U-Net을 대체하기 위해 Transformer를 사용하지 않습니다. 또한 실제 물리적 세계를 매우 잘 시뮬레이션할 수 있어 전체 연구에 영감을 주었습니다. 필드.

미래 영상 생성 분야에는 어떤 기술적 경로가 등장하게 될까요? 이론 연구자와 실무자 모두 "상대적으로 열린 기대"를 유지할 수 있습니다.

Bo Liefeng은 본질적으로 현재 언어 모델과 이미지/비디오 생성 모델이 통계적 기계 학습의 프레임워크를 뛰어넘지 못했다고 말했습니다. 스케일링 법칙에도 한계가 있습니다. 각 모델은 강한 관계 생성과 중간 관계 생성을 비교적 정확하게 파악하고 있지만, 약한 관계에 대한 학습은 여전히 ​​부족합니다. 연구자들이 고품질의 데이터를 충분히 제공하지 못한다면 모델의 역량을 질적으로 향상시키기는 어려울 것입니다.

다른 각도에서 보면, 영상제너레이션 분야에서 '국토의 절반을 차지하는' 통일된 아키텍처가 있다고 해도 절대적인 우월성을 갖는다는 뜻은 아니다. 자연어 분야와 마찬가지로 늘 C 포지션을 굳건히 지켜온 트랜스포머도 맘바에게 추월당하게 된다.

특히 비디오 생성 분야에서 각 기술 경로에는 고유한 적용 시나리오가 있습니다. 예를 들어, 키포인트 드라이버와 비디오 드라이버는 표정 전환 장면에 더 적합하고, 오디오 드라이버는 캐릭터가 말하고 노래하는 장면에 더 적합합니다. 조건부 제어 정도 측면에서 약한 제어 방법은 창의적인 작업에 매우 적합한 반면, 많은 전문적이고 구체적인 작업은 강력한 제어 방법의 이점을 누릴 수 있습니다.

Tongyi 연구소는 중국에서 가장 먼저 영상 생성 기술을 마련한 기관 중 하나입니다. 현재 Wensheng Video, Tusheng Video 등 다방면에서 연구 개발을 축적해 왔습니다. 는 캐릭터 액션 비디오 생성 프레임워크인 Animate Any, 캐릭터 비디오 역할 대체 프레임워크인 Outfit Any, Motionshop, 캐릭터 노래 및 퍼포먼스 비디오 생성 프레임워크인 Emote Portrait Alive를 포함하는 People완벽한 연구 매트릭스를 구성했습니다.

： 더 많은 프로젝트를 보려면 https://github.com/humanaigc

에 주목하세요. 예를 들어 EMO 이전, Animate 누구나 한때 소셜 미디어와 친구 그룹을 지배했습니다. 이 모델은 캐릭터 동작 영상 생성 시 캐릭터 외형의 단기적 연속성과 장기적 일관성을 유지해야 하는 문제를 해결했으며, 이후 통이 앱에 '전국무용왕' 기능이 출시되면서 전국적인 댄스 열풍을 일으켰다. 클라이맥스.

기술에서 현실 세계까지

지난 2년 동안 언어 모델은 대화, 이해, 요약, 추론 등에서 강력한 텍스트 기능을 입증했으며 이미지 생성 모델은 강력한 텍스트 기능을 입증했습니다. 자연발생적, 예능적, 예술적 역량 두 트랙 모두 수많은 히트작을 탄생시켰다. 이러한 모델의 성공은 우리에게 최소한 한 가지를 말해줍니다.
이 시대에 영향력을 얻고자 하는 기술 팀은 "기본 모델"과 "슈퍼 애플리케이션"이라는 두 다리로 걷는 법을 배워야 합니다.

현재 영상 콘텐츠는 폭발적인 성장 추세를 보이고 있으며, 모두가 '사용 가능'하고 '실용적'인 AI 영상 생성 플랫폼의 등장을 기대하고 있습니다.
EMO는 이러한 상황을 타개하기 위한 중요한 기술적 혁신일 수 있으며, Tongyi App은 기술 구현을 위한 광범위한 플랫폼을 제공합니다.

비디오 생성 기술의 다음 과제는 전문가 수준의 콘텐츠를 캡처하는 방법입니다.

기술 회사들은 AI 기술을 단편 비디오 블로거, 영화 및 TV 제작자, 광고 및 게임 창작자에게 서비스를 제공하는 실제 생산성 도구로 전환하기를 희망합니다. 이것이 바로 비디오 생성 애플리케이션이 "일반 콘텐츠" 수준에 머물 수 없는 이유입니다.

현재 대부분의 비디오 생성 애플리케이션을 살펴보면 대부분 3~5초의 비디오 생성 모델을 기반으로 하며 애플리케이션과 경험에 있어서 명백한 한계가 있습니다.
그러나 EMO 기술은 오디오 지속 시간에 매우 관대하며 생성된 콘텐츠의 품질은 스튜디오 표준을 충족할 수 있습니다. 예를 들어, CCTV에서 방송된 "병마용 노래와 공연"에서 병마용의 4분짜리 공연 비디오 중 단 1초도 후반 작업에서 수동으로 "미세 조정"이 필요하지 않았습니다.

이제 EMO로 대표되는 캐릭터 영상 생성 기술은 '전문가 수준 세대 수준'에 가장 가까운 구현 방향 중 하나인 것 같습니다. Wensheng 비디오 기술의 사용자 프롬프트에 대한 많은 불확실성과 비교할 때 EMO 기술은 콘텐츠 일관성 및 캐릭터 비디오 제작의 일관성에 대한 핵심 요구 사항과 매우 일치하며 매우 잠재적인 응용 분야를 보여줍니다.

EMO가 '원 밖으로 나온' 이유는 R&D팀의 기술력뿐만 아니라, 더 중요한 것은 영상 생성 기술 구현의 가속화입니다.

'1인당 전문 창작자' 시대가 멀지 않았을지도 모릅니다.

위 내용은 CCTV는 국내 AI 부활 소환 기술을 극찬했고, 병마용들은 실제로 젬스톤 아저씨와 랩을 했다고?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!