구글의 새로운 'AI 디렉터'의 마법은 단 한 문장으로 영상의 주인공을 바꿀 수 있다는 점인데, 놀랍고 화질도 매우 좋다.

본 글은 AI 뉴미디어 큐빗(공개 계정 ID: QbitAI)의 승인을 받아 재인쇄되었습니다.

Google은 한 문장으로 동영상의 주인공을 바꿀 수도 있는 새로운 "AI 디렉터"를 출시했습니다.

보세요, 작은 곰이 푸른 잔디 위에서 춤을 추고 있어요.

요즘 곰들은 다 예술인가요? ?

안돼안돼안돼! 원래 잔디 위에 있던 것은 사실 원숭이였습니다.

원숭이에서 곰으로 변하려면 다음 AI에게 이렇게 말하세요.

작은 곰이 음악 비트에 맞춰 춤을 추며 몸 전체를 비틀어요.

(곰이 춤추고 경쾌한 음악에 맞춰 점프하며 몸 전체를 움직입니다)

비디오를 "마법처럼 수정"하는 것 외에도

Dreamix라는 이름의 이 AI는 정적 사진을 애니메이션으로 바꿀 수도 있습니다. - 한 번에 수행할 수도 있습니다 문장 완료.

예를 들어, 이 AI에게 "거북이 수영 사진"을 보여주고 다음과 같이 말합니다.

거북이가 물 속에서 수영하는 사진이 찍혔고 상어가 뒤에서 다가오고 있었습니다.

(뒤에서 다가오는 상어와 바다거북 수중샷)

얘들아, 한 문장으로 거북이가 헤엄칠 뿐만 아니라 허공에서 상어까지 추가되었습니다.

이 효과는 많은 네티즌들을 좋아하게 만들었습니다.

어떤 사람들은 AIGC가 앞으로 2년 동안 계속 열풍을 일으킬 것이라고 주장하기도 합니다. 이는 밀레니엄 동안의 발전보다 더 열광적일 것입니다.

단 한 문장으로 영상을 연출해보세요

공개하면 칭찬이 절로 나오죠 이 AI는 어떤가요? 그에 대한 느낌을 얻기 위해 그의 "감독" 작품을 더 많이 보는 것이 좋을 것입니다.

먼저

영상 캐릭터 변경에 관해서는 이 필드가 원래 필드입니다.

AI가 불을 붙인 필드입니다.

이것이 인간입니다. 손글씨:

이것은 AI가 만든 로봇 손글씨입니다:

또한 사람이 글을 쓰는 영상을 기반으로 합니다. 프롬프트 문장을 "사람 손이 원을 그리고 있습니다"로 바꾸면. , 다양한 세대 효과가 있습니다:

정적 이미지 변경 애니메이션의 경우 원본 이미지는 안개가 자욱한 정글입니다.

AI는 달리는 유니콘을 추가했습니다. 이 숲과 렌즈도 문장 프롬프트에 따라 축소되었습니다.

이런 강 계곡 풍경 사진도 있습니다:

AI는 시냇물을 흐르게 할 뿐만 아니라 해안에 물소를 목욕시키고 하늘을 나는 새를 추가합니다.

이것을 보고 좀 더 주의가 필요하다고 느끼시는 분들도 계실 겁니다. 애니메이션은 제작되었지만 화질도 많이 희생되었습니다.

그런 다음 AI에게 사진 몇 장을 더 보여주는 것이 좋습니다.

예를 들어 AI에게 장난감 화재 경보기 사진 7장을 한 번에 보여줍니다.

그런 다음 문장을 기반으로 비디오를 생성하면 화질이 훨씬 더 선명해집니다.

이 "AI 디렉터"가 어떻게 작동하는지에 대해 Google은 핵심이 "오래된 친구" 확산 모델 (확산 모델) 에 있다고 말했습니다.

확산 모델은 인기 있는 AIGC 페인팅 도구인 DALL·E 2의 핵심이기도 합니다.

실제로 이전에도 비슷한 '텍스트 생성 영상' AI가 있었지만, 영상 확산 모델이 입력 영상에 대해서만 미세 조정된다면 모션 변화 정도가 제한될 것이라고 구글 연구원들은 지적했다.

이 AI의 차이점은 다음과 같습니다.

팀은 "하이브리드 타겟"을 사용합니다. 이는 원래 타겟을 미세 조정하는 것 외에도 순서가 지정되지 않은 프레임 세트도 미세 조정합니다.

딥 러닝의 특수 주의 메커니즘인 Masked Temporal Attention을 채택하여 모델이 입력 정보의 특정 부분에 집중하고 다른 관련 없는 부분을 무시하도록 돕습니다.

——이는 모델의 시퀀스 데이터 처리 능력을 향상시키고, 비디오에서 더욱 다양한 역동성을 생성하며, 효과가 더욱 자연스러워집니다.

확산 모델과 Masked Temporal Attention의 지원으로 비디오 주인공을 변경하기 위해 입력이 실제로 생략되었습니다. 미세 조정만 필요하며 결과의 충실도도 상당히 좋습니다.

위 내용은 구글의 새로운 'AI 디렉터'의 마법은 단 한 문장으로 영상의 주인공을 바꿀 수 있다는 점인데, 놀랍고 화질도 매우 좋다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!