물리 엔진과 결합된 GPT-4+ 확산 모델은 현실적이고 일관되며 합리적인 비디오를 생성합니다.

확산 모델의 도입으로 텍스트 생성 영상 기술의 발전이 촉진되었습니다. 그러나 이러한 방법은 종종 계산 비용이 많이 들고 부드러운 객체 모션 영상을 얻기가 어렵습니다.

이러한 문제를 해결하기 위해 심천의 연구자들은 중국과학원 첨단기술연구소, 중국과학원대학교 연구원, VIVO 인공지능연구소가 훈련 없이 텍스트 비디오를 생성할 수 있는 GPT4Motion이라는 새로운 프레임워크를 공동으로 제안했습니다. GPT4Motion은 GPT와 같은 대형 언어 모델의 계획 기능과 Blender 소프트웨어에서 제공하는 물리적 시뮬레이션 기능, 확산 모델의 텍스트 생성 기능을 결합하여 비디오 합성 품질을 크게 향상시키는 것을 목표로 합니다

• 프로젝트 링크: https://gpt4motion.github.io/
• 논문 링크: https://arxiv.org/pdf/2311.12631.pdf
• 코드 링크: https://github.com/jiaxilv /GPT4Motion

GPT4Motion은 GPT-4를 사용하여 사용자 입력 텍스트 프롬프트를 기반으로 블렌더 스크립트를 생성합니다. Blender의 물리 엔진을 활용하여 기본 장면 구성 요소를 생성하고 이를 연속 프레임 간 모션으로 캡슐화합니다. 그런 다음 이러한 구성 요소를 확산 모델에 입력하여 텍스트 프롬프트와 일치하는 비디오를 생성합니다

실험 결과에 따르면 GPT4Motion은 모션 일관성과 개체 일관성을 유지하면서 고품질 비디오를 효율적으로 생성할 수 있음을 보여줍니다. GPT4Motion은 생성된 비디오를 더욱 사실적으로 만들기 위해 물리 엔진을 사용한다는 점에 유의해야 합니다. 이것은 텍스트 생성 비디오에 대한 새로운 시각을 제공합니다

먼저 텍스트 프롬프트 입력과 같은 GPT4Motion의 생성 효과를 살펴보겠습니다: "흰 티셔츠가 바람에 펄럭입니다", "흰 티셔츠- 셔츠가 바람에 펄럭인다', '강한 바람에 하얀 티셔츠가 펄럭인다'. 바람의 강도가 다르기 때문에 GPT4Motion에서 생성한 영상에서 펄럭이는 흰색 티셔츠의 진폭도 다릅니다.

액체 흐름 패턴 측면에서 GPT4Motion에서 생성한 영상도 보여줄 수 있습니다. 잘:

농구가 회전하고 공중에서 떨어지는 것:

방법 소개

이 연구의 목표는 사용자의 요구에 따라 신체적 특성에 맞는 비디오를 생성하는 것입니다. 기본적인 신체 움직임 장면. 물리적 특성은 종종 물체의 재질과 관련이 있습니다. 연구자들은 일상 생활에서 흔히 볼 수 있는 세 가지 물체 재료를 시뮬레이션하는 데 중점을 둡니다. 1) 힘을 가해도 모양이 변하지 않는 단단한 물체, 2) 부드럽고 펄럭이기 쉬운 천, 3) 액체 지속적이고 변형 가능한 움직임을 나타냅니다.

또한 연구원들은 충돌(물체 사이의 직접적인 충격), 바람 효과(공기 흐름으로 인한 움직임) 및 흐름(연속적이고 한 방향으로 이동)을 포함하여 이러한 물질의 몇 가지 일반적인 모션 모드에 특별한 주의를 기울였습니다. 이러한 물리적 시나리오를 시뮬레이션하려면 고전 역학, 유체 역학 및 기타 물리학에 대한 지식이 필요한 경우가 많습니다. 텍스트로 생성된 영상에 초점을 맞춘 현재 확산 모델은 훈련을 통해 이러한 복잡한 물리적 지식을 획득하기 어렵기 때문에 물리적 특성을 준수하는 영상을 생성할 수 없습니다. GPT4Motion의 장점은 생성된 영상이 사용자가 입력하라는 메시지가 표시되며 물리적으로도 정확합니다. GPT-4의 의미론적 이해 및 코드 생성 기능은 사용자 프롬프트를 Blender의 Python 스크립트로 변환할 수 있으며, 이는 Blender의 내장 물리 엔진을 구동하여 해당 물리적 ​​장면을 시뮬레이션할 수 있습니다. 또한 이 연구에서는 ControlNet을 사용하여 Blender 시뮬레이션의 동적 결과를 입력으로 사용하여 확산 모델을 안내하여 프레임별로 비디오를 생성했습니다

GPT-4를 사용하여 시뮬레이션 작업을 위해 Blender를 활성화

연구원들은 GPT-4가 Blender의 Python API에 대해 어느 정도 이해하고 있지만 사용자 프롬프트를 기반으로 Blender의 Python 스크립트를 생성하는 기능이 여전히 부족하다는 점을 관찰했습니다. 한편으로 GPT-4에게 간단한 3D 모델(농구와 같은)조차 블렌더에서 직접 생성하도록 요청하는 것은 어려운 작업처럼 보입니다. 반면 Blender의 Python API는 리소스가 적고 API 버전이 빠르게 업데이트되므로 GPT-4가 특정 기능을 오용하거나 버전 차이로 인해 오류가 발생하기 쉽습니다. 이러한 문제를 해결하기 위해 연구에서는 다음과 같은 솔루션을 제안합니다.

1. 외부 3D 모델을 사용
2. Blender 기능을 캡슐화
3. 사용자 프롬프트를 물리적 속성으로 변환

그림 3은 연구를 보여줍니다. GPT-4용으로 설계된 일반 프롬프트 템플릿입니다. 여기에는 캡슐화된 블렌더 기능, 외부 도구 및 사용자 명령이 포함됩니다. 연구진은 템플릿에 가상 세계의 크기 기준을 정의하고 카메라 위치와 시점에 대한 정보를 제공했다. 이 정보는 GPT-4가 3차원 공간의 레이아웃을 더 잘 이해하는 데 도움이 됩니다. 그런 다음 GPT-4가 해당 Blender Python 스크립트를 생성하도록 안내하기 위해 사용자가 입력한 프롬프트를 기반으로 해당 지침이 생성됩니다. 마지막으로 이 스크립트를 통해 블렌더는 객체의 가장자리와 깊이를 렌더링하고 이를 이미지 시퀀스로 출력합니다.

재작성된 콘텐츠: 물리 법칙을 따르는 동영상 만들기

본 연구는 사용자가 제공하는 프롬프트와 이에 상응하는 물리적 동작 조건을 기반으로 생성하는 것을 목표로 합니다. 블렌더, 텍스트와 일관되고 시각적으로 사실적인 비디오. 이를 위해 연구에서는 확산 모델 Control 물리적 특성

1. 을 채택했습니다. 그림 4는 농구공의 낙하 및 충돌과 관련된 세 가지 프롬프트에 따라 GPT4Motion에서 생성된 농구 모션 비디오를 보여줍니다. 그림 4의 왼쪽에는 농구공이 회전할 때 매우 사실적인 질감을 유지하고 지면에 충격을 준 후 튀는 동작을 정확하게 복제합니다. 그림 4의 중간 부분은 이 방법이 농구공의 수를 정확하게 제어할 수 있고, 여러 개의 농구공이 착지할 때 발생하는 충돌과 바운스를 효과적으로 생성할 수 있음을 보여줍니다. 놀랍게도 그림 4의 오른쪽과 같이 사용자가 카메라를 향해 농구공을 던지라고 요청하면 GPT-4는 생성된 스크립트에서 농구공이 떨어지는 시간을 기반으로 필요한 초기 속도를 계산하여 사실적인 시각적 효과를 구현합니다. 효과. 이는 GPT4Motion이 GPT-4의 물리학 지식과 결합되어 바람에 날리는

천의 생성된 비디오 콘텐츠를 제어할 수 있음을 보여줍니다. 그림 5와 6은 바람의 영향을 받아 움직이는 천을 생성하는 GPT4Motion의 능력을 보여줍니다. GPT4Motion은 시뮬레이션을 위해 기존 물리 엔진을 활용하여 다양한 풍력 하에서 파도와 파도를 생성할 수 있습니다. 그림 5는 깃발을 흔드는 결과를 보여줍니다. 깃발은 다양한 바람 조건에서 잔물결과 파도의 복잡한 패턴을 표시합니다. 그림 6은 다양한 바람의 힘에 따른 불규칙한 천 물체인 티셔츠의 움직임을 보여줍니다. 탄력성, 무게감 등 원단의 물리적 특성에 영향을 받아 티셔츠가 흔들리고 뒤틀리며 눈에 띄는 주름 변화가 나타납니다.

그림 7은 머그컵에 점도가 다른 물을 붓는 세 가지 영상을 보여줍니다. 물의 점도가 낮으면 흐르는 물이 컵 속의 물과 충돌하여 합쳐지면서 복잡한 난류 현상을 형성합니다. 점도가 높아지면 물의 흐름이 느려지고 액체끼리 달라붙기 시작합니다

기본법과의 비교

그림 1에서 GPT4Motion은 다른 기본 방법과 시각적으로 비교됩니다. 기본 방법의 결과가 사용자 프롬프트와 일치하지 않는 것은 분명합니다. DirecT2V와 Text2Video-Zero는 텍스처 충실도와 모션 일관성에 결함이 있는 반면 AnimateDiff와 ModelScope는 비디오의 부드러움을 향상시키지만 텍스처 일관성과 모션 충실도에는 여전히 개선의 여지가 있습니다. 이러한 방법에 비해 GPT4Motion은 농구공이 바닥에 부딪힌 후 떨어지고 튀는 동안 부드러운 질감 변화를 생성할 수 있어 더욱 사실적으로 보입니다.

그림 8(첫 번째 행)에서 볼 수 있듯이 AnimateDiff 및 Text2Video-Zero에는 깃발에 아티팩트/왜곡이 있는 반면, ModelScope와 DirecT2V는 바람에 펄럭이는 깃발의 그라데이션을 원활하게 생성할 수 없었습니다. 그러나 그림 5의 중앙에서 볼 수 있듯이 GPT4Motion으로 생성된 영상은 중력과 바람의 영향을 받아 깃발의 주름과 잔물결이 지속적으로 변화하는 모습을 보여줄 수 있습니다.

그림 8의 두 번째 행에 표시된 것처럼 모든 기준의 결과가 사용자 프롬프트와 일치하지 않습니다. AnimateDiff와 ModelScope의 비디오는 물 흐름의 변화를 반영하지만 컵에 물을 붓는 물리적 효과를 포착할 수는 없습니다. 반면 Text2VideoZero와 DirecT2V가 생성한 영상은 끊임없이 흔들리는 컵을 만들어냈습니다. 이에 비해 그림 7(왼쪽)과 같이 GPT4Motion으로 생성된 영상은 물의 흐름이 머그와 충돌할 때의 교반을 정확하게 묘사하고 있으며 그 효과는 더욱 사실적입니다.

관심 있는 독자는 원본 논문을 읽어 자세히 알아볼 수 있습니다. 다양한 연구 콘텐츠

위 내용은 물리 엔진과 결합된 GPT-4+ 확산 모델은 현실적이고 일관되며 합리적인 비디오를 생성합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!