효과는 폭발적입니다! OpenAI 최초 동영상 세대 모델 출시, 1분 만에 매끄럽고 고화질, 네티즌: 업계 전체가 RIP

방금 Ultraman은 OpenAI의 첫 번째 비디오 세대 모델 Sora을 출시했습니다.

DALL·E 3의 화질과 명령추종 기능을 완벽하게 계승해 최대 1분 길이의 고화질 영상을 생성할 수 있습니다.

붉은 깃발이 펄럭이고 수많은 사람들이 모여드는 AI가 상상하는 용의 해 봄 축제.

많은 아이들이 용춤팀을 흥미롭게 지켜봤고, 몇몇 사람들은 휴대폰을 꺼내 사람들의 다양한 행동을 기록하기도 했습니다.

비 온 뒤의 도쿄 거리, 젖은 땅 반사 네온 불빛 그림자 효과는 RTX ON과 비슷합니다.

움직이는 기차의 창문이 가끔씩 막히기도 하고, 차 안에 비친 캐릭터들의 모습도 잠깐 나타나는데 정말 환상적입니다.

할리우드 블록버스터 수준의 영화 예고편도 볼 수 있습니다.

세로 화면의 슈퍼 클로즈업 관점에서 보면 이 도마뱀의 디테일이 가득합니다.

네티즌들은 게임이 끝났다고 부릅니다. 작업이 너무 많이 손실되었습니다.

어떤 사람들은 업계 전체를 "애도"하기 시작했습니다.

AI는 움직이는 물리적 세계를 이해합니다.

OpenAI는 다음과 같이 말했습니다. AI가 움직이는 실제 세계를 이해하고 시뮬레이션하도록 가르치는 것 의 목표는 사람들이 실제 상호 작용이 필요한 문제를 해결하는 데 도움이 되는 모델을 훈련하는 것입니다.

텍스트 프롬프트를 기반으로 비디오를 생성하는 것은 전체 계획의 한 단계에 불과합니다.

현재 Sora는 여러 캐릭터와 특정 움직임이 포함된 복잡한 장면을 생성할 수 있습니다. 이는 프롬프트에서 사용자가 요구하는 사항을 이해할 수 있을 뿐만 아니라 이러한 개체가 실제 세계에 어떻게 존재하는지 이해할 수 있습니다.

Sora는 또한 단일 비디오 내에서 여러 장면을 만들 수 있으며 언어에 대한 깊은 이해를 바탕으로 큐 단어를 정확하게 해석하고 캐릭터와 시각적 스타일을 보존할 수 있습니다.

눈 덮인 아름다운 도쿄는 사람들로 북적입니다. 카메라는 번화한 도시 거리를 이동하면서 아름다운 눈 내리는 날을 즐기고 근처 노점에서 쇼핑하는 여러 사람을 따라갑니다. 화려한 벚꽃잎이 눈꽃과 함께 바람에 흩날립니다.

OpenAI는 Sora의 현재 약점을 부끄러워하지 않고 복잡한 장면의 물리적 원리를 정확하게 시뮬레이션하는 것이 어려울 수 있고 인과관계를 이해하지 못할 수도 있다는 점을 지적합니다.

예를 들어, "회색 늑대 새끼 다섯 마리가 외딴 자갈길에서 서로 쫓아다니며 놀고 있었습니다." 늑대의 수는 바뀌고 일부는 허공에서 나타나거나 사라질 것입니다.

모델은 왼쪽과 오른쪽을 혼동하는 등 단서의 공간적 세부정보를 난독화할 수도 있고, 특정 카메라 궤적을 따르는 등 시간에 따른 이벤트를 정확하게 설명하는 데 어려움을 겪을 수도 있습니다.

예를 들어 "농구공이 바스켓을 통과하여 폭발합니다"라는 프롬프트 단어에서 농구공이 바스켓에 올바르게 막히지 않습니다.

OpenAI는 현재 기술적인 부분을 많이 공개하지 않았습니다. 간략한 소개는 다음과 같습니다.

Sora는 확산 모델으로, 전체 동영상을 한 번에 생성하거나 동영상 길이를 늘릴 수 있습니다.

핵심은 이(가) 여러 프레임에 대한 예측을 생성하여 다음을 보장한다는 것입니다. 일시적으로 시야를 벗어나도 사진의 피사체를 감지할 수 있습니다. 변함없이 유지될 수 있습니다.

GPT 모델과 유사하게 Sora는 확장성이 뛰어난 Transformer 아키텍처를 사용합니다.

데이터 측면에서 OpenAI는 GPT의 토큰과 유사하게 비디오와 이미지를 패치로 나타냅니다.

이 통합 데이터 표현을 통해 모델은 다양한 지속 시간, 해상도 및 종횡비를 포함하여 이전보다 더 광범위한 시각적 데이터에 대해 학습할 수 있습니다.

Sora는 DALL·E 및 GPT 모델에 대한 과거 연구를 기반으로 합니다. DALL·E 3의 재진술 프롬프트 단어 기술을 사용하여 시각적 훈련 데이터에 대해 매우 설명적인 주석을 생성하므로 사용자의 텍스트 지침을 보다 충실하게 따를 수 있습니다.

모델은 텍스트 지침만을 기반으로 비디오를 생성할 수 있을 뿐만 아니라 기존 정적 이미지를 가져와 비디오를 생성하여 이미지 내용을 정확하게 애니메이션화하고 작은 세부 사항에 주의를 기울일 수도 있습니다.

모델은 기존 비디오를 확장하거나 누락된 프레임을 채울 수도 있습니다. 자세한 내용은 기술 문서를 참조하세요 (추후 공개 예정) .

Sora는 현실 세계를 이해하고 시뮬레이션할 수 있는 모델의 기반입니다. OpenAI는 이 기능이 AGI를 달성하는 데 중요한 이정표가 될 것이라고 믿습니다.

Ultraman은 온라인으로 주문을 받습니다.

많은 시각 예술가, 디자이너, 영화 제작자 (및 OpenAI 직원) 가 이미 Sora에 액세스할 수 있습니다.

계속해서 신작을 출간하기 시작했고, 울트라맨도 온라인으로 주문을 받기 시작했습니다.

프롬프트 단어 @sama를 입력하면 생성된 동영상 답장을 받을 수 있습니다.

위 내용은 효과는 폭발적입니다! OpenAI 최초 동영상 세대 모델 출시, 1분 만에 매끄럽고 고화질, 네티즌: 업계 전체가 RIP의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!