런웨이와 루마가 또 싸우고 있어요! Yann LeCun의 폭격: 당신이 아무리 훌륭하더라도 당신은 '세계 모델'이 아닙니다

기계력 보고서

Editor: Yang Wen

대형 모델과 AIGC로 대표되는 인공지능의 물결은 우리가 살고 일하는 방식을 조용히 바꿔놓았지만 대부분의 사람들은 아직도 그것을 어떻게 사용하는지 모릅니다.

이에 직관적이고 흥미롭고 간결한 인공지능 활용 사례를 통해 AI의 활용을 구체적으로 소개하고 모두가 생각해볼 수 있도록 영감을 주고자 'AI in Use' 칼럼을 론칭했습니다.

독자들이 개인적으로 실천한 혁신적인 사용 사례를 제출하는 것도 환영합니다.

AI 영상업계가 또 '싸우고 있다'!

6월 29일, 유명한 생성 AI 플랫폼 Runway는 최신 모델 Gen-3 Alpha가 일부 사용자를 대상으로 테스트를 시작했다고 발표했습니다.

같은 날 Luma는 새로운 키프레임 기능을 출시했으며 모든 사용자에게 무료로 공개되었습니다.

"네 계획은 좋은데, 나에겐 사다리가 있다"고 해도 두 사람은 끝없이 싸우고 있다.

네티즌들은 "6월 정말 멋진 달!"

"미쳤어 5월, 미쳤어 6월 너무 미쳐서 멈출 수 없어!"

-1-

런웨이가 헐리우드를 죽인다

2주 전, AI 영상의 '왕' 런웨이가 새로운 영상 세대 모델인 Gen-3 알파를 출시했을 때, 미리보기 -

가 먼저 "며칠 내에" 유료 사용자에게 제공될 예정이며, 무료 버전도 향후 어느 시점에는 모든 사용자에게 공개될 예정입니다.

6월 29일, Runway는 약속을 이행하고 최신 Gen-3 알파가 일부 사용자를 대상으로 테스트를 시작했다고 발표했습니다.

Gen-3 Alpha는 이전 세대에 비해 빛과 그림자, 품질, 구성, 텍스트 의미 복원, 물리적 시뮬레이션 및 동작 일관성 측면에서 상당한 개선을 이루었기 때문에 많은 관심을 받고 있습니다. 예술가, 예술가에 의한(예술가를 위해 태어났고, 예술가에 의해 태어났다)”.

3세대 알파의 효과는 무엇인가요? 꽃꽂이에 관련된 네티즌들은 항상 가장 많은 발언권을 가지고 있습니다. 다음으로 감상해주세요 -

런던 템스강에서 무서운 괴물이 솟아오르는 영상:

울고 있는 슬픈 곰인형, 슬플 때까지 울다가 휴지로 코를 풀고 있는 모습:

화려한 드레스를 입은 영국 소녀가 빠른 속도로 달리는 차량과 느린 말을 옆에 두고 성이 서 있는 거리를 걷고 있습니다.

화려한 보석과 진주가 박힌 거대한 도마뱀이 울창한 초목 사이를 걸어갑니다. 도마뱀들이 빛을 받아 반짝반짝 빛나고, 그 영상은 마치 다큐멘터리처럼 사실적이다.

루비와 사파이어로 뒤덮인 다이아몬드가 박힌 두꺼비도 있습니다.

밤의 도시 거리에는 비가 네온 불빛을 반사합니다.

카메라는 웅덩이에 반사된 빛에서 시작하여 천천히 올라가서 빛나는 네온 광고판을 보여주고, 계속해서 줌인하여 비에 젖은 거리 전체를 보여줍니다.

카메라의 움직임: 먼저 웅덩이에 비친 모습을 겨냥한 다음, 들어올렸다가 한 번에 뒤로 당겨 비오는 밤의 도시 풍경을 보여줍니다.

영상 링크: https://www.php.cn/link/dbf138511ed1d9278bde43cc0000e49a

어둡고 신비로운 빛 아래 페트리 접시에서 자라는 노란색 곰팡이는 시원한 색과 역동성을 보여줍니다.

가을 숲에서는 땅이 주황색, 노란색, 빨간색의 다양한 낙엽으로 덮여 있습니다.

잔잔한 바람이 불고, 카메라는 지면 가까이로 앞으로 나아갔고, 회오리바람이 일어나 낙엽이 굴러가며 나선형을 이루기 시작했습니다. 카메라는 낙엽과 함께 상승하여 회전하는 나뭇잎 기둥을 중심으로 회전합니다.

동영상 링크: https://www.php.cn/link/dbf138511ed1d9278bde43cc0000e49a

낙서로 뒤덮인 터널의 낮은 시점에서 시작하여 카메라는 길을 따라 꾸준하게 전진합니다. 터널 구간에서 반대편으로 카메라가 빠르게 올라가면 눈 덮인 산으로 둘러싸인 다채로운 야생화의 넓은 들판이 보입니다.

동영상 링크: https://www.php.cn/link/dbf138511ed1d9278bde43cc0000e49a

피아노 연주 클로즈업 샷, 건반 위에서 손가락 점프, 손 왜곡 없음, 부드러운 움직임, 유일한 단점은 약지에 반지가 없지만 그림자가 "무에서 나온다"는 것입니다.

네티즌들은 또한 Runway 공동 창업자인 Cristóbal Valenzuela가 직접 만든 벌 카메라용 영상을 제작한 사실도 폭로했습니다.

벌 뒤에 카메라를 달고 촬영한 장면은 이렇습니다:

영상링크: https://www.php.cn/link/dbf138511ed1d9278bde43cc0000e49a

에 올려주세요 벌의 얼굴 보라색이에요:

동영상 링크: https://www.php.cn/link/dbf138511ed1d9278bde43cc0000e49a

그럼, 이 포켓 카메라는 어떻게 생겼나요?

AI가 계속해서 이렇게 진화한다면 할리우드 배우들은 또다시 파업에 나설 것입니다.

-2-

Luma의 새로운 키프레임 기능, 부드러운 화면 전환

6월 29일 Luma AI가 키프레임 기능을 출시했고, 여러분의 손짓으로 모든 사용자에게 무료로 직접 공개되었습니다.

사용자는 시작 이미지와 끝 이미지를 업로드하고 텍스트 설명을 추가하기만 하면 Luma는 할리우드 수준의 특수 효과 비디오를 생성할 수 있습니다.

예를 들어 X 네티즌 @hungrydonke는 두 개의 키프레임 사진을 업로드했습니다.

ㅋㅋㅋ 네티즌 @JonathanSolder3은 먼저 midjourney를 사용하여 두 장의 사진을 생성했습니다:

그런 다음 Luma 키프레임 기능을 사용하여 Super Saiyan 변신 애니메이션을 생성합니다. 저자에 따르면 Luma는 전원 켜기 프롬프트가 필요하지 않으며 "Super Saiyan"만 입력하면 됩니다.

비디오 링크: https://www.php.cn/link/dbf138511ed1d9278bde43cc0000e49a

일부 네티즌은 이 기능을 사용하여 각 장면의 전환을 완료하고 고전 동화를 혼합하고 일치시켜 세그먼트를 생성합니다. "늑대", 전사, 그리고 옷장' 애니메이션.

동영상 링크: https://www.php.cn/link/dbf138511ed1d9278bde43cc0000e49a

악마가 천사로 변합니다:

오렌지가 병아리로 변합니다:

스타벅스 로고 변형:

Netizens는 루마를 사용하여 20 개의 밈을 원활하게 연결하기 위해 다음과 같이 연결했습니다. 신께서는 소라가 어떻게 평정심을 유지하고 지금까지 나타나지 않을 수 있는지 알고 계십니다.

-3-

Yann LeCun "Bombardment": 그들은 물리학을 전혀 이해하지 못합니다

연초 소라가 출시되자 갑자기 "월드 모델"이 화제가 되었습니다. 이후 구글의 지니도 '세계 모델'이라는 기치를 내걸었다. 이번에 런웨이가 Gen-3 알파를 출시했을 때 관계자는 "보편적인 세계 모델을 구축하기 위한 중요한 발걸음을 내디뎠다"고 말했다.

세계모델이란 정확히 무엇인가요? 사실 이에 대한 표준적인 정의는 없지만 AI 과학자들은 인간과 동물이 세상의 작동 규칙을 미묘하게 파악하여 다음에 일어날 일을 "예측"하고 조치를 취할 수 있다고 믿습니다. 세계 모델에 대한 연구는 AI가 이 능력을 배울 수 있도록 하는 것입니다.

많은 사람들이 소라, 루마, 런웨이 등의 애플리케이션에서 생성된 영상이 상당히 현실적이며, 시간순으로 새로운 영상 콘텐츠를 생성할 수도 있다고 생각합니다. 그들은 사물의 전개를 '예측'하는 능력을 배운 것 같습니다. 이는 세계모델연구가 추구하는 목표와 일치한다. 그러나 튜링상 수상자 Yann LeCun은 "찬물을 붓고" 있었습니다.

그는 "프롬프트를 기반으로 가장 사실적으로 보이는 비디오를 제작한다는 것은 시스템이 물리적 세계를 이해한다는 것을 의미하지 않으며, 세계 모델로부터 인과관계 예측을 생성하는 것은 매우 다르다"고 믿습니다.

Yann LeCun은 7월 1일에 6개의 게시물을 게시했습니다. 연속적으로 폭격 비디오를 위한 생성 모델.

AI가 만든 체조 영상을 리트윗했습니다. 영상 속 등장인물들은 머리가 허공으로 사라지거나, 갑자기 네 개의 다리가 나타나거나, 온갖 이상한 그림들이 도처에 있었습니다.

영상 링크:

https://www.php.cn/link/dbf138511ed1d9278bde43cc0000e49a

Yann LeCun은 영상 생성 모델이 인체의 구조는 물론 기본적인 물리적 원리도 이해하지 못한다고 말했습니다.

"소라와 다른 비디오 생성 모델도 비슷한 문제를 안고 있습니다. 비디오 생성 기술은 시간이 지나면서 더욱 발전할 것이라는 데는 의심의 여지가 없지만, 물리학을 진정으로 이해하는 좋은 세계 모델이 생성적 모델은 아닐 것입니다." 모든 새와 포유류가 이해하는 것은 어떤 비디오 생성 모델보다 물리학적으로 우수하지만 그 중 어느 것도 상세한 비디오를 생성할 수 없습니다."라고 Yann LeCun은 말했습니다.

일부 네티즌들은 다음과 같이 의문을 제기했습니다. 인간은 물리학에 대한 이해를 바탕으로 마음속으로 끊임없이 상세한 '동영상'을 생성하지 않나요?

Yann LeCun은 온라인 질문에 "픽셀 이미지를 생성하기보다는 발생할 수 있는 추상적인 시나리오를 구상합니다. 이것이 제가 표현하고 싶은 포인트입니다."라고 말했습니다.

일부 네티즌들은 새와 포유류의 뇌가 있다고 믿습니다. "는 항상 생성되지만 외부화할 수는 없습니다.

Yann LeCun이 반박합니다: 아니요, 그렇지 않습니다. 단지 일어날 수 있는 일에 대한 추상적인 시나리오를 생성할 뿐이며, 이는 상세한 비디오를 생성하는 것과는 매우 다릅니다.
앞으로 새로운 칼럼을 통해 더 많은 AIGC 사례 시연을 선보일 예정이며, 누구나 그룹에 참여하여 소통할 수 있습니다.

위 내용은 런웨이와 루마가 또 싸우고 있어요! Yann LeCun의 폭격: 당신이 아무리 훌륭하더라도 당신은 '세계 모델'이 아닙니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!