또 다른 소라 레벨 플레이어가 거리로 나섭니다! 소라와 케링과 비교해봤습니다.

소라가 나오지 않자 OpenAI의 적들은 무기를 사용해 거리를 파괴했습니다.

소라는 열어서 사용하지 않으면 정말 도난당할 거예요!

오늘 샌프란시스코 스타트업 루마 AI(Luma AI)가 비장의 카드로 차세대 AI 영상 생성 모델 드림머신(Dream Machine)을 출시했습니다. 무료이며 누구나 사용할 수 있습니다.

보도에 따르면 이 모델은 간단한 텍스트 설명을 기반으로 소라에 버금가는 효과로 고품질의 사실적인 동영상을 생성할 수 있다고 합니다.

이 소식이 나오자마자 수많은 유저들이 공식 홈페이지에 테스트를 하러 몰려들었습니다.

공식에서는 이 모델이 단 2분 만에 120프레임의 영상을 생성할 수 있다고 주장하고 있지만, 트래픽 급증으로 인해 많은 사용자들이 공식 홈페이지에서 몇 시간 동안 기다려 왔습니다.

Luma의 제품 성장 책임자인 Barkley Dai는 설명하기 위해 Discord에 글을 게시해야 했습니다. -

"우리는 현재 엄청난 수요에 직면해 있으며 처리 능력을 높이기 위해 열심히 노력하고 있습니다. 모든 비디오 생성 작업은 보유하고 있으니 조금만 기다려주세요. 처리 용량을 늘리면 바로 알려드리겠습니다! "

드림머신은 얼마나 효과적인가요?

일부 네티즌들은 루마가 현재 AI 영상 분야의 새로운 왕이라고 말했습니다.

일부 네티즌들은 "더 이상 소라가 필요하지 않습니다!"라고 말했습니다. OpenAI가 이것을 보고 어떻게 생각했는지 궁금합니다.

그러나 일부 네티즌들은 8개의 동영상을 만든 후 시스템에서 "최대 사용 한도 초과" 메시지가 표시되고 새 동영상을 만들기 전에 얼마나 기다려야 하는지 설명하지 않았다고 불평했습니다.

네티즌들이 열광하고 있어요

요 며칠간 AI 영상서클이 난리가 났어요.

먼저 Kuaishou Keling은 50,000명이 넘는 사람들이 대기하는 비공개 베타를 열었습니다. 그런 다음 Luma는 모든 사람에게 무료로 제공되는 킬러 기능인 Dream Machine을 출시했습니다.

다른 AI 비디오 모델과 비교하여 Dream Machine은 다음과 같은 특징을 가지고 있습니다.

1. 120초 안에 120프레임을 생성할 수 있습니다.

2. 영화 수준의 사진 기술과 드라마틱한 긴장감

3. 강력한 캐릭터 일관성과 실제 세계를 시뮬레이션하는 능력

4. 장면의 감정에 어울리는 자연스러운 카메라 움직임.

루마 관계자와 네티즌들이 잇따라 합심해 멋진 비주얼의 향연을 선사했습니다.

예를 들어, 텍스트로 생성된 이 비디오는 도로를 질주하는 자동차를 보여줍니다. 운전이든 카메라 전환이든 모든 것이 부드럽고 생생합니다. 낮은 카메라가 굴 속 깊은 곳에 있는 작은 햄스터 무리를 추적합니다. 이 장면은 소라의 개미 영상과 비슷하지만 드림머신은 일반적으로 "쿠션"이라고 알려진 Tusheng 비디오 기능을 사용합니다.

주황색 티셔츠를 입은 대머리 남자가 방 안을 돌아다닌다. 캐릭터의 생동감과 화면 구성이 블록버스터에 버금간다. 폐허 장면을 촬영한 사진입니다. 버려진 밧줄, 바닥에 깔린 나무판, 벽에 그린 낙서 등이 자연스럽고 사실적으로 보인다.Sur la photo, une jeune femme danse avec sa jupe ondulée, ses mouvements sont fluides et fluides, tout comme un blockbuster publicitaire de luxe. Cependant, le seul inconvénient est que la jupe et les cheveux se déformeront. Certains internautes ont même généré une scène d'action d'une fusillade meurtrière. Netizen @ai_mov_director l'a également utilisé pour générer un long métrage d'une minute - "Break The Tie". En termes de maintien de la cohérence des personnages, Dream Machine a deux pinceaux.

En plus de générer des vidéos réalistes, Dream Machine peut également essayer différents styles.

Par exemple, le style anime japonais : Style Disney :

Dans l'ensemble, Dream Machine est louable en termes de fidélité et de fluidité vidéo, mais il n'est pas parfait.

Julien Vallée, qui a réalisé des publicités pour Apple, Samsung, Google et d'autres marques bien connues, a déclaré que Dream Machine peut imiter les mouvements naturels de la caméra, en particulier lors de la prise de vue à main levée, l'effet est très réaliste. Cependant, comme les autres modèles, il nécessite quelques essais et erreurs pour produire de superbes photos.

Vincent Video Circle Battle

2024 est une année électorale, et OpenAI a caché Sora afin de ne pas causer de problèmes.

Lorsque les « milliers d'appels » de Sora n'ont pas abouti, les opposants ont utilisé leurs grosses armes pour détruire les rues.

Le domaine de la vidéo IA connaît une évolution rapide.

Puisque Dream Machine et Keling sont tous deux sous la bannière de « rivaliser avec Sora », alors nous avons simplement installé une arène et laissé Dream Machine, Keling et Sora s'affronter sur la même scène.

Invite 1 : vidéo en gros plan photoréaliste de deux navires pirates s'affrontant alors qu'ils naviguent dans une tasse de café.

Sora :

Dream Machine :

Keling :

Invite 2 : Images nocturnes de bernard-l'ermite utilisant des ampoules comme coquilles.

Mot d'invite chinois 2 : Nuit de séjour photo d'un crabe utilisant une ampoule comme coquille.

Sora :

Machine à rêves :

Keling :

Invite 3 : photo macro d'une feuille montrant de minuscules trains se déplaçant dans ses veines.

Sora：

Dream Machine：

Keling：

Invite 4 : Une femme élégante marche dans une rue de Tokyo remplie de néons chaleureux et de panneaux urbains animés. s une veste en cuir noire, une longue robe rouge et des bottes noires, et porte un sac à main noir. Elle marche avec confiance et avec désinvolture. La rue est humide et réfléchissante, créant un effet miroir des lumières colorées. les piétons se promènent.

Mot d'invite chinois 4 : Une femme à la mode se promène dans les rues de Tokyo, pleines de néons chauds et de panneaux urbains vifs. Elle portait une veste en cuir noire, une longue jupe rouge, des bottes noires et tenait un sac à main noir. Elle porte des lunettes de soleil et du rouge à lèvres. Elle marchait avec confiance et aisance. Les rues sont humides et réfléchissantes, créant un effet miroir de lumières colorées. De nombreux piétons se promenaient.

Sora：

Dream Machine：

Keling：

Invite 5 : Les archéologues découvrent une chaise en plastique générique dans le désert, la fouillant et la dépoussiérant avec beaucoup de soin.

Astuce chinoise n°5 : Les archéologues ont trouvé une chaise en plastique ordinaire dans le désert. Ils l'ont soigneusement déterrée et dépoussiérée.

Sora :

Dream Machine :

Keling :

Invite 6 : un labrador retriever portant un sweat-shirt à capuche noir, assis devant le ordinateur avec l'éblouissement de l'écran émane sur le visage du chien alors qu'il tape très rapidement.

Mot d'invite chinois 6 : Un pirate informatique Labrador retriever portant un sweat-shirt à capuche noir est assis devant un ordinateur et alors qu'il tape rapidement, l'écran L'éblouissement frappe le visage du chien .

Sora :

Dream Machine :

Keling :

Quelle est l'origine de cette société dirigée par NVIDIA ?

Dream Machine est devenue populaire, et la société derrière elle, Luma AI, a également volé la vedette.

Luma AI a été fondée en 2021 et était initialement une entreprise technologique axée sur la génération de contenu 3D.

Le PDG Amit Jain était ingénieur en systèmes de vision par ordinateur chez Apple et le CTO Alex Yu était un étudiant diplômé à l'Université de Californie à Berkeley (il a abandonné son doctorat pour lancer Luma AI). Les deux ont réalisé des réalisations dans les domaines de la vision 3D, de l'apprentissage automatique, du graphisme en temps réel et d'autres domaines.

Il est rapporté que cette société a fait l'objet de plusieurs tours de financement.

Le financement de série A a été dirigé par Amplify Partners, Nventures (la branche d'investissement de Nvidia) et General Catalyst, levant un total de 20 millions de dollars américains, le financement de série B a été dirigé par les principales sociétés de capital-risque de la Silicon Valley, Andreessen Horowitz et Nvidia ; , levant 43 millions de dollars américains. À ce jour, l'entreprise a levé plus de 70 millions de dollars de financement et est évaluée entre 200 et 300 millions de dollars.

En novembre dernier, Luma AI a lancé Vincent 3D model Genie sur le serveur Discord. Plus tard, la version 1.0 a été lancée, ce qui a amélioré le temps de dessin de plus de 20 secondes à moins de 10 secondes.

De façon inattendue, cette fois, Luma AI est directement passée au domaine de la vidéo IA.

Selon le site officiel, l'équipe principale de Luma AI ne compte que 34 personnes, et à en juger par les noms, 5 d'entre elles sont chinoises.

Co-fondateur et CTO Alex Yu, diplômé de l'Université de Californie à Berkeley en 2021. Au cours de cette période, il a mené des recherches sur les NeRF avec le professeur Angjoo Kanazawa au laboratoire de recherche sur l'intelligence artificielle de Berkeley.

Angela Dong est diplômée de l'Université de Californie à Berkeley la même année. Elle a effectué des stages dans des entreprises telles que Drive.ai, Lyft Level 5 et Zipline, puis a rejoint Cruise en tant qu'ingénieur en simulation, se concentrant sur la création de données synthétiques. pour la formation sur le modèle de perception. Actuellement, elle travaille comme ingénieur en apprentissage automatique chez Luma.

Le scientifique en chef Jiaming Song est diplômé de l'Université Tsinghua avec un baccalauréat ainsi qu'une maîtrise et un doctorat de l'Université de Stanford. Avant de rejoindre Luma AI, il a été chercheur scientifique au sein de l'équipe de recherche sur l'apprentissage et la perception et l'équipe de recherche Deep Imagination de NVIDIA.

De plus, Quei-An Chen et Paul Yoo sont chercheurs scientifiques à Luma.

(Quei-An Chen à gauche, Paul Yoo à droite)

Parmi eux, Quei-An Chen est profondément impliqué dans le domaine NeRF et est devenu célèbre pour avoir lancé de nombreux projets open source populaires sur Github, tels que Neural Scene Flow Fields et Instant-NGP. Avant de rejoindre Luma, il a participé à plusieurs projets de technologie de vision 3D chez DENSO et LINE.

^Lien :

^{https://lumalabs.ai/dream-machine/creations}

위 내용은 또 다른 소라 레벨 플레이어가 거리로 나섭니다! 소라와 케링과 비교해봤습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!