Der aufstrebende Google-KI-Star wechselt zu Pika: Video-Generation Lumiere fungiert als Gründungswissenschaftler

Die Videoerstellung schreitet auf Hochtouren voran und Pika hat einen großartigen General begrüßt –

Google-Forscher Omer Bar-Tal, der als Pikas Gründungswissenschaftler fungiert.

Vor einem Monat habe ich als Co-Autor das Videogenerierungsmodell

Lumiere auf Google veröffentlicht und der Effekt war erstaunlich.

Zu dieser Zeit sagten Internetnutzer: Google hat sich dem Kampf um die Videogenerierung angeschlossen, und es gibt eine weitere gute Show zu sehen.

Der CEO von Stability AI, ehemalige Google-Kollegen und andere Branchenkenner sandten ihren Segen.

... Masterstudium der Informatik mit Schwerpunkt auf Forschung im Bereich der Bild- und Videosynthese.

Die Ergebnisse seiner Arbeiten wurden mehrfach von Top-Konferenzen akzeptiert, darunter Text2LIVE (ECCV 2022 Oral), MultiDiffusion (ICML 2023) und TokenFlow (ICLR 2024).
Am Beispiel von TokenFlow schlugen sie ein Framework zur Implementierung textgesteuerter Videobearbeitung basierend auf dem Diffusionsmodell vor, das Videobearbeitungsaufgaben ohne Schulung oder Feinabstimmung unterstützt.

Bevor er dieses Mal zu Pika kam, arbeitete er 9 Monate lang als studentischer Forscher bei Google Research. Nach 7 Monaten Recherche startete er schließlich Lumiere als Co-Autor. Zu diesem Zeitpunkt dürfte das Masterstudium noch nicht abgeschlossen sein.

Die Innovation von Lumiere besteht darin, dass es eine räumlich-zeitliche U-Net-Architektur (STU-Net) vorschlägt: Downsampling und Upsampling des Videos sowohl in räumlicher als auch zeitlicher Dimension und Erzielung einer Videokomprimierung in der Mitte Schicht des Netzwerks Raum-Zeit-Darstellung.

Nach dem Erlernen von 30 Millionen Videos kann Lumiere mehrere Funktionen unterstützen, z. B. das Aufzeichnen von Videos, das Bearbeiten und Reparieren von Videos, die Konvertierung von Bildern in Videos und die Stilisierung von Videos.

Damals lobte Jeff Dean: Die Revolution der multimodalen Videogenerierung findet statt.

Will Smith isst Nudeln (Pika-Version)

Nach der offiziellen Ankündigung des Beitritts zu Pika sandten auch Beamte und Investoren ihren Segen.

Vor ein paar Tagen hat Yilun Du, ein chinesischer Forscher bei Pika, einen Artikel veröffentlicht, aber er hätte gerade seinen Doktortitel am MIT abschließen sollen

(oder vielleicht noch nicht) , und die Abteilung für Abschlussarbeiten ist immer noch am MIT .

Darüber hinaus rekrutiert die offizielle Website immer noch Leute.

Das obige ist der detaillierte Inhalt vonDer aufstrebende Google-KI-Star wechselt zu Pika: Video-Generation Lumiere fungiert als Gründungswissenschaftler. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!