Bintang semakin meningkat AI Google bertukar kepada Pika: generasi video Lumiere, berfungsi sebagai saintis pengasas

Penjanaan video sedang berkembang pesat, dan Pika telah mengalu-alukan seorang jeneral yang hebat -

Penyelidik Google Omer Bar-Tal, yang berkhidmat sebagai saintis pengasas Pika.

Sebulan yang lalu, saya mengeluarkan model penjanaan video

Lumiere di Google sebagai pengarang bersama, dan kesannya sangat mengagumkan.

Pada masa itu, netizen berkata: Google menyertai pertempuran penjanaan video, dan terdapat satu lagi rancangan yang bagus untuk ditonton.

Kestabilan CEO AI, bekas rakan sekerja Google dan orang dalam industri yang lain menghantar rahmat mereka.

Lumiere, baru sahaja menamatkan pengajian dengan ijazah sarjana

Omer Bar-Tal, lulus dari Jabatan Matematik dan Sains Komputer di Universiti Tel Aviv pada 2021, dan kemudian pergi ke Institut Sains Weizmann belajar untuk ijazah sarjana dalam sains komputer, terutamanya memberi tumpuan kepada Penyelidikan dalam bidang sintesis imej dan video.

Keputusan kertas kerja beliau telah diterima oleh persidangan teratas berkali-kali, seperti Text2LIVE (ECCV 2022 Oral), MultiDiffusion (ICML 2023), dan TokenFlow (ICLR 2024).

Mengambil TokenFlow sebagai contoh, mereka mencadangkan rangka kerja untuk melaksanakan penyuntingan video dipacu teks berdasarkan model penyebaran, menyokong tugas penyuntingan video tanpa sebarang latihan atau penalaan halus.

Sebelum menyertai Pika kali ini, beliau bekerja di Google Research sebagai Penyelidik Pelajar selama 9 bulan Akhirnya, selepas 7 bulan penyelidikan, beliau melancarkan

Lumiere sebagai pengarang bersama. Pada masa ini, ijazah sarjana sepatutnya belum selesai.

Inovasi Lumiere ialah ia mencadangkan seni bina U-Net (STU-Net) spatio-temporal: pensampelan bawah dan pensampelan atas video dalam kedua-dua dimensi spatial dan temporal, dan mendapatkan pemampatan video di tengah. lapisan rangkaian Perwakilan ruang-masa.

Selepas mempelajari 30 juta video, Lumiere boleh menyokong pelbagai fungsi seperti merakam video, menyunting dan membaiki video, penukaran imej kepada video dan penggayaan video.

Pada masa itu, Jeff Dean memuji sangat:

Revolusi penjanaan video pelbagai mod sedang berlaku.

Will Smith Eating Noodles (Versi Pika)

Selepas pengumuman rasmi menyertai Pika, pegawai dan pelabur turut menghantar restu mereka. . .

Selain itu, laman web rasmi masih merekrut orang.

Atas ialah kandungan terperinci Bintang semakin meningkat AI Google bertukar kepada Pika: generasi video Lumiere, berfungsi sebagai saintis pengasas. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!