Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte

Lihat! Kini terdapat empat wanita muda mempamerkan tarian panas mereka di hadapan anda:

Fikirkan ia adalah karya yang dikeluarkan oleh beberapa pelakon di platform video pendek?

Tidak, Tidak, Tidak.

Jawapan sebenar ialah: palsu, dihasilkan, dan jenis yang hanya bergantung pada satu gambar!

Cara sebenar untuk menghidupkannya ialah ini:

Ini adalah penyelidikan terbaru dari Universiti Nasional Singapura dan Bytedance, yang dipanggil Magic Animate.

Fungsinya boleh diringkaskan dalam formula ringkas: gambar + satu set tindakan = video tanpa sebarang rasa pelanggaran. .

By the way, saya juga buat lawak secara jenaka:

Adakah ini dikira kecergasan? Saya boleh melangkau gim minggu ini.

Ada juga netizen yang agak up-to-date, bermain dengan watak dalam treler yang baru dikeluarkan

GTA6

(Grand Theft Auto 6)

:

Malah menjadi emotikon sasaran yang dipilih oleh netizen...

Magic Animate boleh dikatakan telah menumpukan perhatian bulatan teknologi pada dirinya sendiri, sehingga ada netizen bergurau:

OpenAI boleh berehat.

Api, betul-betul api.

Anda boleh menjana tarian dengan hanya satu gambar

MagicAnimate sangat popular, bagaimana anda harus menggunakannya?

Tanpa berlengah lagi, mari rasainya selangkah demi selangkah.

Pada masa ini, pasukan projek kami telah membuka halaman pengalaman dalam talian di HuggingFace

Pengendalian ini sangat mudah dan hanya memerlukan tiga langkah:

1. Muat naik foto statik seseorang
2. Muat naik video demo aksi yang anda ingin hasilkan
3. Laraskan parameter dan klik "Animate"

Sebagai contoh, berikut adalah foto saya dan Tarian "Subjek Tiga" yang popular baru-baru ini klip:

△ Sumber video: Douyin (ID: QC0217)

Anda juga boleh memilih templat yang disediakan di bahagian bawah halaman untuk merasai:

Walau bagaimanapun, perlu diingatkan bahawa MagicAnimate adalah seperti itu. pada masa ini terlalu popular, dalam Mungkin terdapat "masa henti" semasa proses penjanaan:

Walaupun anda berjaya "memakan"nya, anda mungkin perlu beratur ...

(Betul! Sehingga masa akhbar, keputusan masih belum ditunggu) ! Bagaimana?

Secara keseluruhan, MagicAnimate menggunakan rangka kerja berdasarkan

model resapan

(penyebaran)

Tujuannya adalah untuk meningkatkan ketekalan temporal, mengekalkan keaslian imej rujukan dan meningkatkan kesetiaan animasi.

Untuk tujuan ini, pasukan mula-mula membangunkan Model Penyebaran Video (Pemodelan Ketekalan Tempoh) untuk mengekod maklumat temporal.

Model ini mengekod maklumat temporal dengan menambahkan modul perhatian temporal pada rangkaian resapan untuk memastikan ketekalan temporal antara bingkai dalam animasi.

Kedua, untuk mengekalkan konsistensi penampilan antara bingkai, pasukan memperkenalkan

Pengekod Rupa(Pengekod Rupa) baharu untuk mengekalkan butiran kompleks imej rujukan.

Pengekod ini berbeza daripada kaedah sebelumnya menggunakan pengekodan CLIP Ia mampu mengekstrak ciri visual yang lebih padat untuk membimbing pengeluaran animasi dan dengan itu lebih memelihara maklumat seperti identiti, latar belakang dan pakaian

Dalam dua teknologi inovatif ini , pasukan itu seterusnya mengguna pakai teknologi gabungan video yang mudah

(Teknik Gabungan Video) untuk mempromosikan peralihan yang lancar bagi animasi video yang panjang. Akhirnya, selepas pengesahan oleh dua percubaan penanda aras, keputusan menunjukkan bahawa MagicAnimate jauh mengatasi kaedah sebelumnya

Terutama pada set data tarian TikTok yang mencabar, MagicAnimate mengatasi garis dasar terkuat dalam kesetiaan video Melebihi 38%!

Berikut ialah perbandingan kualitatif yang diberikan oleh pasukan:

Dan berbanding model garis dasar terkini bagi cross-ID, keputusan kami adalah seperti berikut:

One More Thing

Saya harus mengatakan bahawa projek seperti MagicAnimate benar-benar sangat popular baru-baru ini

Tidak, tidak lama sebelum "debut", pasukan Ali juga mengeluarkan projek yang dipanggil Animate Anyones projek juga hanya memerlukan "gambar" dan "tindakan yang diingini":

Daripada ini, beberapa netizen turut menimbulkan persoalan:

Ini seolah-olah menjadi perang antara MagicAnimate dan AnimateAnyone. Siapa yang lebih baik?

Apa pendapat anda?

Sila klik pautan berikut untuk melihat kertas kerja: https://arxiv.org/abs/2311.16498

Atas ialah kandungan terperinci Tarian Douyin tidak memerlukan orang sebenar untuk muncul pada kamera, hanya foto boleh menghasilkan video berkualiti tinggi! Malah CTO yang berpeluk muka telah mengalami teknologi baharu Byte. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!