Sebuah syarikat permulaan yang berpangkalan di Tsinghua mengeluarkan rangka kerja animasi rangka 4D pertama di dunia, yang membolehkan penukaran satu klik adegan sebenar kepada animasi dan keupayaan untuk menjana watak yang diperibadikan.

Apple baru-baru ini mengumumkan bahawa ia akan melancarkan peranti paparan terpasang kepala maya pertamanya, Vision Pro, pada 2 Februari. Peranti XR ini dijangka menerajui pembangunan pesat terminal generasi akan datang. Dengan mempopularkan peranti paparan maya, interaksi digital akan beralih daripada dua dimensi kepada tiga dimensi, dan model tiga dimensi dan animasi tiga dimensi akan menjadi bentuk kandungan arus perdana pada masa hadapan. Interaksi imersif berbilang dimensi juga akan menjadi trend di bawah aliran integrasi maya dan sebenar.

Namun, dari segi skala data, pengumpulan data semasa dalam industri kandungan masih didominasi oleh imej 2D dan video rata, manakala asas data model 3D, animasi 4D dan data lain agak lemah. Antaranya, animasi 4D memperkenalkan urutan masa berdasarkan model 3D tradisional, iaitu model 3D yang berubah mengikut masa, yang boleh mempersembahkan kesan tiga dimensi dinamik Ia digunakan secara meluas dalam animasi permainan, kesan khas filem, realiti maya dan bidang lain, tetapi ia juga pada masa ini Pautan paling sukar dalam pembangunan ekologi kandungan.

Oleh itu, untuk pengalaman mendalam berbilang dimensi yang akan datang, membina kandungan digital tiga dimensi akan menjadi kerja asas yang penting.

Menghadapi bidang yang canggih ini, pasukan keusahawanan yang berpangkalan di Tsinghua Shengshu Technology telah menjalankan beberapa siri penyelidikan dan pembangunan produk, dan baru-baru ini melancarkan rangka kerja penjanaan animasi 4D pertama di dunia "AnimatableDreamer" berdasarkan "animasi rangka" bersama-sama dengan Universiti Tsinghua, Universiti Tongji dan universiti lain , ia boleh menukar terus bahan video 2D kepada model tiga dimensi dinamik (iaitu animasi 4D) dengan satu klik, menyokong pengekstrakan automatik pergerakan rangka, penukaran satu klik kesan animasi dan. penjanaan watak diperibadikan melalui input teks.

• Alamat kertas: https://arxiv.org/pdf/2312.03795.pdf

• Alamat projek: https://animatabledreamer.github.io/

• Tajuk Text

  -Penjanaan dan Pembinaan Semula Model 3D Tidak Tegar dengan Penyulingan Skor Kanonik

Anda boleh menonton video Demo berikut.

Kaedah pengeluaran kandungan baharu

Subversi proses pembangunan animasi tiga dimensi

Pada masa lalu, penghasilan animasi tiga dimensi dalam industri memerlukan proses yang kompleks seperti pemodelan 3D, tekstur , pengikatan tulang, pengeluaran animasi, dsb. Pemodelan diperlukan Ia hanya boleh dilengkapkan dengan penyertaan profesional seperti pereka bentuk dan animator, yang mempunyai kecekapan rendah dan kos tinggi. Mengikut statistik, kitaran pengeluaran model 3D statik tunggal adalah dari jam ke hari, dan kosnya boleh setinggi beribu-ribu dolar Kos pemprosesan dinamik akan menjadi lebih tinggi.

Seperti yang anda boleh lihat daripada video demo rasmi, muat naik video 2D kehidupan sebenar tupai dan dengan memasukkan penerangan teks "Tupai dengan baju sejuk merah", tupai kehidupan sebenar yang asli boleh ditukar menjadi animasi gaya dengan satu klik , dan mengekalkan postur tindakan dengan sempurna juga boleh menghasilkan model dinamik tiga dimensi dari perspektif 360 darjah Dengan menukar perihalan teks, anda boleh menyesuaikan watak dan menukar tupai kepada imej kartun yang berbeza musang dan Squirtle.

"AnimableDreamer" boleh mengekstrak pergerakan rangka objek sasaran (manusia, haiwan, dll.) secara automatik dalam video, dan kemudian menukar objek itu kepada mana-mana model animasi rangka melalui penerangan teks. Keseluruhan proses tidak dihadkan oleh templat, menyokong sebarang panjang video dan sebarang jenis tindakan, mempunyai tahap ketekalan temporal yang tinggi dan ketekalan berbilang paparan, dan model tiga dimensi dinamik yang dieksport boleh dipaparkan dalam mana-mana persekitaran 3D.

Untuk pasca produksi dalam filem, televisyen, animasi dan bidang lain, lebih banyak penyuntingan biasanya diperlukan untuk animasi "AnimableDreamer" juga menyokong penggantian atau penyuntingan fail animasi untuk model yang telah melengkapkan pengikatan tulang, mencapai tahap kebebasan yang lebih tinggi. . Apabila teknologi berkaitan dilaksanakan secara beransur-ansur pada masa hadapan, pemodelan 3D dan proses pengeluaran animasi untuk pembangunan permainan, animasi filem dan televisyen serta adegan lain dijangka menjadi lebih cekap.

Menghadapi masa depan

dijangka membentuk ekosistem kandungan baharu

Dari segi prinsip pelaksanaan, pasukan penyelidik secara inovatif mencadangkan Canonic Score Distillation (CSD)

3, yang berubah mengikut masa yang berbeza. bingkai dan perspektif yang berbeza diberikan dan dinafikan dalam ruang kamera, dan kecerunan dihantar semula secara seragam ke ruang standard yang dikongsi oleh ruang kamera yang berbeza untuk penyulingan, mengurangkan dimensi penjanaan 4D kepada 3D, iaitu, memudahkan masalah penjanaan 4D kepada Penjanaan dalam ruang 3D.

"AnimableDreamer" boleh mengekstrak pergerakan sendi terus daripada video Dengan menyahganding model dan gerakan objek, model yang dihasilkan mempunyai tahap ketekalan temporal dan rasional geometri yang tinggi, tidak dihadkan oleh panjang video, dan boleh. menghapuskan bentuk secara berkesan seperti Isu seperti pecah, kelipan dan ketidakkonsistenan berbilang paparan.

🎜

Dalam adegan dengan sudut tontonan terhad dan pergerakan besar, disebabkan pengenalan pengetahuan terdahulu tentang model Diffusion, walaupun video input tidak meliputi objek lengkap, "AnimableDreamer" boleh melengkapkan maklumat gambar secara automatik dan mencapai kualiti penjanaan yang lebih baik.

Boleh dikatakan bahawa cadangan "AnimableDreamer" secara langsung menghubungkan teks kepada penjanaan animasi rangka 4D, pemodelan, penteksuran, pengikatan tulang, dan pemanduan aksi sekali gus! Masukkan perihalan bahasa semula jadi dan keluarkan video animasi tiga dimensi secara automatik Tiada pengetahuan profesional diperlukan untuk memulakan dan menyesuaikan kandungan animasi dengan mudah.

Kerja berdasarkan "AnimableDreamer" akan mengurangkan kesukaran menghasilkan kandungan digital 3D dan 4D, memperkayakan pengalaman interaktif, membolehkan semua orang menjana dan mengedit kandungan kreatif, dan akan melahirkan kandungan baharu dalam era 3D Hiburan dan kandungan corak penggunaan.

Bayangkan di dunia maya akan datang, pengguna boleh membina ruang digital tersuai dengan cepat dan mencipta pengalaman interaktif yang diperibadikan. Contohnya:

• Setiap imej watak dalam ruang digital boleh dijana sesuka hati, seperti mendandani kanak-kanak dalam pakaian Superman, menukar kostum tema percutian sesuka hati untuk Halloween, dsb.

• Pengguna yang mempunyai haiwan peliharaan boleh meletakkan haiwan peliharaan mereka Kartunisasi, seperti menghasilkan imej Mickey Mouse maya. Kehidupan harian haiwan peliharaan adalah seperti kartun, dan interaksi harian antara pemilik dan haiwan peliharaan akan menjadi menarik

• Cara interaksi antara orang juga menjadi lebih kaya Anda boleh mengadakan pesta bertema pada bila-bila masa, di mana sahaja, dan menjana keinginan anda Persekitaran parti masa nyata, hiasan watak, dsb.

Sebagai syarikat permulaan yang ditubuhkan kurang dari setahun yang lalu, pasukan Teknologi Shengshu telah lama komited dalam bidang model besar berbilang modal seperti imej, 3D dan video pada bulan September, ia mengeluarkan 3D alat penciptaan aset VoxCraft, yang dilancarkan secara rasmi pada Discord , menyokong panduan teks dan gambar, penciptaan model 3D peringkat minit, penggantian tersuai tekstur 3D dan fungsi lain, memperkasakan proses pemodelan 3D pembangunan permainan, animasi filem dan televisyen dan. adegan lain. Penjanaan animasi rangka 4D yang dilancarkan kali ini merupakan satu lagi kerja penerokaan baharu Teknologi Shengshu, yang akan disepadukan ke dalam produk VoxCraft pada masa hadapan.

Alamat alat VoxCraft: https://voxcraft.ai/

Ketibaan Apple Vision Pro bukan sahaja inovasi penting di peringkat peranti perkakasan, tetapi juga permulaan revolusi dalam kandungan dan pengalaman. Keupayaan inovatif AI generatif seperti penjanaan animasi 4D bukan sahaja akan membawa persembahan visual yang lebih baik, tetapi juga akan membuka pengalaman digital berbilang dimensi dengan cara baharu, membawa lebih banyak kemungkinan kepada interaksi manusia-komputer generasi akan datang.

Atas ialah kandungan terperinci Sebuah syarikat permulaan yang berpangkalan di Tsinghua mengeluarkan rangka kerja animasi rangka 4D pertama di dunia, yang membolehkan penukaran satu klik adegan sebenar kepada animasi dan keupayaan untuk menjana watak yang diperibadikan.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!