Peranti teknologi
AI
Model penyebaran video dalam era AIGC, Fudan dan pasukan lain mengeluarkan ulasan pertama di lapangan
Model penyebaran video dalam era AIGC, Fudan dan pasukan lain mengeluarkan ulasan pertama di lapangan
Kandungan yang dijana AI telah menjadi salah satu topik paling hangat dalam bidang kecerdasan buatan semasa dan mewakili teknologi termaju dalam bidang ini. Dalam beberapa tahun kebelakangan ini, dengan keluaran teknologi baharu seperti Stable Diffusion, DALL-E3, dan ControlNet, bidang penjanaan dan penyuntingan imej AI telah mencapai kesan visual yang menakjubkan, dan telah mendapat perhatian dan perbincangan meluas dalam kedua-dua akademik dan industri. Kebanyakan kaedah ini adalah berdasarkan model resapan, yang merupakan kunci kepada keupayaan mereka untuk mencapai penjanaan terkawal yang berkuasa, penjanaan fotorealistik dan kepelbagaian.
Walau bagaimanapun, berbanding dengan imej statik yang ringkas, video mempunyai maklumat semantik yang lebih kaya dan perubahan dinamik. Video boleh menunjukkan evolusi dinamik objek fizikal, jadi keperluan dan cabaran dalam bidang penjanaan dan penyuntingan video adalah lebih kompleks. Walaupun dalam bidang ini, penyelidikan mengenai penjanaan video sentiasa menghadapi kesukaran kerana keterbatasan dalam data beranotasi dan sumber pengkomputeran, beberapa kerja penyelidikan yang mewakili, seperti Make-A-Video, Imagen Video dan Gen-2, telah pun bermula secara beransur-ansur kedudukan dominan.
Kerja-kerja penyelidikan ini menerajui hala tuju pembangunan teknologi penjanaan dan penyuntingan video. Data penyelidikan menunjukkan bahawa sejak 2022, kerja penyelidikan tentang model penyebaran pada tugasan video telah menunjukkan pertumbuhan yang meletup. Trend ini bukan sahaja mencerminkan populariti model penyebaran video dalam akademik dan industri, tetapi juga menyerlahkan keperluan mendesak untuk penyelidik dalam bidang ini untuk terus membuat penemuan dan inovasi dalam teknologi penjanaan video.
Baru-baru ini, Makmal Visi dan Pembelajaran Universiti Fudan, bersama-sama dengan Microsoft, Huawei dan institusi akademik lain, mengeluarkan ulasan pertama kerja model penyebaran pada tugasan video, menyusun aplikasi secara sistematik model resapan dalam penjanaan video, video Hasil akademik termaju dalam penyuntingan dan pemahaman video.
- Pautan kertas: https://arxiv.org/abs/2310.10647
- Pautan laman utama: https://Cwegithub-Videosing/Agithub.com
Penjanaan video
Penjanaan video berasaskan teks: Penjanaan video dengan bahasa semula jadi sebagai input adalah salah satu tugasan yang paling penting dalam bidang ini. Penulis terlebih dahulu menyemak hasil penyelidikan dalam bidang ini sebelum model resapan dicadangkan, dan kemudian masing-masing memperkenalkan model penjanaan teks-video berasaskan latihan dan tanpa latihan.
Animasi salji musim sejuk perayaan percutian pokok Krismas.
Penjanaan video berdasarkan syarat lain: Kerja penjanaan video di kawasan khusus. Pengarang mengklasifikasikannya berdasarkan syarat berikut: pose (berpandukan pose), aksi (berpandukan gerakan), bunyi (berpandukan bunyi), imej (berpandukan imej), peta kedalaman (berpandukan kedalaman), dsb. Generasi Video Lunconditional: Tugas ini merujuk kepada penjanaan video tanpa syarat input dalam bidang tertentu. berasaskan dan model generatif berasaskan Transformer.
Penyiapan video:
Terutamanya termasuk peningkatan dan pemulihan video, ramalan video dan tugasan lain.
Set data: Set data yang digunakan dalam tugas penjanaan video boleh dibahagikan kepada dua kategori berikut:
1.Peringkat kapsyen: Setiap video mempunyai maklumat perihalan teks yang terakhir dan maklumat perihalan teks terakhir yang paling mewakili ialah set data WebVid10M.2. Peringkat kategori: Video hanya mempunyai label klasifikasi tetapi tiada maklumat perihalan teks pada masa ini ialah set data yang paling biasa digunakan untuk tugas seperti penjanaan video dan ramalan video. Kompetisi penunjuk dan hasil penilaian: Petunjuk penilaian yang dihasilkan oleh video terutamanya dibahagikan kepada petunjuk penilaian peringkat kualiti dan petunjuk penilaian peringkat kuantitatif. pemarkahan, manakala kuantitatif Penunjuk penilaian pada peringkat imej boleh dibahagikan kepada: 1 Penunjuk penilaian peringkat imej: Video terdiri daripada satu siri bingkai imej, jadi kaedah penilaian peringkat imej pada asasnya merujuk kepada. penunjuk penilaian model T2I. 2. Penunjuk penilaian peringkat video: Berbanding dengan penunjuk penilaian peringkat imej, yang lebih berat sebelah terhadap pengukuran bingkai demi bingkai, penunjuk penilaian peringkat video boleh mengukur aspek seperti koheren temporal video yang dihasilkan. Selain itu, penulis juga membuat perbandingan mendatar penunjuk penilaian model generatif yang disebutkan di atas set data penanda aras. Baik menyikat melalui banyak kajian, penulis mendapati bahawa matlamat utama tugas penyuntingan video adalah untuk mencapai: 1. Bingkai video yang diedit hendaklah konsisten dalam kandungan dengan video asal. 2. Penjajaran: Video yang diedit perlu diselaraskan dengan syarat input. 3. Kualiti tinggi: Video yang diedit hendaklah koheren dan berkualiti tinggi. Suntingan video berasaskan teks: Memandangkan skala terhad data teks-video sedia ada, kebanyakan tugas penyuntingan video berasaskan teks semasa cenderung menggunakan model T2I yang telah terlatih dan menyelesaikan bingkai video berdasarkan isu keselarasan ini dan ketidakselarasan semantik. Penulis selanjutnya membahagikan tugas-tugas tersebut kepada kaedah berasaskan latihan, tanpa latihan dan kaedah tala sekali pukulan, dan meringkaskannya masing-masing. Penyuntingan video berdasarkan syarat lain: Dengan kemunculan era model besar, sebagai tambahan kepada maklumat bahasa semula jadi yang paling langsung sebagai penyuntingan video bersyarat, ia terdiri daripada arahan, bunyi, tindakan, pengeditan video berbilang mod dengan status dan syarat lain sebagai syarat yang semakin mendapat perhatian, dan pengarang juga telah mengklasifikasikan dan menyusun kerja yang sepadan. Pengeditan video dalam bidang khusus tertentu: Sesetengah kerja memfokuskan kepada keperluan untuk penyesuaian khas tugas penyuntingan video dalam kawasan tertentu, seperti mewarna video, menyunting video potret, dsb. Aplikasi model resapan dalam medan video telah jauh melangkaui penjanaan video tradisional dan tugasan penyuntingan juga telah menunjukkan potensi besar dalam tugas pemahaman video. Dengan menjejaki kertas canggih, penulis meringkaskan 10 senario aplikasi sedia ada seperti pembahagian temporal video, pengesanan anomali video, pembahagian objek video, pengambilan video teks dan pengecaman tindakan. Semakan ini secara komprehensif dan teliti meringkaskan penyelidikan terkini tentang tugasan video dalam model penyebaran dalam era AIGC Menurut objek penyelidikan dan ciri teknikal, lebih daripada seratus karya canggih dikelaskan dan diringkaskan Model-model ini dibandingkan pada beberapa tanda aras klasik. Selain itu, model resapan juga mempunyai beberapa hala tuju dan cabaran penyelidikan baharu dalam bidang tugasan video, seperti: 1 Pengumpulan set data teks-video berskala besar: Kejayaan model T2I tidak dapat dipisahkan daripada ratusan daripada berjuta-juta kualiti tinggi Begitu juga, model T2V juga memerlukan sejumlah besar data teks-video beresolusi tinggi tanpa tera air sebagai sokongan. 2 Latihan dan inferens yang cekap: Berbanding dengan data imej, data video adalah berskala besar, dan kuasa pengkomputeran yang diperlukan dalam peringkat latihan dan inferens juga telah meningkat secara eksponen Latihan yang cekap dan algoritma inferens boleh mengurangkan kos. 3. Penanda aras dan penunjuk penilaian yang boleh dipercayai: Penunjuk penilaian sedia ada dalam medan video sering mengukur perbezaan pengedaran antara video yang dijana dan video asal, tetapi gagal untuk mengukur sepenuhnya kualiti video yang dijana. Pada masa yang sama, ujian pengguna masih merupakan salah satu kaedah penilaian yang penting Memandangkan ia memerlukan banyak tenaga kerja dan sangat subjektif, terdapat keperluan mendesak untuk penunjuk penilaian yang lebih objektif dan komprehensif. 
Video penyuntingan
Pemahaman Video
Masa Depan dan Ringkasan
Atas ialah kandungan terperinci Model penyebaran video dalam era AIGC, Fudan dan pasukan lain mengeluarkan ulasan pertama di lapangan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Undress AI Tool
Gambar buka pakaian secara percuma
Clothoff.io
Penyingkiran pakaian AI
AI Hentai Generator
Menjana ai hentai secara percuma.
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
1377
52
Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat!
Apr 03, 2024 pm 12:04 PM
0. Apakah fungsi artikel ini? Kami mencadangkan DepthFM: model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens. Mari kita baca karya ini bersama-sama ~ 1. Tajuk maklumat kertas: DepthFM: FastMonocularDepthEstimationwithFlowMatching Pengarang: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr
Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo
May 07, 2024 pm 04:13 PM
Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am
Apr 09, 2024 am 11:52 AM
AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.
Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh
KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka
Jun 01, 2024 pm 10:03 PM
Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah
Versi Kuaishou Sora 'Ke Ling' dibuka untuk ujian: menghasilkan video lebih 120-an, memahami fizik dengan lebih baik dan boleh memodelkan pergerakan kompleks dengan tepat
Jun 11, 2024 am 09:51 AM
Apa? Adakah Zootopia dibawa menjadi realiti oleh AI domestik? Didedahkan bersama-sama dengan video itu ialah model penjanaan video domestik berskala besar baharu yang dipanggil "Keling". Sora menggunakan laluan teknikal yang serupa dan menggabungkan beberapa inovasi teknologi yang dibangunkan sendiri untuk menghasilkan video yang bukan sahaja mempunyai pergerakan yang besar dan munasabah, tetapi juga mensimulasikan ciri-ciri dunia fizikal dan mempunyai keupayaan gabungan konsep dan imaginasi yang kuat. Mengikut data, Keling menyokong penjanaan video ultra panjang sehingga 2 minit pada 30fps, dengan resolusi sehingga 1080p dan menyokong berbilang nisbah aspek. Satu lagi perkara penting ialah Keling bukanlah demo atau demonstrasi hasil video yang dikeluarkan oleh makmal, tetapi aplikasi peringkat produk yang dilancarkan oleh Kuaishou, pemain terkemuka dalam bidang video pendek. Selain itu, tumpuan utama adalah untuk menjadi pragmatik, bukan untuk menulis cek kosong, dan pergi ke dalam talian sebaik sahaja ia dikeluarkan Model besar Ke Ling telah pun dikeluarkan di Kuaiying.
Daya hidup kecerdasan super membangkitkan! Tetapi dengan kedatangan AI yang mengemas kini sendiri, ibu tidak perlu lagi bimbang tentang kesesakan data
Apr 29, 2024 pm 06:55 PM
Saya menangis hingga mati. Dunia sedang membina model besar. Data di Internet tidak mencukupi. Model latihan kelihatan seperti "The Hunger Games", dan penyelidik AI di seluruh dunia bimbang tentang cara memberi makan data ini kepada pemakan yang rakus. Masalah ini amat ketara dalam tugas berbilang modal. Pada masa mereka mengalami kerugian, pasukan pemula dari Jabatan Universiti Renmin China menggunakan model baharu mereka sendiri untuk menjadi yang pertama di China untuk menjadikan "suapan data yang dijana model itu sendiri" menjadi kenyataan. Selain itu, ia merupakan pendekatan serampang dua mata dari segi pemahaman dan sisi penjanaan Kedua-dua pihak boleh menjana data baharu berbilang modal yang berkualiti tinggi dan memberikan maklum balas data kepada model itu sendiri. Apakah model? Awaker 1.0, model berbilang modal besar yang baru sahaja muncul di Forum Zhongguancun. Siapa pasukan itu? Enjin Sophon. Diasaskan oleh Gao Yizhao, pelajar kedoktoran di Sekolah Kecerdasan Buatan Hillhouse Universiti Renmin.
Tentera Udara A.S. mempamerkan jet pejuang AI pertamanya dengan profil tinggi! Menteri secara peribadi menjalankan pandu uji tanpa campur tangan semasa keseluruhan proses, dan 100,000 baris kod telah diuji selama 21 kali.
May 07, 2024 pm 05:00 PM
Baru-baru ini, bulatan tentera telah terharu dengan berita: jet pejuang tentera AS kini boleh melengkapkan pertempuran udara automatik sepenuhnya menggunakan AI. Ya, baru-baru ini, jet pejuang AI tentera AS telah didedahkan buat pertama kali, mendedahkan misterinya. Nama penuh pesawat pejuang ini ialah Variable Stability Simulator Test Aircraft (VISTA). Ia diterbangkan sendiri oleh Setiausaha Tentera Udara AS untuk mensimulasikan pertempuran udara satu lawan satu. Pada 2 Mei, Setiausaha Tentera Udara A.S. Frank Kendall berlepas menggunakan X-62AVISTA di Pangkalan Tentera Udara Edwards Ambil perhatian bahawa semasa penerbangan selama satu jam, semua tindakan penerbangan telah diselesaikan secara autonomi oleh AI! Kendall berkata - "Sejak beberapa dekad yang lalu, kami telah memikirkan tentang potensi tanpa had pertempuran udara-ke-udara autonomi, tetapi ia sentiasa kelihatan di luar jangkauan." Namun kini,
