


Biarkan gadis Sora Tokyo menyanyi, Gao Qiqiang menukar suaranya kepada Luo Xiang, dan video penyegerakan bibir watak Alibaba dijana dengan sempurna
Dengan EMO Alibaba, ia menjadi lebih mudah untuk "bergerak, bercakap atau menyanyi" dengan imej yang dijana AI atau sebenar.
Baru-baru ini, model video Vincent yang diwakili oleh OpenAI Sora kembali popular.
Selain video yang dihasilkan teks, sintesis video berpusatkan manusia sentiasa menarik perhatian ramai. Contohnya, fokus pada penjanaan video "kepala pembesar suara", yang matlamatnya adalah untuk menjana ekspresi muka berdasarkan klip audio yang disediakan pengguna.
Pada peringkat teknikal, penjanaan ekspresi memerlukan penangkapan dengan tepat pergerakan wajah pembesar suara yang halus dan pelbagai, yang merupakan cabaran besar untuk tugasan sintesis video yang serupa.
Kaedah tradisional biasanya mengenakan beberapa had untuk memudahkan tugas penjanaan video. Contohnya, sesetengah kaedah menggunakan model 3D untuk mengekang mata utama muka, manakala yang lain mengekstrak urutan gerakan kepala daripada video mentah untuk membimbing gerakan keseluruhan. Walaupun pengehadan ini mengurangkan kerumitan penjanaan video, mereka juga mengehadkan kekayaan dan keaslian ekspresi muka akhir.
Dalam kertas kerja baru-baru ini yang diterbitkan oleh Ali Intelligent Computing Research Institute, para penyelidik menumpukan pada penerokaan hubungan halus antara isyarat audio dan pergerakan muka untuk meningkatkan keaslian, keaslian dan ekspresi video kepala pembesar suara.
Penyelidik telah mendapati bahawa kaedah tradisional sering gagal menangkap dengan secukupnya ekspresi muka dan gaya unik penceramah yang berbeza. Oleh itu, mereka mencadangkan rangka kerja EMO (Emote Portrait Alive), yang secara langsung memaparkan ekspresi muka melalui kaedah sintesis audio-video tanpa menggunakan model 3D perantaraan atau tanda tempat muka.
paper Tajuk: Emo: Potret Emote Alive- Menjana Video Potret Ekspresif dengan Model Penyebaran Audio2Video di bawah keadaan lemah
Addresspaper Alamat: https://arxiv.org/pdf/2402.17485.pdf
-
Laman utama projek: https://humanaigc.github.io/emote-portrait-alive/
Dari segi kesan, kaedah Ali boleh memastikan peralihan bingkai yang lancar sepanjang video dan mengekalkan identiti yang konsisten, dengan itu menghasilkan prestasi yang berkuasa dan video avatar watak yang lebih realistik adalah jauh lebih baik daripada kaedah SOTA semasa dari segi ekspresif dan realisme.
Sebagai contoh, EMO boleh membuatkan watak gadis Tokyo yang dihasilkan oleh Sora menyanyikan lagu "Don't Start Now" yang dinyanyikan oleh penyanyi wanita dwi-negara British/Albania, Dua Lipa. EMO menyokong lagu dalam pelbagai bahasa termasuk bahasa Inggeris dan Cina Ia boleh mengenal pasti perubahan tonal audio secara intuitif dan menjana avatar watak AI yang dinamik dan ekspresif. Sebagai contoh, biarkan wanita muda yang dihasilkan oleh model lukisan AI ChilloutMix menyanyikan "Melody" oleh Tao Zhe.
EMO juga boleh membenarkan avatar mengikuti lagu-lagu Rap pantas, seperti meminta Leonardo DiCaprio mempersembahkan bahagian "Godzilla" oleh penyanyi rap Amerika Eminem. Sudah tentu, EMO bukan sahaja membenarkan watak untuk menyanyi, tetapi juga menyokong audio yang dituturkan dalam pelbagai bahasa, mengubah gaya potret, lukisan serta model 3D dan kandungan yang dijana AI yang berbeza kepada video animasi seperti hidup. Seperti ceramah Audrey Hepburn.
Akhirnya, EMO juga boleh mencapai hubungan antara watak yang berbeza, seperti Gao Qiqiang yang menghubungkan dengan Teacher Luo Xiang dalam "Cyclone".
Gambaran Keseluruhan Kaedah
Memandangkan satu imej rujukan potret watak, kaedah kami boleh menjana video yang disegerakkan dengan klip audio pertuturan input, mengekalkan pergerakan kepala watak yang sangat semula jadi dan ekspresi jelas serta konsisten dengan perubahan nada audio suara yang disediakan . Dengan mencipta siri video berlatarkan yang lancar, model ini membantu menjana video panjang potret bercakap dengan identiti yang konsisten dan gerakan koheren, yang penting untuk aplikasi dunia sebenar. Gambaran keseluruhan kaedah
Rangkaian Paip
ditunjukkan dalam rajah di bawah. Rangkaian tulang belakang menerima berbilang bingkai input berpotensi hingar dan cuba untuk menyatukannya ke dalam bingkai video berturut-turut pada setiap langkah masa Rangkaian tulang belakang mempunyai konfigurasi struktur UNet yang serupa dengan versi SD 1.5 yang asal, khususnya
seperti sebelumnya berfungsi dengan cara yang sama, untuk memastikan kesinambungan antara bingkai yang dihasilkan, rangkaian tulang belakang membenamkan modul temporal.
Untuk mengekalkan ketekalan ID potret dalam bingkai yang dijana, penyelidik menggunakan struktur UNet selari dengan rangkaian tulang belakang, yang dipanggil ReferenceNet, yang memasukkan imej rujukan untuk mendapatkan ciri rujukan.
Untuk memacu pergerakan watak semasa bercakap, penyelidik menggunakan lapisan audio untuk mengekodkan ciri bunyi.
Untuk menjadikan pergerakan watak pertuturan boleh dikawal dan stabil, penyelidik menggunakan pengesan muka dan lapisan halaju untuk menyediakan keadaan yang lemah.
Untuk rangkaian tulang belakang, penyelidik tidak menggunakan benam pembayang, jadi mereka melaraskan lapisan perhatian silang dalam struktur SD 1.5 UNet kepada lapisan perhatian rujukan. Lapisan yang diubah suai ini akan mengambil ciri rujukan yang diperoleh daripada ReferenceNet sebagai input dan bukannya pembenaman teks.
Strategi latihan
Proses latihan terbahagi kepada tiga peringkat:
Peringkat pertama ialah imej pra-latihan, di mana rangkaian tulang belakang, ReferenceNet dan penyetempat muka dimasukkan ke dalam proses latihan rangkaian tulang belakang dilatih dalam bingkai tunggal Sebagai input, ReferenceNet memproses bingkai yang berbeza, dipilih secara rawak daripada klip video yang sama. Kedua-dua Backbone dan ReferenceNet memulakan pemberat daripada SD mentah.
Pada peringkat kedua, penyelidik memperkenalkan latihan video, menambah modul temporal dan lapisan audio, dan sampel n+f bingkai berturut-turut daripada klip video, di mana n bingkai pertama ialah bingkai gerakan. Modul masa memulakan pemberat daripada AnimateDiff.
Peringkat terakhir mengintegrasikan lapisan kelajuan, dan penyelidik hanya melatih modul masa dan lapisan kelajuan dalam peringkat ini. Pendekatan ini dilakukan dengan sengaja mengabaikan lapisan audio semasa latihan. Kerana kekerapan ekspresi pembesar suara, pergerakan mulut dan pergerakan kepala dipengaruhi terutamanya oleh audio. Oleh itu, nampaknya terdapat korelasi antara unsur-unsur ini, dan model mungkin memacu pergerakan watak berdasarkan isyarat halaju dan bukannya audio. Keputusan eksperimen menunjukkan bahawa melatih lapisan kelajuan dan lapisan audio secara serentak melemahkan keupayaan audio untuk memacu pergerakan watak.
Hasil eksperimen
Kaedah yang dibandingkan semasa percubaan termasuk Wav2Lip, SadTalker dan DreamTalk.
Rajah 3 menunjukkan hasil perbandingan antara kaedah ini dan kaedah sebelumnya. Dapat diperhatikan bahawa apabila disediakan dengan imej rujukan tunggal sebagai input, Wav2Lip biasanya mensintesis kawasan mulut yang kabur dan menghasilkan video yang dicirikan oleh pose kepala statik dan pergerakan mata yang minimum. Dalam kes DreamTalk, hasilnya boleh memesongkan wajah asal dan juga mengehadkan julat ekspresi muka dan pergerakan kepala. Berbanding dengan SadTalker dan DreamTalk, kaedah yang dicadangkan dalam kajian ini mampu menjana julat pergerakan kepala yang lebih besar dan ekspresi muka yang lebih jelas.
Kajian ini meneroka penjanaan video avatar dalam pelbagai gaya potret, seperti realistik, anime dan 3D. Watak-watak telah dianimasikan menggunakan input audio vokal yang sama, dan keputusan menunjukkan bahawa video yang dihasilkan menghasilkan penyegerakan bibir yang kira-kira konsisten merentas gaya yang berbeza.
Rajah 5 menunjukkan bahawa kaedah kami boleh menjana ekspresi muka dan tindakan yang lebih kaya apabila memproses audio dengan ciri ton yang jelas. Sebagai contoh, dalam baris ketiga gambar di bawah, nada tinggi akan mencetuskan ekspresi yang lebih kuat dan lebih jelas dalam watak. Selain itu, bingkai gerakan membolehkan anda memanjangkan video yang dijana, iaitu menjana video berdurasi lebih lama berdasarkan panjang audio input. Seperti yang ditunjukkan dalam Rajah 5 dan 6, kaedah kami mengekalkan identiti watak dalam urutan lanjutan walaupun semasa pergerakan besar.
Jadual 1 Keputusan menunjukkan kaedah ini mempunyai kelebihan yang ketara dalam penilaian kualiti video:
Atas ialah kandungan terperinci Biarkan gadis Sora Tokyo menyanyi, Gao Qiqiang menukar suaranya kepada Luo Xiang, dan video penyegerakan bibir watak Alibaba dijana dengan sempurna. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Tetapi mungkin dia tidak dapat mengalahkan lelaki tua di taman itu? Sukan Olimpik Paris sedang rancak berlangsung, dan pingpong telah menarik perhatian ramai. Pada masa yang sama, robot juga telah membuat penemuan baru dalam bermain pingpong. Sebentar tadi, DeepMind mencadangkan ejen robot pembelajaran pertama yang boleh mencapai tahap pemain amatur manusia dalam pingpong yang kompetitif. Alamat kertas: https://arxiv.org/pdf/2408.03906 Sejauh manakah robot DeepMind bermain pingpong? Mungkin setanding dengan pemain amatur manusia: kedua-dua pukulan depan dan pukulan kilas: pihak lawan menggunakan pelbagai gaya permainan, dan robot juga boleh bertahan: servis menerima dengan putaran yang berbeza: Walau bagaimanapun, keamatan permainan nampaknya tidak begitu sengit seperti lelaki tua di taman itu. Untuk robot, pingpong

Permulaan sekolah akan bermula, dan bukan hanya pelajar yang akan memulakan semester baharu yang harus menjaga diri mereka sendiri, tetapi juga model AI yang besar. Beberapa ketika dahulu, Reddit dipenuhi oleh netizen yang mengadu Claude semakin malas. "Tahapnya telah banyak menurun, ia sering berhenti seketika, malah output menjadi sangat singkat. Pada minggu pertama keluaran, ia boleh menterjemah dokumen penuh 4 halaman sekaligus, tetapi kini ia tidak dapat mengeluarkan separuh halaman pun. !" https:// www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ dalam siaran bertajuk "Totally disappointed with Claude", penuh dengan

Pada 21 Ogos, Persidangan Robot Dunia 2024 telah diadakan dengan megah di Beijing. Jenama robot rumah SenseTime "Yuanluobot SenseRobot" telah memperkenalkan seluruh keluarga produknya, dan baru-baru ini mengeluarkan robot permainan catur AI Yuanluobot - Edisi Profesional Catur (selepas ini dirujuk sebagai "Yuanluobot SenseRobot"), menjadi robot catur A pertama di dunia untuk rumah. Sebagai produk robot permainan catur ketiga Yuanluobo, robot Guoxiang baharu telah melalui sejumlah besar peningkatan teknikal khas dan inovasi dalam AI dan jentera kejuruteraan Buat pertama kalinya, ia telah menyedari keupayaan untuk mengambil buah catur tiga dimensi melalui cakar mekanikal pada robot rumah, dan melaksanakan Fungsi mesin manusia seperti bermain catur, semua orang bermain catur, semakan notasi, dsb.

Pada Persidangan Robot Dunia yang diadakan di Beijing, paparan robot humanoid telah menjadi tumpuan mutlak di gerai Stardust Intelligent, pembantu robot AI S1 mempersembahkan tiga persembahan utama dulcimer, seni mempertahankan diri dan kaligrafi dalam. satu kawasan pameran, berkebolehan kedua-dua sastera dan seni mempertahankan diri, menarik sejumlah besar khalayak profesional dan media. Permainan elegan pada rentetan elastik membolehkan S1 menunjukkan operasi halus dan kawalan mutlak dengan kelajuan, kekuatan dan ketepatan. CCTV News menjalankan laporan khas mengenai pembelajaran tiruan dan kawalan pintar di sebalik "Kaligrafi Pengasas Syarikat Lai Jie menjelaskan bahawa di sebalik pergerakan sutera, bahagian perkakasan mengejar kawalan daya terbaik dan penunjuk badan yang paling menyerupai manusia (kelajuan, beban). dll.), tetapi di sisi AI, data pergerakan sebenar orang dikumpulkan, membolehkan robot menjadi lebih kuat apabila ia menghadapi situasi yang kuat dan belajar untuk berkembang dengan cepat. Dan tangkas

Penyepaduan mendalam penglihatan dan pembelajaran robot. Apabila dua tangan robot bekerja bersama-sama dengan lancar untuk melipat pakaian, menuang teh dan mengemas kasut, ditambah pula dengan 1X robot humanoid NEO yang telah menjadi tajuk berita baru-baru ini, anda mungkin mempunyai perasaan: kita seolah-olah memasuki zaman robot. Malah, pergerakan sutera ini adalah hasil teknologi robotik canggih + reka bentuk bingkai yang indah + model besar berbilang modal. Kami tahu bahawa robot yang berguna sering memerlukan interaksi yang kompleks dan indah dengan alam sekitar, dan persekitaran boleh diwakili sebagai kekangan dalam domain spatial dan temporal. Sebagai contoh, jika anda ingin robot menuang teh, robot terlebih dahulu perlu menggenggam pemegang teko dan memastikannya tegak tanpa menumpahkan teh, kemudian gerakkannya dengan lancar sehingga mulut periuk sejajar dengan mulut cawan. , dan kemudian condongkan teko pada sudut tertentu. ini

Pada persidangan ACL ini, para penyumbang telah mendapat banyak keuntungan. ACL2024 selama enam hari diadakan di Bangkok, Thailand. ACL ialah persidangan antarabangsa teratas dalam bidang linguistik pengiraan dan pemprosesan bahasa semula jadi Ia dianjurkan oleh Persatuan Antarabangsa untuk Linguistik Pengiraan dan diadakan setiap tahun. ACL sentiasa menduduki tempat pertama dalam pengaruh akademik dalam bidang NLP, dan ia juga merupakan persidangan yang disyorkan CCF-A. Persidangan ACL tahun ini adalah yang ke-62 dan telah menerima lebih daripada 400 karya termaju dalam bidang NLP. Petang semalam, persidangan itu mengumumkan kertas kerja terbaik dan anugerah lain. Kali ini, terdapat 7 Anugerah Kertas Terbaik (dua tidak diterbitkan), 1 Anugerah Kertas Tema Terbaik, dan 35 Anugerah Kertas Cemerlang. Persidangan itu turut menganugerahkan 3 Anugerah Kertas Sumber (ResourceAward) dan Anugerah Impak Sosial (

Petang ini, Hongmeng Zhixing secara rasmi mengalu-alukan jenama baharu dan kereta baharu. Pada 6 Ogos, Huawei mengadakan persidangan pelancaran produk baharu Hongmeng Smart Xingxing S9 dan senario penuh Huawei, membawakan sedan perdana pintar panoramik Xiangjie S9, M7Pro dan Huawei novaFlip baharu, MatePad Pro 12.2 inci, MatePad Air baharu, Huawei Bisheng With banyak produk pintar semua senario baharu termasuk pencetak laser siri X1, FreeBuds6i, WATCHFIT3 dan skrin pintar S5Pro, daripada perjalanan pintar, pejabat pintar kepada pakaian pintar, Huawei terus membina ekosistem pintar senario penuh untuk membawa pengguna pengalaman pintar Internet Segala-galanya. Hongmeng Zhixing: Pemerkasaan mendalam untuk menggalakkan peningkatan industri kereta pintar Huawei berganding bahu dengan rakan industri automotif China untuk menyediakan

Kecerdasan buatan berkembang lebih cepat daripada yang anda bayangkan. Sejak GPT-4 memperkenalkan teknologi multimodal ke mata umum, model besar multimodal telah memasuki tahap pembangunan pesat, secara beransur-ansur beralih daripada penyelidikan dan pembangunan model tulen kepada penerokaan dan aplikasi dalam bidang menegak, dan disepadukan secara mendalam dengan semua lapisan masyarakat. Dalam bidang interaksi antara muka, gergasi teknologi antarabangsa seperti Google dan Apple telah melabur dalam penyelidikan dan pembangunan model UI berbilang modal yang besar, yang dianggap sebagai satu-satunya jalan ke hadapan untuk revolusi AI telefon mudah alih. Dalam konteks ini, model UI berskala besar pertama di China telah dilahirkan. Pada 17 Ogos, di Persidangan Reka Bentuk Pengalaman Antarabangsa IXDC2024, Motiff, alat reka bentuk dalam era AI, melancarkan model berbilang modal UI yang dibangunkan secara bebas - Model Motiff. Ini ialah alat reka bentuk UI pertama di dunia
