Muka depan AI Stefanie Sun menjadi popular, terima kasih kepada projek sumber terbuka ini! Jam Tangan Lama Guangxi memimpin dalam mencipta, dan panduan untuk bermula telah dikeluarkan

Bagaimana AI ​​Stefanie Sun membuat liputan begitu banyak lagu dengan begitu cepat?

Kuncinya terletak pada projek sumber terbuka.

Baru-baru ini, gelombang sampul AI ini telah menjadi trend bukan sahaja AI ​​Stefanie Sun menyanyikan lebih banyak lagu , tetapi rangkaian penyanyi AI juga Ia berkembang, malah tutorial pengeluaran muncul satu demi satu.

Dan jika anda mengembara melalui tutorial utama, anda akan mendapati bahawa rahsia utama terletak pada projek sumber terbuka yang dipanggil so-vits-svc.

Ia menyediakan cara untuk menggantikan bunyi projek itu dikeluarkan pada Mac tahun ini.

Kebanyakan ahli yang menyumbang mestilah dari China, dan yang mempunyai sumbangan tertinggi ialah pemain lama Guangxi yang bermain Arknights.

Kini, projek telah berhenti mengemas kini, tetapi bilangan bintang masih meningkat, kini mencecah 8.4k.

Jadi apakah teknologi yang dilaksanakan yang boleh mencetuskan trend ini?

Mari kita lihat.

Terima kasih kepada projek sumber terbuka

yang dipanggil SoftVC VITS Singing Voice Conversion (menyanyi penukaran suara).

Ia menyediakan algoritma penukaran timbre yang menggunakan pengekod kandungan SoftVC untuk mengekstrak ciri suara audio sumber, dan kemudian terus memasukkan vektor ke dalam VITS tanpa menukarnya kepada teks di tengah, dengan itu mengekalkan nada dan intonasi.

Selain itu, vocoder ditukar kepada NSF HiFiGAN, yang boleh menyelesaikan masalah gangguan bunyi.

Ia terbahagi kepada langkah berikut:

• Model pralatihan
• Menyediakan set data
• Pra-pemprosesan
• Latihan
• Inferens

Antaranya, langkah model pra-latihan adalah salah satu kunci, kerana projek itu sendiri tidak menyediakan sebarang model latihan audio timbre, jadi jika anda mahu untuk menjadi penyanyi AI baharu Keluar, anda perlu melatih model itu sendiri.

Langkah pertama dalam pra-latihan model ialah menyediakan suara kering, iaitu suara manusia tulen tanpa muzik.

Alat yang digunakan oleh ramai blogger ialah UVR_v5.5.0.

Blogger Twitter @Guizang berkata bahawa adalah lebih baik untuk menukar format bunyi kepada format WAV sebelum diproses, kerana So-VITS-SVC 4.0 hanya mengenali format ini untuk memudahkan pemprosesan seterusnya.

Jika anda mahukan hasil yang lebih baik, anda perlu memproses bunyi latar dua kali, dengan tetapan berbeza setiap kali, yang boleh memaksimumkan kualiti bunyi kering.

Selepas mendapat audio yang diproses, beberapa operasi prapemprosesan diperlukan.

Sebagai contoh, jika audio terlalu panjang, ia akan mudah melimpahi memori video, jadi audio perlu dihiris Adalah disyorkan untuk mengambil masa 5-15 saat atau lebih lama.

Kemudian sampel semula kepada 44100Hz dan mono, dan secara automatik bahagikan set data kepada set latihan dan set pengesahan untuk menjana fail konfigurasi. Menjana semula Hubert dan f0.

Kini anda boleh memulakan latihan dan inferens.

Untuk langkah tertentu, anda boleh pergi ke halaman projek GitHub untuk melihat (penghujung panduan) .

Perlu disebut bahawa projek ini telah dilancarkan pada Mac tahun ini dan pada masa ini mempunyai 25 penyumbang. Jika dilihat dari profil pengguna yang menyumbang, sepatutnya ramai dari China.

Dikatakan bahawa apabila projek itu mula-mula dilancarkan, terdapat banyak kelemahan dan pengaturcaraan yang diperlukan, bagaimanapun, orang ramai mengemas kini dan menampalnya hampir setiap hari, dan kini ambang penggunaan telah banyak diturunkan.

Pada masa ini, projek telah berhenti mengemas kini, tetapi sesetengah pembangun masih mencipta cawangan baharu. Contohnya, sesetengah orang telah membuat pelanggan yang menyokong penukaran masa nyata.

Pemaju yang paling banyak menyumbang kepada projek ini ialah Miuzarte, berdasarkan alamat profil, dia sepatutnya dari Guangxi.

Memandangkan semakin ramai orang ingin bermula, ramai blogger telah melancarkan panduan makan yang lebih terperinci yang lebih mudah untuk dimulakan.

Kaedah yang disyorkan untuk Guizang ialah menggunakan pakej penyepaduan untuk inferens (menggunakan model) dan latihan, dan Jack-Cui dari Stesen B menunjukkan panduan langkah demi langkah di bawah Windows (https:// www.bilibili .com/read/cv22375562).

Perlu diingat bahawa latihan model memerlukan kad grafik yang agak tinggi, dan pelbagai masalah mungkin berlaku jika memori grafik kurang daripada 6G.

Jack-Cui mengesyorkan menggunakan kad N Dia menggunakan RTX 2060 S dan mengambil masa kira-kira 14 jam untuk melatih modelnya.

Data latihan juga penting. Lebih banyak audio berkualiti tinggi, lebih baik kesan akhir.

Saya masih bimbang tentang isu hak cipta

Perlu dinyatakan bahawa pada halaman utama projek so-vits-svc, isu hak cipta ditekankan.

Amaran: Sila selesaikan masalah kebenaran set data itu sendiri. Anda bertanggungjawab sepenuhnya untuk sebarang masalah yang timbul daripada penggunaan set data yang tidak dibenarkan untuk latihan dan semua akibat daripadanya. Repositori, penyelenggaranya dan pasukan pembangunan svc tiada kaitan dengan hasil yang dijana!

Ini agak serupa dengan apabila Lukisan AI meletup.

Oleh kerana data awal kandungan yang dijana AI adalah berdasarkan hasil kerja manusia, terdapat pertikaian yang tidak berkesudahan mengenai hak cipta.

Dan dengan populariti karya AI, beberapa pemilik hak cipta telah mengambil tindakan untuk mengalih keluar video daripada platform.

Difahamkan bahawa lagu "Heart on My Sleeve" yang disintesis AI menjadi popular di Tik Tok Ia mensintesis versi yang dinyanyikan oleh Drake dan Weekend.

Tetapi kemudian, syarikat rakaman Drake dan Weekend, Universal Music, mengalih keluar video itu daripada platform dan meminta pemalsu yang berpotensi dalam satu kenyataan, “Kami berdiri di sisi artis, peminat dan ekspresi kreatif manusia sebelah, atau menyebelahi deepfakes, penipuan dan keengganan membayar pampasan artis?”

Selain itu, penyanyi Drake meluahkan rasa tidak puas hati dengan lagu muka depan yang disintesis AI.

Di sisi lain, terdapat juga orang yang memilih untuk menerima teknologi ini.

Penyanyi Kanada Grimes berkata bahawa dia sanggup membenarkan orang lain menggunakan suaranya untuk mensintesis lagu, tetapi dia mesti membayar separuh daripada royalti.

Alamat GitHub: https://github.com/svc-develop-team/so-vits-svc

Atas ialah kandungan terperinci Muka depan AI Stefanie Sun menjadi popular, terima kasih kepada projek sumber terbuka ini! Jam Tangan Lama Guangxi memimpin dalam mencipta, dan panduan untuk bermula telah dikeluarkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!