Definisi dan klasifikasi anotasi TTS

Anotasi TTS merujuk kepada kerja anotasi yang dilakukan semasa proses sintesis teks ke pertuturan. Teknologi TTS merujuk kepada teknologi yang secara automatik menukar teks kepada pertuturan. Ia mempunyai pelbagai aplikasi, termasuk pembantu suara, navigasi suara, sistem respons suara automatik, dsb.

Jenis anotasi TTS termasuk yang berikut:

Anotasi teks: teks asal, termasuk transliterasi pengecaman pertuturan dan teks yang dijana bahasa semula jadi.

Anotasi telefon: Tandakan kedudukan setiap fonem dalam teks dan kandungan fonem yang sepadan, yang digunakan untuk melatih pengelas fonem dalam model TTS.

Anotasi prosodik merujuk kepada menganotasi unit fonetik asas (seperti suku kata atau perkataan) dalam teks dan merekodkan sifat fonetiknya, seperti pic, tempoh dan keamatan. Anotasi ini digunakan untuk melatih model prosodi dalam model text-to-speech (TTS).

Anotasi suara: Anotasikan maklumat asas audio pertuturan yang dijana oleh TTS, seperti panjang audio, kadar pensampelan, kedalaman bit, dsb.

Anotasi niat: Anotasikan niat atau maklumat emosi dalam teks, yang digunakan untuk melatih model emosi dalam model TTS atau model pengecaman emosi dalam interaksi suara.

Anotasi sebutan: Tandai perbezaan sebutan dalam bahasa atau dialek berbeza, yang digunakan untuk melatih model sebutan dalam model TTS.

Anotasi kelajuan pertuturan: Tandai maklumat kelajuan pertuturan teks, termasuk jeda ayat, intonasi, perubahan kelajuan pertuturan, dsb., yang digunakan untuk melatih model kawalan kelajuan pertuturan dalam model TTS.

Pelabelan parameter sintesis pertuturan: labelkan parameter ciri dalam model TTS, seperti frekuensi asas, harmonik, parameter saluran vokal, dsb., yang digunakan untuk melatih model sintesis pertuturan dalam model TTS.

Tujuan anotasi TTS adalah untuk membolehkan komputer memahami dan memproses teks dengan betul, dan kemudian menjana pertuturan yang semula jadi dan lancar. Semasa melakukan anotasi TTS, teks perlu diproses seperti pembahagian perkataan, penukaran fonem, dan pembahagian suku kata, supaya komputer dapat memahami dengan tepat makna dan peraturan sebutan bagi setiap perkataan, setiap fonem, dan setiap suku kata. Hasil anotasi TTS ialah fail anotasi yang mengandungi maklumat seperti fonem, suku kata, tekanan dan irama.

Apabila melakukan anotasi TTS, anda perlu memberi perhatian kepada beberapa isu utama. Pertama, teks perlu dibahagikan, membahagikan ayat panjang kepada frasa atau perkataan, supaya komputer dapat memahami dengan betul makna dan struktur tatabahasa setiap perkataan. Kedua, penukaran fonem diperlukan untuk menukar setiap perkataan ke dalam urutan fonem yang sepadan. Fonem ialah fonem terkecil yang membentuk bahasa dan unit asas sintesis pertuturan. Semasa menukar fonem, anda perlu mempertimbangkan peraturan bacaan dan diakritik berturut-turut antara fonem untuk memastikan pertuturan yang dihasilkan adalah lancar dan semula jadi.

Selain pembahagian perkataan dan penukaran fonem, anotasi TTS juga memerlukan pembahagian suku kata, penandaan tekanan dan anotasi rima. Suku kata ialah gabungan fonem yang membentuk sesuatu perkataan, dan setiap suku kata mempunyai tekanan. Semasa melakukan anotasi TTS, kedudukan tekanan setiap perkataan perlu ditanda untuk memastikan pertuturan yang dihasilkan mempunyai tekanan dan irama yang betul. Pada masa yang sama, maklumat prosodik, seperti intonasi, kelajuan pertuturan, jeda, dsb., juga perlu diberi anotasi untuk menjadikan pertuturan yang dihasilkan lebih semula jadi dan lancar.

Anotasi TTS biasanya mempunyai dua kaedah, satu anotasi manual dan satu lagi anotasi AI.

Anotasi manual ialah proses anotasi manual yang memerlukan anotasi manusia untuk mendengar teks perkataan demi perkataan dan menukarkannya kepada anotasi pertuturan yang sepadan. Anotasi AI menggunakan algoritma kecerdasan buatan untuk menukar teks secara automatik kepada anotasi pertuturan, dengan itu mengurangkan kos dan masa anotasi manual. Walaupun anotasi AI adalah lebih pantas dan lebih cekap, ia mungkin tidak sebaik anotasi manusia dalam kualiti kerana algoritma AI mungkin membuat ralat atau gagal mengecam ciri pertuturan tertentu. Oleh itu, dalam aplikasi praktikal, biasanya perlu menggabungkan dua kaedah anotasi untuk meningkatkan kualiti dan kecekapan anotasi.

Anda boleh belajar tentang perkhidmatan data penyumberan ramai NetEase Fuxi dan menggunakan platform untuk membina strategi latihan RLHF, membenarkan anotasi manual untuk mengambil bahagian dalam latihan model dan proses penalaan dalam masa nyata. Platform ini akan menapis data ciri biasa untuk anotasi manual terlebih dahulu, dan aliran semula latihan model dalam masa nyata berdasarkan hasil anotasi manual untuk membentuk gelung tertutup data, menambah baik kesan model dan mencapai anotasi automatik. Akhir sekali, platform ini juga akan mengira prestasi tugasan sejarah pengguna dalam masa nyata berdasarkan keputusan tugasan sejarah pengguna, dan melakukan pemeriksaan kualiti automatik pada semua data.

Secara amnya, anotasi TTS merujuk kepada kerja yang memerlukan data suara anotasi dalam teknologi TTS, bertujuan untuk membolehkan komputer memahami dan memproses teks dengan betul, kemudian menjana pertuturan yang semula jadi dan lancar. Anotasi TTS memerlukan pembahagian perkataan, penukaran fonem, pembahagian suku kata, penandaan tekanan, dan anotasi sajak, dsb., dan biasanya memerlukan anotasi manual atau anotasi automatik.

Atas ialah kandungan terperinci Definisi dan klasifikasi anotasi TTS. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!