Principes fondamentaux de la synthèse vocale intelligente

Les méthodes de synthèse vocale paramétrique statistique ont attiré une large attention dans le domaine de la synthèse vocale en raison de leur flexibilité. Ces dernières années, l’application de modèles de réseaux neuronaux profonds dans le domaine de la recherche sur l’apprentissage automatique a permis d’obtenir des avantages significatifs par rapport aux méthodes traditionnelles. L'application de méthodes de modélisation basées sur les réseaux de neurones dans la synthèse vocale paramétrique statistique s'est progressivement approfondie et est devenue l'une des méthodes dominantes de synthèse vocale.

La modélisation acoustique backend pour la synthèse vocale paramétrique statistique fait l'objet de cet article.

Le cadre backend de la synthèse vocale paramétrique

Comme le montre la figure, le cadre backend de la synthèse vocale paramétrique statistique est décrit, qui comprend principalement deux étapes : la formation et la synthèse.

Dans la phase de formation, les formes d'onde vocales et les caractéristiques textuelles correspondantes de la bibliothèque sonore sont utilisées comme entrée. Les formes d'onde vocales sont extraites via un vocodeur et combinées avec des fonctionnalités de texte pour la modélisation acoustique.

Dans l'étape de synthèse, selon le modèle acoustique entraîné, les caractéristiques du texte à synthétiser sont saisies et les caractéristiques acoustiques correspondantes sont prédites. Les caractéristiques acoustiques prédites sont ensuite converties en formes d'onde vocales à l'aide d'un vocodeur. Le vocodeur et les modèles acoustiques sont des composants clés des systèmes de synthèse vocale paramétrique statistique.

Le modèle de filtre source de génération de parole est utilisé pour séparer le spectre de courte durée de la parole en fréquence fondamentale et enveloppe spectrale pendant le processus de paramétrage de la forme d'onde vocale. Habituellement, nous obtenons les caractéristiques d'excitation de la parole en analysant les formes d'onde du domaine temporel ou les harmoniques du domaine fréquentiel, puis supprimons la périodicité du temps et de la fréquence du spectre d'amplitude obtenu par la transformée de Fourier à court terme de la forme d'onde de la parole pour obtenir l'ensemble spectral de réseau de parole. Cette méthode peut nous aider à mieux comprendre et traiter les signaux vocaux.

En raison de la dimensionnalité plus élevée de l'enveloppe spectrale, la modélisation devient difficile, il est donc souvent nécessaire de réduire la dimensionnalité de l'enveloppe spectrale. La reconstruction de la forme d'onde de la parole est le processus inverse de récupération de la parole originale à partir des paramètres acoustiques de la parole. En tenant compte de la fréquence fondamentale, de l'enveloppe spectrale et des caractéristiques d'excitation de la parole, combinées à des contraintes de phase appropriées, le spectre d'amplitude STFT peut être reconstruit.

La modélisation de la durée est un autre module de synthèse vocale paramétrique statistique. La modélisation de durée ne nécessite pas de vocodeur. Le cadre de base est similaire à la modélisation acoustique. Des modèles statistiques sont utilisés pour modéliser la distribution de probabilité des durées correspondantes en fonction des caractéristiques du texte.

Après plus de 20 ans de développement, la méthode de synthèse vocale à paramètres statistiques basée sur HMM est devenue une méthode de synthèse vocale mature.

Cette section présentera le modèle de Markov caché et ses bases théoriques. Combiné avec certaines contraintes de phase, le spectre d'amplitude STFT est reconstruit. La modélisation de la durée est un autre module de la synthèse vocale paramétrique statistique. La modélisation de durée ne nécessite pas de vocodeur. Le cadre de base est similaire à la modélisation acoustique. Des modèles statistiques sont utilisés pour modéliser la distribution de probabilité des durées correspondantes en fonction des caractéristiques du texte. Après plus de 20 ans de développement, la méthode de synthèse vocale à paramètres statistiques basée sur HMM est devenue une méthode de synthèse vocale mature.

Le modèle de Markov caché est un modèle probabiliste pour la modélisation de séquences, qui consiste en un ensemble de variables d'état cachées et un ensemble de variables d'observation. Le modèle HMM repose sur deux hypothèses.

La variable d'état obéit à la chaîne de Markov du premier ordre ; c'est-à-dire que l'état actuel est uniquement lié à l'état précédent, comme le montre la formule (1).

La distribution de probabilité d'une variable observée à un certain moment est uniquement liée à l'état du moment actuel et n'a rien à voir avec l'état ou les variables observées à d'autres moments, comme le montre l'équation (2) .

Habituellement, dans le modèle HMM

forme intelligemment la matrice de transition d'état A du HMM, et la densité de probabilité des variables observées est :

C'est il convient de noter que la probabilité de sortie HMM :

Le principe de base de la modélisation acoustique dans la méthode de synthèse vocale paramétrique statistique basée sur HMM est d'utiliser le modèle HMM pour modéliser de manière probabiliste la séquence de caractéristiques acoustiques de la parole dans une situation donnée. .

La configuration de l'ensemble du système comprend la sélection des caractéristiques acoustiques de la parole, la sélection des unités de modélisation et la configuration des modèles HMM. Les caractéristiques acoustiques des systèmes de synthèse vocale comprennent des caractéristiques d'excitation et des caractéristiques spectrales.

Dans la sélection des caractéristiques spectrales, afin de réduire la difficulté de la modélisation HMM, des représentations spectrales de faible dimension qui suppriment la corrélation entre les dimensions sont généralement utilisées, telles que les caractéristiques de Mel cepstre et de paire de spectre de raies. Compte tenu des caractéristiques stationnaires à court terme des signaux vocaux et de la capacité de modélisation du HM, les HMM dans les systèmes de synthèse vocale modélisent généralement des unités au niveau du phonème, telles que les unités vocaliques en chinois. En raison des caractéristiques temporelles de la parole, la topologie du HMM dans la modélisation audio est souvent un état de parcours unidirectionnel de gauche à droite.

Cadre du système de synthèse vocale à paramètres statistiques basé sur HMM

La figure représente le cadre du système de synthèse vocale à paramètres statistiques basé sur HMM. Il est divisé en étape de formation et étape complète. La phase de formation comprend l'extraction des caractéristiques acoustiques de la parole et la formation du modèle HMM. Étant donné que le modèle HMM utilise des phonèmes comme unités de modélisation, trois phonèmes liés au contexte sont généralement modélisés pour améliorer la précision de la modélisation.

Dans le premier processus de formation du système, la limite inférieure de la variance du modèle HMM est estimée, puis le modèle HMM à tonalité unique est formé comme paramètre d'initialisation du modèle, puis le modèle HMM tri-phone lié au contexte est formé, et enfin le regroupement de pression Mn est effectué sur la base de l'arbre de décision.

Dans l'étape de synthèse, le texte est d'abord analysé, combiné à la durée prévue, la séquence du modèle HMM liée au contexte est déterminée en fonction de l'arbre de décision, puis la séquence de caractéristiques acoustiques continues est obtenue grâce à la génération de paramètres de vraisemblance maximale. Algorithme, et la forme d'onde vocale est synthétisée par le synthétiseur. Les systèmes de synthèse vocale paramétrique statistique basés sur HMM sont trop fluides ; l'une des raisons est la capacité de modélisation limitée de HMM.

Ces dernières années, en tant que branche de l'apprentissage automatique, l'apprentissage profond s'est développé rapidement. L'apprentissage profond fait référence à l'utilisation de modèles de réseau composés de plusieurs transformations non linéaires et de plusieurs couches de traitement, à savoir les réseaux de neurones. En raison des excellentes capacités de modélisation du DNN et du pouce, la méthode de modélisation acoustique basée sur DNN et RNN est appliquée à la synthèse vocale paramétrique statistique, et son effet est meilleur que la méthode de modélisation acoustique basée sur HMM.

C'est désormais devenu la méthode courante de modélisation acoustique par synthèse vocale paramétrique statistique. Les systèmes de synthèse vocale basés sur DNN et RNN sont similaires dans leur structure système.

Diagramme cadre d'une méthode de synthèse vocale basée sur un réseau neuronal

Comme le montre la figure, les caractéristiques d'entrée dans la figure sont des caractéristiques extraites du texte, c'est-à-dire que des caractéristiques numériques discrètes ou continues sont utilisées pour décrire le ; texte.

La formation des systèmes de synthèse vocale paramétrique statistique basée sur DNN et RNN adopte généralement des critères de formation et utilise l'algorithme BP et l'algorithme SGD pour mettre à jour les paramètres du modèle afin que les paramètres acoustiques prédits soient aussi proches que possible des paramètres acoustiques naturels. Au cours de l'étape de synthèse, les caractéristiques du texte sont extraites du texte synthétisé, puis les paramètres acoustiques correspondants sont prédits via DNN ou RNN, et enfin la forme d'onde vocale est synthétisée via le vocodeur.

Actuellement, les méthodes de modélisation basées sur DNN et RNN sont principalement appliquées aux paramètres acoustiques de la parole, notamment la fréquence fondamentale et les paramètres spectraux. Les informations sur la durée doivent encore être obtenues via d’autres systèmes. De plus, les fonctionnalités d’entrée et de sortie des modèles DNN et RNN doivent être alignées dans le temps.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!