


« Émergence intelligente » de la génération vocale : 100 000 heures de formation sur les données, Amazon propose 1 milliard de paramètres BASE TTS
Avec le développement rapide des modèles d'apprentissage profond génératifs, le traitement du langage naturel (NLP) et la vision par ordinateur (CV) ont subi des changements importants. Des modèles supervisés précédents qui nécessitaient une formation spécialisée, à un modèle général qui ne nécessite que des instructions simples et claires pour accomplir diverses tâches. Cette transformation nous offre une solution plus efficace et plus flexible.
Dans le domaine du traitement de la parole et de la synthèse vocale (TTS), une transformation est en cours. En exploitant des milliers d’heures de données, le modèle rapproche de plus en plus la synthèse de la parole humaine réelle.
Dans une étude récente, Amazon a officiellement lancé BASE TTS, augmentant l'échelle des paramètres du modèle TTS à un niveau sans précédent de 1 milliard.
Titre de l'article : BASE TTS : Leçons tirées de la création d'un modèle de synthèse vocale à un milliard de paramètres sur 100 000 heures de données
Lien de l'article : https://arxiv.org/pdf/2402.08093. pdf
BASE TTS est un système TTS multilingue et multi-locuteurs (LTTS) à grande échelle. Il a utilisé environ 100 000 heures de données vocales du domaine public pour la formation, soit deux fois plus que VALL-E, qui disposait auparavant de la plus grande quantité de données de formation. Inspiré par l'expérience réussie de LLM, BASE TTS traite le TTS comme le problème de la prédiction du prochain jeton et le combine avec une grande quantité de données de formation pour obtenir de puissantes capacités multilingues et multi-locuteurs.
Les principales contributions de cet article sont résumées comme suit :
Le BASE TTS proposé est actuellement le plus grand modèle TTS avec 1 milliard de paramètres et est formé sur la base d'un ensemble de données composé de 100 000 heures de données vocales du domaine public. Grâce à une évaluation subjective, BASE TTS surpasse le modèle de référence public LTTS en termes de performances.
Cet article montre comment améliorer la capacité de BASE TTS à restituer une prosodie appropriée pour un texte complexe en l'étendant à des ensembles de données et à des tailles de modèle plus grands. Afin d'évaluer les capacités de compréhension et de rendu du texte des modèles TTS à grande échelle, les chercheurs ont développé un ensemble de tests de « capacités émergentes » et ont rapporté les performances de différentes variantes de BASE TTS sur ce benchmark. Les résultats montrent qu'à mesure que la taille de l'ensemble de données et le nombre de paramètres augmentent, la qualité de BASE TTS s'améliore progressivement.
3. Une nouvelle représentation discrète de la parole basée sur le modèle WavLM SSL est proposée, visant à capturer uniquement les informations phonologiques et prosodiques du signal vocal. Ces représentations surpassent les méthodes de quantification de base, leur permettant d'être décodées en formes d'onde de haute qualité par des décodeurs simples, rapides et en streaming malgré des niveaux de compression élevés (seulement 400 bit/s).
Ensuite, regardons les détails du papier.
Modèle BASE TTS
Semblable aux récents travaux de modélisation de la parole, les chercheurs ont adopté une approche basée sur le LLM pour gérer les tâches TTS. Le texte est introduit dans un modèle autorégressif basé sur Transformer qui prédit des représentations audio discrètes (appelées codes vocaux), qui sont ensuite décodées en formes d'onde par un décodeur entraîné séparément composé de couches linéaires et convolutives.
BASE TTS est conçu pour simuler la distribution conjointe de jetons de texte suivie de représentations vocales discrètes, que les chercheurs appellent codage vocal. La discrétisation de la parole par les codecs audio est au cœur de la conception, car elle permet une application directe des méthodes développées pour le LLM, qui constituent la base des résultats de recherche récents sur le LTTS. Plus précisément, nous modélisons le codage de la parole à l’aide d’un transformateur autorégressif de décodage avec un objectif de formation à entropie croisée. Bien que simple, cet objectif peut capturer la distribution de probabilité complexe de la parole expressive, atténuant ainsi le problème de lissage excessif observé dans les premiers systèmes neuronaux TTS. En tant que modèle de langage implicite, une fois que des variantes suffisamment grandes seront formées sur suffisamment de données, BASE TTS fera également un saut qualitatif dans le rendu de la prosodie.
Représentation du langage discret
Les représentations discrètes sont la base du succès du LLM, mais l'identification de représentations compactes et informatives dans la parole n'est pas aussi évidente que dans le texte et a été moins explorée auparavant. Pour BASE TTS, les chercheurs ont d’abord essayé d’utiliser la ligne de base VQ-VAE (Section 2.2.1), basée sur une architecture d’auto-encodeur pour reconstruire le spectrogramme mel à travers des goulots d’étranglement discrets. VQ-VAE est devenu un paradigme réussi pour la représentation de la parole et de l'image, notamment en tant qu'unité de modélisation pour TTS.
Les chercheurs ont également introduit une nouvelle méthode d’apprentissage de la représentation vocale grâce au codage vocal basé sur WavLM (Section 2.2.2). Dans cette approche, les chercheurs discrétisent les caractéristiques extraites du modèle SSL WavLM pour reconstruire les spectrogrammes mel. Les chercheurs ont appliqué une fonction de perte supplémentaire pour faciliter la séparation des locuteurs et ont compressé les codes vocaux générés à l'aide du Byte-Pair Encoding (BPE) pour réduire la longueur de la séquence, permettant ainsi l'utilisation du transformateur pour une modélisation audio plus longue.
Les deux représentations sont compressées (325 bits/s et 400 bits/s respectivement) pour permettre une modélisation autorégressive plus efficace par rapport aux codecs audio populaires. Sur la base de ce niveau de compression, l'objectif suivant est de supprimer du code vocal les informations qui peuvent être reconstruites lors du décodage (locuteur, bruit audio, etc.) pour garantir que la capacité du code vocal soit principalement utilisée pour encoder des éléments phonétiques et prosodiques. information.
Modélisation autorégressive de la parole (SpeechGPT)
Les chercheurs ont formé un modèle autorégressif « SpeechGPT » avec une architecture GPT-2, qui est utilisé pour prédire le codage de la parole conditionné par le texte et la parole de référence. La condition vocale de référence consistait en des énoncés sélectionnés au hasard provenant du même locuteur, qui étaient codés sous forme d'intégrations de taille fixe. Les intégrations de parole de référence, les codages de texte et de parole sont concaténés dans une séquence modélisée par un modèle autorégressif basé sur Transformer. Nous utilisons des intégrations positionnelles distinctes et des têtes de prédiction distinctes pour le texte et la parole. Ils ont formé un modèle autorégressif à partir de zéro sans pré-formation sur le texte. Afin de préserver les informations textuelles pour guider les onomatopées, SpeechGPT est également entraîné dans le but de prédire le prochain jeton de la partie texte de la séquence d'entrée, de sorte que la partie SpeechGPT est un LM contenant uniquement du texte. Un poids inférieur est adopté ici pour la perte de texte par rapport à la perte de parole.
Génération de forme d'onde
De plus, les chercheurs ont spécifié un décodeur distinct de codeur de parole en forme d'onde (appelé « codec de parole ») chargé de reconstruire l'identité du locuteur et les conditions d'enregistrement. Pour rendre le modèle plus évolutif, ils ont remplacé la couche LSTM par une couche convolutive pour décoder la représentation intermédiaire. La recherche montre que ce codec vocal basé sur la convolution est efficace sur le plan informatique, réduisant le temps de synthèse global du système de plus de 70 % par rapport aux décodeurs de base basés sur la diffusion.
Les chercheurs ont également souligné qu'en fait l'entrée du codec vocal n'est pas l'encodage de la parole, mais le dernier état caché du transformateur autorégressif. Cela a été fait parce que les représentations latentes denses des méthodes TortoiseTTS précédentes fournissent des informations plus riches qu'un seul code phonétique. Au cours du processus de formation, les chercheurs ont saisi du texte et du code cible dans le SpeechGPT formé (gel des paramètres), puis ont ajusté le décodeur en fonction de l'état caché final. La saisie du dernier état caché de SpeechGPT permet d'améliorer la segmentation et la qualité acoustique de la parole, mais lie également le décodeur à une version spécifique de SpeechGPT. Cela complique les expériences car cela oblige les deux composants à toujours être construits séquentiellement. Cette limitation doit être abordée dans les travaux futurs.
Évaluation expérimentale
Les chercheurs ont exploré comment la mise à l'échelle affecte la capacité du modèle à produire une prosodie et une expression appropriées pour une saisie de texte difficile, de la même manière que LLM « émerge » de nouvelles capacités grâce à la mise à l'échelle des données et des paramètres. Pour vérifier si cette hypothèse s'applique également au LTTS, les chercheurs ont proposé un schéma d'évaluation des capacités émergentes potentielles dans le TTS, identifiant sept catégories difficiles : les noms composés, les émotions, les mots étrangers, le paralangage et la ponctuation, les problèmes et la complexité syntaxique.
De multiples expériences ont vérifié la structure de BASE TTS ainsi que sa qualité, ses fonctionnalités et ses performances de calcul :
Tout d'abord, les chercheurs ont comparé la qualité du modèle obtenu par le codage vocal basé sur un auto-encodeur et basé sur WavLM.
Les chercheurs ont ensuite évalué deux méthodes de décodage acoustique des codes vocaux : les décodeurs basés sur la diffusion et les codecs vocaux.
Après avoir terminé ces ablations structurelles, nous avons évalué les capacités émergentes de BASE TTS sur 3 variations de taille d'ensemble de données et de paramètres de modèle, ainsi que par des experts linguistiques.
De plus, les chercheurs ont effectué des tests subjectifs MUSHRA pour mesurer le naturel, ainsi que des mesures automatiques d'intelligibilité et de similarité des locuteurs, et ont rapporté des comparaisons de la qualité de la parole avec d'autres modèles de synthèse vocale open source.
Codage vocal VQ-VAE vs codage vocal WavLM
Afin de tester de manière exhaustive la qualité et la polyvalence des deux méthodes de tokenisation vocale, les chercheurs ont mené une évaluation MUSHRA sur 6 anglophones américains et 4 hispanophones. En termes de scores MUSHRA moyens en anglais, les systèmes basés sur VQ-VAE et WavLM étaient comparables (VQ-VAE : 74,8 vs WavLM : 74,7). Cependant, pour l'espagnol, le modèle basé sur WavLM est statistiquement significativement meilleur que le modèle VQ-VAE (VQ-VAE : 73,3 vs WavLM : 74,7). Notez que les données anglaises représentent environ 90 % de l'ensemble de données, tandis que les données espagnoles n'en représentent que 2 %.
Le tableau 3 montre les résultats par locuteur :
Étant donné que le système basé sur WavLM a fonctionné au moins aussi bien ou mieux que la ligne de base VQ-VAE, nous l'avons utilisé pour représenter BASE TTS dans d'autres expériences.
Décodeur basé sur la diffusion et décodeur de code vocal
Comme mentionné ci-dessus, BASE TTS simplifie le décodeur de base basé sur la diffusion en proposant un codec vocal de bout en bout. La méthode est fluide et augmente la vitesse d'inférence de 3 fois. Pour garantir que cette approche ne dégrade pas la qualité, le codec vocal proposé a été évalué par rapport aux lignes de base. Le tableau 4 liste les résultats de l'évaluation MUSHRA sur 4 Américains anglophones et 2 hispanophones :
Les résultats montrent que le codec vocal est la méthode privilégiée car il ne réduit pas la qualité, Et pour la plupart des paroles, cela améliore la qualité tout en fournissant une inférence plus rapide. Les chercheurs ont également déclaré que la combinaison de deux modèles génératifs puissants pour la modélisation de la parole est redondante et peut être simplifiée en abandonnant le décodeur de diffusion.
Puissance émergente : ablation des données et taille du modèle
Le tableau 1 présente tous les paramètres par systèmes BASE-small, BASE-medium et BASE-large :
Résultats du jugement d'expert linguiste pour les trois systèmes et chacun des les scores moyens de chaque catégorie sont présentés dans la figure 4 :
Dans les résultats MUSHRA du tableau 5, on peut remarquer que le naturel de la parole s'améliore considérablement de BASE-petit à BASE-moyen, mais de BASE-moyen à BASE - L'amélioration de large est plus petite :
BASE TTS par rapport à la référence de l'industrie
En général, BASE TTS génère la parole la plus naturelle, a le moins de désalignement avec le texte saisi et est le plus similaire au discours du locuteur de référence. Les résultats pertinents sont présentés dans le Tableau 6 et le Tableau 7 :
Amélioration de l'efficacité de la synthèse apportée par le codec vocal
Le codec vocal est capable de traiter en continu, c'est-à-dire de générer la parole de manière incrémentielle. manière. En combinant cette fonctionnalité avec SpeechGPT autorégressif, le système peut atteindre une latence du premier octet aussi faible que 100 millisecondes – suffisamment pour produire une parole intelligible avec seulement quelques codes vocaux décodés.
Cette latence minimale contraste fortement avec les décodeurs basés sur la diffusion, qui nécessitent que la séquence vocale entière (une ou plusieurs phrases) soit générée en une seule fois, avec une latence du premier octet égale au temps de génération total.
De plus, les chercheurs ont observé que le codec vocal rendait l'ensemble du système plus efficace sur le plan informatique d'un facteur 3 par rapport à la ligne de base de diffusion. Ils ont exécuté un benchmark qui a généré 1 000 instructions d'une durée d'environ 20 secondes avec une taille de lot de 1 sur un GPU NVIDIA® V100. En moyenne, un SpeechGPT comportant un milliard de paramètres utilisant un décodeur de diffusion prend 69,1 secondes pour terminer la synthèse, tandis que le même SpeechGPT utilisant un codec vocal ne prend que 17,8 secondes.
Pour plus de détails sur la recherche, veuillez vous référer à l'article original.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Mais peut-être qu’il ne pourra pas vaincre le vieil homme dans le parc ? Les Jeux Olympiques de Paris battent leur plein et le tennis de table suscite beaucoup d'intérêt. Dans le même temps, les robots ont également réalisé de nouvelles avancées dans le domaine du tennis de table. DeepMind vient tout juste de proposer le premier agent robot apprenant capable d'atteindre le niveau des joueurs amateurs humains de tennis de table de compétition. Adresse papier : https://arxiv.org/pdf/2408.03906 Quelle est la capacité du robot DeepMind à jouer au tennis de table ? Probablement à égalité avec les joueurs amateurs humains : tant en coup droit qu'en revers : l'adversaire utilise une variété de styles de jeu, et le robot peut également résister : recevoir des services avec des tours différents : Cependant, l'intensité du jeu ne semble pas aussi intense que le vieil homme dans le parc. Pour les robots, le tennis de table

Le 21 août, la Conférence mondiale sur les robots 2024 s'est tenue en grande pompe à Pékin. La marque de robots domestiques de SenseTime, "Yuanluobot SenseRobot", a dévoilé toute sa famille de produits et a récemment lancé le robot de jeu d'échecs Yuanluobot AI - Chess Professional Edition (ci-après dénommé "Yuanluobot SenseRobot"), devenant ainsi le premier robot d'échecs au monde pour le maison. En tant que troisième produit robot jouant aux échecs de Yuanluobo, le nouveau robot Guoxiang a subi un grand nombre de mises à niveau techniques spéciales et d'innovations en matière d'IA et de machines d'ingénierie. Pour la première fois, il a réalisé la capacité de ramasser des pièces d'échecs en trois dimensions. grâce à des griffes mécaniques sur un robot domestique et effectuer des fonctions homme-machine telles que jouer aux échecs, tout le monde joue aux échecs, réviser la notation, etc.

La rentrée scolaire est sur le point de commencer, et ce ne sont pas seulement les étudiants qui sont sur le point de commencer le nouveau semestre qui doivent prendre soin d’eux-mêmes, mais aussi les grands modèles d’IA. Il y a quelque temps, Reddit était rempli d'internautes se plaignant de la paresse de Claude. « Son niveau a beaucoup baissé, il fait souvent des pauses et même la sortie devient très courte. Au cours de la première semaine de sortie, il pouvait traduire un document complet de 4 pages à la fois, mais maintenant il ne peut même plus produire une demi-page. !" https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ dans un post intitulé "Totalement déçu par Claude", plein de

Lors de la World Robot Conference qui se tient à Pékin, l'exposition de robots humanoïdes est devenue le centre absolu de la scène. Sur le stand Stardust Intelligent, l'assistant robot IA S1 a réalisé trois performances majeures de dulcimer, d'arts martiaux et de calligraphie. un espace d'exposition, capable à la fois d'arts littéraires et martiaux, a attiré un grand nombre de publics professionnels et de médias. Le jeu élégant sur les cordes élastiques permet au S1 de démontrer un fonctionnement fin et un contrôle absolu avec vitesse, force et précision. CCTV News a réalisé un reportage spécial sur l'apprentissage par imitation et le contrôle intelligent derrière "Calligraphy". Le fondateur de la société, Lai Jie, a expliqué que derrière les mouvements soyeux, le côté matériel recherche le meilleur contrôle de la force et les indicateurs corporels les plus humains (vitesse, charge). etc.), mais du côté de l'IA, les données réelles de mouvement des personnes sont collectées, permettant au robot de devenir plus fort lorsqu'il rencontre une situation forte et d'apprendre à évoluer rapidement. Et agile

Les contributeurs ont beaucoup gagné de cette conférence ACL. L'ACL2024, d'une durée de six jours, se tient à Bangkok, en Thaïlande. ACL est la plus grande conférence internationale dans le domaine de la linguistique informatique et du traitement du langage naturel. Elle est organisée par l'Association internationale pour la linguistique informatique et a lieu chaque année. L'ACL s'est toujours classée première en termes d'influence académique dans le domaine de la PNL, et c'est également une conférence recommandée par le CCF-A. La conférence ACL de cette année est la 62e et a reçu plus de 400 travaux de pointe dans le domaine de la PNL. Hier après-midi, la conférence a annoncé le meilleur article et d'autres récompenses. Cette fois, il y a 7 Best Paper Awards (deux inédits), 1 Best Theme Paper Award et 35 Outstanding Paper Awards. La conférence a également décerné 3 Resource Paper Awards (ResourceAward) et Social Impact Award (

Cet après-midi, Hongmeng Zhixing a officiellement accueilli de nouvelles marques et de nouvelles voitures. Le 6 août, Huawei a organisé la conférence de lancement de nouveaux produits Hongmeng Smart Xingxing S9 et Huawei, réunissant la berline phare intelligente panoramique Xiangjie S9, le nouveau M7Pro et Huawei novaFlip, MatePad Pro 12,2 pouces, le nouveau MatePad Air, Huawei Bisheng With de nombreux nouveaux produits intelligents tous scénarios, notamment la série d'imprimantes laser X1, FreeBuds6i, WATCHFIT3 et l'écran intelligent S5Pro, des voyages intelligents, du bureau intelligent aux vêtements intelligents, Huawei continue de construire un écosystème intelligent complet pour offrir aux consommateurs une expérience intelligente du Internet de tout. Hongmeng Zhixing : Autonomisation approfondie pour promouvoir la modernisation de l'industrie automobile intelligente Huawei s'associe à ses partenaires de l'industrie automobile chinoise pour fournir

Intégration profonde de la vision et de l'apprentissage des robots. Lorsque deux mains de robot travaillent ensemble en douceur pour plier des vêtements, verser du thé et emballer des chaussures, associées au robot humanoïde 1X NEO qui a fait la une des journaux récemment, vous pouvez avoir le sentiment : nous semblons entrer dans l'ère des robots. En fait, ces mouvements soyeux sont le produit d’une technologie robotique avancée + d’une conception de cadre exquise + de grands modèles multimodaux. Nous savons que les robots utiles nécessitent souvent des interactions complexes et exquises avec l’environnement, et que l’environnement peut être représenté comme des contraintes dans les domaines spatial et temporel. Par exemple, si vous souhaitez qu'un robot verse du thé, le robot doit d'abord saisir la poignée de la théière et la maintenir verticalement sans renverser le thé, puis la déplacer doucement jusqu'à ce que l'embouchure de la théière soit alignée avec l'embouchure de la tasse. , puis inclinez la théière selon un certain angle. ce

Rédacteur du Machine Power Report : Yang Wen La vague d’intelligence artificielle représentée par les grands modèles et l’AIGC a discrètement changé notre façon de vivre et de travailler, mais la plupart des gens ne savent toujours pas comment l’utiliser. C'est pourquoi nous avons lancé la rubrique « AI in Use » pour présenter en détail comment utiliser l'IA à travers des cas d'utilisation de l'intelligence artificielle intuitifs, intéressants et concis et stimuler la réflexion de chacun. Nous invitons également les lecteurs à soumettre des cas d'utilisation innovants et pratiques. Oh mon Dieu, l'IA est vraiment devenue un génie. Récemment, la difficulté de distinguer l’authenticité des images générées par l’IA est devenue un sujet brûlant. (Pour plus de détails, veuillez consulter : IA utilisée | Devenez une beauté de l'IA en trois étapes et retrouvez votre forme originale par l'IA en une seconde) En plus de la populaire dame IA de Google sur Internet, divers générateurs de FLUX ont apparu sur les plateformes sociales
