Meta utilise la Bible pour former un modèle super multilingue : reconnaître 1107 langues et identifier 4017 langues

Il y a une histoire sur la Tour de Babel dans la Bible. On dit que les êtres humains se sont unis pour planifier la construction d'une haute tour, dans l'espoir de conduire au ciel, mais Dieu a confondu le langage humain et le langage humain. le plan était donc un échec. Aujourd’hui, la technologie de l’IA devrait faire tomber les barrières entre les langues humaines et aider l’humanité à créer une tour de Babel civilisée.

Récemment, une étude de Meta a fait un pas important vers cet aspect. Ils appellent la méthode nouvellement proposée Discours massivement multilingue (Super Multilingual Speech/MMS ), qui utilise la Bible dans le cadre des données d'entraînement et a obtenu les résultats suivants :

• formé avec wave2vec 2.0 sur 1107 langues et obtenu un Le multi-langue Le modèle de reconnaissance vocale avec 1 milliard de paramètres a un taux d'erreur réduit de plus de 50 % par rapport au modèle Whisper d'OpenAI.
• Un seul modèle de synthèse audio prend en charge la synthèse vocale (TTS) pour ces 1107 langues.
• a développé un classificateur de reconnaissance de langues capable d'identifier 4017 langues.

Comment Meta résout-il le problème de la rareté des données dans de nombreuses langues rares ? La méthode qu'ils ont utilisée est intéressante, utilisant des corpus religieux, car les corpus comme la Bible ont les données vocales les plus « alignées ». Bien que cet ensemble de données soit orienté vers le contenu religieux et présente principalement des voix masculines, l'article montre que le modèle fonctionne également bien dans d'autres domaines lorsqu'il utilise des voix féminines. C'est le comportement émergent du modèle de base, et c'est vraiment étonnant. Ce qui est encore plus étonnant, c'est que Meta a publié gratuitement tous les modèles nouvellement développés (reconnaissance vocale, TTS et reconnaissance linguistique) !

• Téléchargement du modèle : https://github.com/facebookresearch/fairseq/tree/main/examples/mms
• Adresse papier : https://research.facebook.com/publications/scaling-speech-technology-to-1000-linguals/#🎜🎜 #

Nouvelle méthode proposée

Afin de créer un modèle de parole capable de reconnaître des milliers de mots, le premier défi est Collectez des données audio dans différentes langues, car le plus grand ensemble de données vocales existant ne compte que 100 langues au maximum. Pour surmonter ce problème, les chercheurs Meta ont utilisé des textes religieux, tels que la Bible, qui ont été traduits dans de nombreuses langues différentes, et ces traductions ont été largement étudiées. Ces traductions contiennent des enregistrements audio de personnes qui les lisent dans différentes langues, et ces audios sont également accessibles au public. À l’aide de ces audios, les chercheurs ont créé un ensemble de données contenant des enregistrements audio de personnes lisant le Nouveau Testament dans 1 100 langues, avec une durée audio moyenne de 32 heures par langue.

Ils ont ensuite inclus des enregistrements non annotés de nombreuses autres lectures chrétiennes, augmentant ainsi le nombre de langues disponibles à plus de 4 000. Bien que le champ de cet ensemble de données soit unique et se compose principalement de voix masculines, les résultats de l’analyse montrent que le modèle nouvellement développé par Meta fonctionne tout aussi bien sur les voix féminines et que le modèle n’est pas particulièrement orienté vers la production d’un langage plus religieux. Les chercheurs ont déclaré dans le blog que cela est principalement dû à la méthode de classification temporelle connexionniste qu'ils ont utilisée, qui est de loin supérieure aux grands modèles de langage (LLM) ou aux modèles de reconnaissance vocale séquence à séquence plus restreints.

Analyse des situations potentielles de préjugés sexistes. Sur le benchmark FLEURS, ce modèle de reconnaissance vocale automatique formé sur l'ensemble de données Multilingual Speech (MMS) présente des taux d'erreur similaires pour les voix masculines et féminines.

Afin d'améliorer la qualité des données afin qu'elles puissent être utilisées par des algorithmes d'apprentissage automatique, ils ont également adopté certaines méthodes de prétraitement. Tout d’abord, ils ont formé un modèle d’alignement sur des données existantes provenant de plus de 100 langues, puis l’ont associé à un algorithme d’alignement forcé efficace capable de gérer de très longs enregistrements de plus de 20 minutes. Ensuite, après plusieurs cycles de processus d'alignement, une dernière étape de filtrage de validation croisée est effectuée pour supprimer les données potentiellement mal alignées en fonction de la précision du modèle. Afin de permettre à d'autres chercheurs de créer de nouveaux ensembles de données vocales, Meta a ajouté l'algorithme d'alignement à PyTorch et a publié le modèle d'alignement.

Pour former un modèle de reconnaissance vocale supervisée universellement utilisable, 32 heures de données par langue ne suffisent pas. Par conséquent, leur modèle est développé sur la base de wav2vec 2.0, qui correspond à leurs recherches antérieures sur l'apprentissage auto-supervisé de la représentation vocale, ce qui peut réduire considérablement la quantité de données étiquetées requises pour la formation. Plus précisément, les chercheurs ont formé un modèle auto-supervisé en utilisant environ 500 000 heures de données vocales dans plus de 1 400 langues, soit plus de cinq fois plus de langues que n'importe quelle étude précédente. Ensuite, sur la base de tâches vocales spécifiques (telles que la reconnaissance vocale multilingue ou la reconnaissance linguistique), les chercheurs affinent le modèle résultant.

Résultats

Les chercheurs ont évalué le modèle nouvellement développé sur certains critères existants.

La formation de son modèle de reconnaissance vocale multilingue utilise le modèle wav2vec 2.0 avec 1 milliard de paramètres, et l'ensemble de données de formation contient plus de 1 100 langues. Les performances du modèle diminuent effectivement à mesure que le nombre de langues augmente, mais la diminution est très faible : lorsque le nombre de langues passe de 61 à 1 107, le taux d'erreur de caractère n'augmente que de 0,4 %, mais la couverture linguistique augmente de plus. plus de 18 fois.

Sur le test de référence de 61 langues FLEURS, le taux d'erreur sur les caractères évolue à mesure que le nombre de langues augmente. Plus le taux d'erreur est élevé, plus le modèle est mauvais.

En comparant le modèle Whisper d'OpenAI, les chercheurs ont découvert que le taux d'erreur de mot de leur modèle n'était que la moitié de celui de Whisper, tandis que le nouveau modèle prenait en charge 11 fois plus de langues. Ce résultat démontre les capacités supérieures de la nouvelle méthode.

Comparaison des taux d'erreur de mots entre OpenAI Whisper et MMS sur un benchmark directement comparable de 54 langages FLEURS.

Ensuite, en utilisant des ensembles de données existants (tels que FLEURS et CommonVoice) et de nouveaux ensembles de données, les méta-chercheurs ont également formé un modèle d'identification de langue (LID) et l'ont évalué sur la tâche FLEURS LID. Les résultats montrent que non seulement le nouveau modèle est très performant, mais qu’il prend également en charge 40 fois plus de langues.

Des recherches précédentes ne prenaient également en charge que plus de 100 langues sur le benchmark VoxLingua-107, tandis que MMS prend en charge plus de 4 000 langues.

De plus, Meta a également construit un système de synthèse vocale prenant en charge 1 100 langues. Les données d'entraînement pour les modèles actuels de synthèse vocale sont généralement le corpus vocal d'un seul locuteur. Une limitation des données MMS est que de nombreuses langues n’ont qu’un petit nombre de locuteurs, souvent même un seul locuteur. Cependant, cela est devenu un avantage lors de la création d'un système de synthèse vocale, Meta a donc construit un système TTS prenant en charge plus de 1 100 langues. Les chercheurs affirment que la qualité de la parole générée par ces systèmes est en réalité assez bonne, et plusieurs exemples sont donnés ci-dessous.

Démo du modèle de synthèse vocale MMS pour les langues yoruba, iroko et maithili.

Cependant, les chercheurs affirment que la technologie de l’IA n’est toujours pas parfaite, et il en va de même pour le MMS. Par exemple, MMS peut mal transcrire des mots ou des phrases sélectionnés lors de la synthèse vocale. Cela peut entraîner un langage offensant et/ou inexact dans le résultat. Les chercheurs ont souligné l’importance de travailler avec la communauté de l’IA pour se développer de manière responsable.

Prendre en charge la valeur de mille mots avec un seul modèle

De nombreuses langues dans le monde sont sur le point de disparaître, et les limites de la technologie actuelle de reconnaissance vocale et de génération vocale ne feront qu'accélérer encore cette tendance. Le chercheur a imaginé dans son blog : Peut-être que la technologie peut encourager les gens à conserver leur propre langue, car avec une bonne technologie, ils peuvent utiliser leur langue préférée pour obtenir des informations et utiliser la technologie.

Ils estiment que le projet MMS est une étape importante dans cette direction. Ils ont également déclaré que le projet continuerait à se développer et prendrait en charge davantage de langues à l'avenir, et résoudrait même les problèmes de dialectes et d'accents.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!