Une équipe nationale réalise une interface cerveau-ordinateur de « décodage chinois à spectre complet », une avancée majeure avec un taux de précision dans le Top 3 de près de 100 %

En août de cette année, deux articles consécutifs dans « Nature » ​​ont démontré les puissantes capacités des interfaces cerveau-ordinateur dans la récupération du langage. La plupart des technologies d'interface cerveau-ordinateur linguistiques existantes sont conçues pour les systèmes « anglais et autres langues alphabétiques ». , ciblant « La recherche sur les systèmes d'interface langage cerveau-ordinateur pour les systèmes non alphabétiques tels que les caractères chinois est encore vierge.

Récemment, l'équipe du professeur Mohammad Sawan du Center for Advanced Neural Chips, l'équipe du professeur Zhang Yue et l'équipe du professeur Zhu Junming du Natural Language Processing Laboratory ont publié conjointement leurs derniers résultats de recherche, réalisant une interface cerveau-ordinateur en langue chinoise à spectre complet. Le décodage, dans une certaine mesure, comble le vide de la technologie internationale de décodage chinois de l'interface cerveau-ordinateur.

Photos

Adresse papier : https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1

Cette étude rassemble tous les locuteurs de mandarin grâce à la technologie d'électroencéphalographie stéréotaxique (SEEG) neuronal les signaux d'activité dans le cerveau correspondant au processus de prononciation des caractères chinois, combinés à des algorithmes d'apprentissage profond et à des modèles de langage, ont permis de décoder le spectre complet de la prononciation des caractères chinois et d'établir un système d'interface cerveau-ordinateur chinois couvrant la prononciation de tous les chinois. Caractères mandarin et activité cérébrale réalisée pour compléter la sortie de bout en bout des phrases en mandarin.

Interface cerveau-ordinateur décodant le chinois

BCI, ou interface cerveau-ordinateur, est largement reconnue comme le cœur du futur domaine d'intégration croisée des sciences de la vie et des technologies de l'information. Il s'agit d'une direction de recherche ayant une valeur sociale importante et une importance stratégique

La technologie d'interface cerveau-ordinateur est un nouveau type de canal de transmission d'informations, visant à établir un chemin de connexion pour l'échange d'informations entre le cerveau humain ou animal et des appareils externes. Il permet aux informations de contourner les muscles d'origine et les voies nerveuses périphériques, établissant ainsi une connexion avec le monde extérieur et, dans une certaine mesure, remplaçant les fonctions humaines telles que le mouvement et le langage. Le chinois est une langue qui combine des pictogrammes et des syllabes. 50 000 caractères est très différent de l'anglais, qui est composé de 26 lettres. Il s'agit donc d'un énorme défi pour les systèmes d'interface langage cerveau-ordinateur existants.

Afin de résoudre ce problème, l'équipe de recherche a mené une analyse approfondie des règles de prononciation et des caractéristiques du chinois au cours des trois dernières années. En partant des trois éléments que sont les consonnes initiales, les tons et les finales des syllabes de prononciation chinoise, et en combinant les caractéristiques du système de saisie Pinyin, ils ont conçu un tout nouveau système d'interface cerveau-ordinateur adapté au chinois

L'équipe de recherche a créé un système qui a pris plus de 100 heures de base de données vocale chinoise-SEEG, ils ont conçu une bibliothèque vocale couvrant les 407 syllabes chinoises Pinyin et les caractéristiques de prononciation chinoise, et ont simultanément collecté des signaux EEG

Le système construit un modèle de prédiction en entraînant un modèle d'intelligence artificielle , en utilisant la prédiction des trois éléments des syllabes de prononciation des caractères chinois (consonnes initiales, tons et finales). Enfin, le système intègre tous les éléments prédits via un modèle linguistique et combine des informations sémantiques pour générer la phrase chinoise complète la plus probable

images

L'équipe de recherche a mené une étude sur un système d'interface cerveau-ordinateur dans vie quotidienne La capacité de décodage a été évaluée dans un contexte chinois. Dans plus d'une centaine de tests de décodage sélectionnés au hasard de scénarios de communication complexes composés de deux à quinze caractères, le taux d'erreur médian sur les caractères pour tous les participants était en moyenne de 29 %, certains participants décodant par EEG. La phrase obtenue a un taux d'exactitude complet de 30 %

Les performances de décodage relativement efficaces bénéficient des excellentes performances des trois décodeurs d'éléments syllabiques indépendants et de la parfaite coopération du modèle de langage intelligent. En particulier, lors de la classification de 21 consonnes initiales, la précision du décodeur de consonnes initiales dépasse 40 % (plus de 3 fois la ligne de base), et le taux de précision du Top 3 atteint presque 100 % tandis que le décodeur de tonalité est utilisé pour distinguer 4 tonalités. le taux a également atteint 50 % (plus de 2 fois le niveau de référence).

Le modèle de langage intelligent a des performances exceptionnelles dans l'ensemble du système d'interface cerveau-ordinateur du langage. En plus de la contribution importante des trois décodeurs d'éléments syllabiques indépendants, ses puissantes capacités de correction automatique des erreurs et ses capacités de connexion contextuelle jouent également un rôle clé.

Pictures

Cette recherche offre une nouvelle perspective sur la recherche sur le décodage BCI en chinois, une langue phonétique, et prouve également que les performances des systèmes d'interface langage cerveau-ordinateur peuvent être considérablement améliorées grâce à de puissants modèles de langage. , jetant les bases de l'avenir La recherche sur les neuroprothèses phonétiques et du langage écrit ouvre une nouvelle direction

L'importance de ce travail est qu'il indique que les patients atteints de maladies neurologiques seront bientôt capables de contrôler les phrases chinoises générées par ordinateur grâce à leurs pensées , rétablissant ainsi leur capacité à communiquer !

Référence :

https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!