중요한 돌파구! Westlake University 팀과 Zhejiang Second Hospital은 뇌-컴퓨터 인터페이스의 중국어 디코딩을 공동으로 실현했습니다.

첨단신경칩센터 Mohammed Sawan 교수팀, Zhang Yue 교수팀, 자연어처리연구소 Zhu Junming 교수팀이 공동으로 최신 연구 결과를 발표했습니다. “로고음절 언어를 위해 설계된 고성능 뇌-문장 커뮤니케이션" 본 연구는 뇌-컴퓨터 인터페이스를 통해 전범위 중국어 해독을 실현했으며, 이는 국제 중국어 해독 뇌-컴퓨터 인터페이스 기술의 격차를 어느 정도 메워줍니다.

BCI(Brain-Computer Interface)는 생명과학과 정보기술의 미래 교차와 통합을 위한 주요 전장으로 인식되어 중요한 사회적 가치와 전략적 중요성을 지닌 연구 방향입니다.

뇌-컴퓨터 인터페이스 기술은 인간이나 동물의 뇌와 외부 장치 간의 정보 교환을 위한 연결 경로를 만드는 것을 의미하며, 그 본질은 정보가 원래의 근육 및 말초 신경 경로를 우회하여 정보를 전달하는 새로운 형태의 정보 전달 채널입니다. 외부 세계와의 연결은 인간의 움직임, 언어 및 기타 기능을 어느 정도 대체합니다.

뇌-컴퓨터 인터페이스 풀 스펙트럼 중국어 디코더의 설계 및 성능

올해 8월, Nature에 연이어 게재된 두 편의 기사는 언어 회복에 있어서 뇌-컴퓨터 인터페이스의 힘을 보여주었습니다. 그러나 기존의 언어 뇌-컴퓨터 인터페이스 기술은 대부분 영어 등 알파벳 언어 시스템용으로 구축되어 있으며, 한자 등 비알파벳 시스템을 위한 언어 뇌-컴퓨터 인터페이스 시스템에 대한 연구는 아직까지 공백 상태이다.

본 연구에서 연구팀은 정위뇌파검사(SEEG)를 사용해 모든 중국어 문자의 발음 과정에 해당하는 뇌의 신경 활동 신호를 수집하고 딥러닝 알고리즘 및 언어 모델을 결합하여 전체 스펙트럼의 디코딩을 달성했습니다. 한자 발음 모든 중국어 중국어 문자의 발음을 포괄하는 중국어 뇌-컴퓨터 인터페이스 시스템이 구축되어 뇌 활동에서 중국어 문장을 완성하는 엔드투엔드 출력을 달성합니다.

중국어는 그림문자와 음절이 결합된 언어로 50,000자가 넘는데, 이는 26개의 문자로 구성된 영어와 크게 다릅니다. 따라서 이는 기존 언어 두뇌-컴퓨터 인터페이스 시스템에 큰 도전입니다. 이 문제를 해결하기 위해 연구팀은 지난 3년간 중국어 자체의 발음 규칙과 특성에 대한 심층적인 분석을 진행했다. 중국어 발음 음절의 초성, 성조, 종성 3요소에서 시작하여 병음 입력 시스템의 특성을 결합하여 중국어에 적합한 새로운 언어 뇌-컴퓨터 인터페이스 시스템을 설계했습니다. 연구팀은 중국어 병음 407음절과 중국어 발음 특성을 모두 포괄하는 음성 데이터베이스를 설계하는 동시에 뇌파 신호를 수집해 100시간 이상의 중국어 음성-SEEG 데이터베이스를 구축했다. 인공지능 모델 학습을 통해 한자 발음 음절의 3개 요소(초성, 성조, 종성 포함)에 대한 예측 모델을 구축하고 최종적으로 예측된 ​​모든 요소를 ​​언어 모델을 통해 통합하여 의미 정보를 결합하여 가장 가능성 있는 단어를 생성합니다. 중국어 문장을 완성하세요.

연구팀은 시뮬레이션된 일상 중국어 환경에서 이 뇌-컴퓨터 인터페이스 시스템의 디코딩 능력을 평가했습니다. 2~15자의 무작위로 선택된 100개 이상의 복잡한 의사소통 장면 디코딩 테스트를 거친 후 모든 참가자의 평균 문자 오류율은 29%에 불과했으며 일부 참가자는 EEG 디코딩을 통해 완전히 정확한 문장을 얻었습니다. 상대적으로 효율적인 디코딩 성능은 3개의 독립적인 음절 요소 디코더의 뛰어난 성능과 지능형 언어 모델의 완벽한 협력을 통해 이점을 얻습니다. 특히 초성 21개의 자음을 분류하는데 있어서 초성자음해독기의 정확도는 40%를 초과(기준치의 3배 이상)하고, 성조해독기는 4성을 구별하는데 사용되는 반면 Top 3의 정확도는 거의 100%에 달한다. 정확도도 50%(기준치의 2배 이상)에 이르렀다. 3개의 독립 음절 요소 디코더의 뛰어난 공헌 외에도 지능형 언어 모델의 강력한 자동 오류 수정 기능과 문맥 연결 기능도 전체 언어 두뇌-컴퓨터 인터페이스 시스템의 성능을 더욱 탁월하게 만듭니다.

이 연구는 음성 언어인 중국어의 BCI 해독 연구에 새로운 관점을 제공하고, 강력한 언어 모델을 통해 언어 뇌-컴퓨터 인터페이스 시스템의 성능이 크게 향상될 수 있음을 입증하여 음성 언어 신경 보철물에 대한 향후 연구를 제공합니다. .새로운 방향. 이 연구는 또한 신경질환 환자들이 머지않아 컴퓨터로 생성된 중국어 문장을 자신의 생각으로 제어하고 의사소통 능력을 회복할 수 있게 될 것임을 시사합니다!

참고 콘텐츠

https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1.full.pdf

위 내용은 중요한 돌파구! Westlake University 팀과 Zhejiang Second Hospital은 뇌-컴퓨터 인터페이스의 중국어 디코딩을 공동으로 실현했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!