국내 팀, 거의 100%에 달하는 상위 3위 정확도로 획기적인 돌파구인 뇌-컴퓨터 인터페이스 '전 스펙트럼 중국어 디코딩' 실현

올해 8월 연속된 두 개의 "Nature" 기사에서는 언어 복구에 있어 뇌-컴퓨터 인터페이스의 강력한 기능을 시연했습니다. 기존 언어 두뇌-컴퓨터 인터페이스 기술의 대부분은 "영어 및 기타 알파벳 언어" 시스템용으로 구축되었습니다. , '를 목표로 한자와 같은 비알파벳 시스템을 위한 언어 뇌-컴퓨터 인터페이스 시스템에 대한 연구는 아직 공백 상태입니다.

최근 첨단신경칩센터 Mohammad Sawan 교수팀, Zhang Yue 교수팀, 자연어처리연구소 Zhu Junming 교수팀이 공동으로 풀스펙트럼 중국어 뇌-컴퓨터 인터페이스를 구현하는 최신 연구 결과를 발표했습니다. 해독은 국제 중국어 해독 뇌-컴퓨터 인터페이스 기술의 격차를 어느 정도 메워줍니다. ㅋㅋㅋ 신경 한자의 발음 과정에 대응하는 뇌의 활동 신호를 딥러닝 알고리즘 및 언어 모델과 결합하여 한자 발음의 전체 스펙트럼을 해독하고 모든 중국어 발음을 포괄하는 중국어 뇌-컴퓨터 인터페이스 시스템을 구축했습니다. 중국어 문자, 두뇌 활동을 실현하여 중국어 문장의 엔드투엔드 출력을 완성합니다.

뇌-컴퓨터 인터페이스 디코딩 중국어BCI, 즉 두뇌-컴퓨터 인터페이스는 생명과학과 정보 기술의 미래 교차 통합 분야의 핵심으로 널리 인식되고 있습니다. 이는 사회적 가치와 전략적 중요성이 중요한 연구 방향입니다

뇌-컴퓨터 인터페이스 기술은 인간이나 동물의 두뇌와 외부 장치 간의 정보 교환을 위한 연결 경로 구축을 목표로 하는 새로운 유형의 정보 전달 채널입니다. 정보가 원래의 근육과 말초 신경 경로를 우회하여 외부 세계와 연결되도록 하고, 동작, 언어 등 인간의 기능을 어느 정도 대체합니다. 50,000자는 26자로 구성된 영어와 크게 다르기 때문에 기존 언어 뇌-컴퓨터 인터페이스 시스템에는 큰 도전입니다.

이 문제를 해결하기 위해 연구팀은 지난 3년간 중국어의 발음 규칙과 특성에 대한 심층 분석을 진행했습니다. 중국어 발음 음절의 초성, 성조, 종성의 3가지 요소에서 시작하여 병음 입력 시스템의 특성을 결합하여 중국어에 적합한 새로운 언어 뇌-컴퓨터 인터페이스 시스템을 설계했습니다

연구팀은 100시간 이상 소요된 중국어 음성-SEEG 데이터베이스 시스템으로 중국어 병음 407음절과 중국어 발음 특성을 모두 포괄하는 음성 라이브러리를 설계하고 동시에 뇌파 신호를 수집했습니다

시스템은 인공지능 모델을 훈련시켜 예측 모델을 구축합니다. , 한자 발음 음절의 3요소(초성, 성조, 종성) 예측을 이용합니다. 마지막으로 시스템은 언어 모델을 통해 예측된 모든 요소를 ​​통합하고 의미 정보를 결합하여 가장 가능성이 높은 완전한 중국어 문장을 생성합니다.

pictures

연구팀은 일상 생활에서 뇌-컴퓨터 인터페이스 시스템을 사용합니다. 중국어를 사용하는 환경에서 능력을 평가했습니다. 2~15자로 구성된 복잡한 통신 시나리오에 대해 무작위로 선택된 100개 이상의 디코딩 테스트에서 전체 참가자의 문자 오류율 중앙값은 평균 29%였으며 일부는 EEG로 디코딩되었습니다. 얻은 문장의 완전 정확도는 30%입니다

상대적으로 효율적인 디코딩 성능은 세 개의 독립적인 음절 요소 디코더의 뛰어난 성능과 지능형 언어 모델의 완벽한 협력을 통해 이점을 얻습니다. 특히 초성 21개의 자음을 분류하는데 있어서 초성자음해독기의 정확도는 40%를 초과(기준치의 3배 이상)하고, 성조해독기는 4성을 구별하는데 사용되는 반면 Top 3의 정확도는 거의 100%에 달한다. 정확도도 50%(기준치의 2배 이상)에 이르렀다.

지능형 언어 모델은 전체 언어 뇌-컴퓨터 인터페이스 시스템에서 뛰어난 성능을 발휘하며, 세 개의 독립적인 음절 요소 디코더의 중요한 기여 외에도 강력한 자동 오류 수정 기능과 문맥 연결 기능도 중요한 역할을 합니다.

Pictures

이번 연구는 음성언어인 중국어의 BCI 해독 연구에 대한 새로운 관점을 제시하고, 강력한 언어 모델을 통해 언어 뇌-컴퓨터 인터페이스 시스템의 성능이 획기적으로 향상될 수 있음을 입증했습니다. , 미래를 위한 기반 마련 음성 및 문자 언어 신경보철 연구로 새로운 방향 제시

이 연구의 의의는 신경질환 환자들이 머지않아 컴퓨터로 생성된 중국어 문장을 자신의 생각을 통해 제어할 수 있게 될 것이라는 점을 시사한 것입니다. , 이를 통해 의사소통 능력을 회복합니다!

참고자료:

https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1

위 내용은 국내 팀, 거의 100%에 달하는 상위 3위 정확도로 획기적인 돌파구인 뇌-컴퓨터 인터페이스 '전 스펙트럼 중국어 디코딩' 실현의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!