國內團隊實現腦機介面「全譜漢語解碼」，Top 3準確率近乎100%的重大突破

今年八月，兩篇背靠背《自然》文章展示了腦機介面在語言恢復方面的強大能力，單現有的語言腦機接口技術多是為“英文等字母語言”體系構建而成，針對「漢字等非字母體系」的語言腦機介面系統研究仍是空白。

最近，先進神經晶片中心默罕默德·薩萬教授團隊，自然語言處理實驗室張岳教授團隊和朱君明教授團隊聯合發布了他們最新的研究結果，實現了腦機介面全譜漢語解碼，一定程度彌補了國際上漢語解碼腦機介面技術的空白。

圖片

論文網址：https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1

此研究透過立體定位腦電技術（SEEG）擷取所有國語漢字發音過程對應的大腦內神經活動訊號，結合深度學習演算法和語言模型，實現了對全譜漢字發音的解碼，建立起覆蓋所有漢語普通話字符發音的漢語腦機接口系統，實現了大腦活動到完整普通話句子的端到端輸出。

腦機接口解碼漢語

BCI，即腦機接口，被廣泛認可為未來生命科學和資訊技術的交叉融合領域的核心。這是一個具有重要社會價值和戰略意義的研究方向

腦機介面技術是一種新型的資訊傳輸管道，旨在為人類或動物的腦部與外部設備之間建立資訊交換的連結通路。它使得訊息可以繞過原有的肌肉及外圍神經通路，從而實現與外在世界的連通，從某種程度上取代人類的運動、語言等功能

漢語作為一種象形和音節結合的語言，具有超過50000個字符，與由26個字母組合而成的英語具有顯著不同，因此這對於現有的語言腦機接口系統來說是一個巨大的挑戰。

為了解決這個問題，研究團隊在過去三年裡深入分析了漢語的發音規則和特點。他們從漢語發音音節的聲母、聲調和韻母三個要素出發，並結合拼音輸入系統的特點，設計了一個全新的適用於漢語的語言腦機接口系統

研究小組創建了一個超過100小時的漢語語音-SEEG資料庫，他們設計了一個涵蓋所有407個漢語拼音音節以及漢語發音特點的語音庫，並同步收集了腦電信號

#該系統透過訓練人工智慧模型來建立預測模型，用於漢字發音音節三要素（聲母、聲調和韻母）的預測。最後，該系統透過語言模型將所有預測得到的元素進行整合，並結合語意資訊產生最可能的完整漢語句子

##圖片

研究小組對一個腦機介面系統在日常漢語環境中的解碼能力做了評估。在超過一百個隨機選擇的、由兩個字元到十五個字元組成的複雜交流場景的解碼測試中，所有參與者的字元錯誤率中位數平均為29%，有些參與者透過腦電解碼得到的句子完全正確率達到了30%

相對高效的解碼性能得益於三個獨立音節元素解碼器的優秀表現和智能語言模型的完美配合。特別的是在分類21個聲母方面，聲母解碼器的準確率超過了40%（超過3倍基準線），並且Top 3正確率幾乎達到了100%；而用於區分4個聲調的聲調解碼器的準確率也達到了50%（超過2倍基準線）。

智慧語言模型在整個語言腦機介面系統中表現突出，除了三個獨立音節元素解碼器的重要貢獻外，其強大的自動糾錯能力和上下文聯繫能力也扮演了關鍵角色

圖片

#這項研究為漢語這種意音文字語言的BCI解碼研究提供了全新視角，也證明了透過強大的語言模型可以顯著提高語言腦機介面系統的效能，為未來意音文字語言神經義肢研究提供了新的方向

這項工作的意義在於，它預示著神經系統疾病患者很快就能透過意念來控制電腦生成漢語句子，從而恢復溝通能力！

參考資料：

https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1

以上是國內團隊實現腦機介面「全譜漢語解碼」，Top 3準確率近乎100%的重大突破的詳細內容。更多資訊請關注PHP中文網其他相關文章！