UC Berkeley 뇌-컴퓨터 인터페이스 혁신: 뇌파를 사용하여 음악을 재생하고 언어 장애가 있는 사람들에게 좋은 소식을 전합니다!

뇌-컴퓨터 인터페이스 시대에는 매일 새로운 장치가 등장합니다.

오늘은 뇌 이식 음악이라는 네 단어를 소개합니다.

구체적으로는 먼저 AI를 사용하여 특정 음악이 사람의 뇌에서 어떤 종류의 전파를 생성하는지 관찰한 다음 달성해야 하는 사람의 뇌에서 이 전파의 활동을 직접 시뮬레이션하는 것입니다. 치료 특정 유형의 질병의 목적.

몇 년 전 Albany Medical Center를 되돌아보고 그곳의 신경과학자들이 어떻게 연구를 수행했는지 살펴보겠습니다.

언어 장애가 있는 사람들을 위한 좋은 소식!

Albany Medical Center에서는 "The Other Wall"이라는 음악이 천천히 흘러 병실 전체를 가득 채웠습니다

침대에 누워 간질 수술을 준비하는 환자들, 의사는 아니지만 듣고 있습니다.

신경과학자들이 함께 모여 컴퓨터 화면에 표시된 환자의 뇌파 활동을 관찰했습니다.

주요 관찰은 뇌의 일부 영역이 음악에 고유한 것을 듣는다는 것입니다. 그런 다음 결과적인 전극 활동을 사용하여 녹음된 내용이 있는지 확인했습니다. 전극 활동은 그들이 듣고 있던 음악을 재현할 수 있었습니다.

앞서 언급한 내용에서 음악에 관련된 요소로는 음높이, 리듬, 화성, 가사가 있습니다

본 연구는 10년 넘게 진행되었습니다. 캘리포니아 대학교 버클리 캠퍼스의 신경과학자들은 실험에 참여한 29명의 간질 환자의 데이터를 자세히 분석하여 환자 뇌의 전극 활동 결과를 바탕으로 음악을 성공적으로 재구성할 수 있었습니다. 현재 노래 중 하나인 'All in all it was just a brick in the wall'은 가사가 너무 명확하지는 않지만 매우 완전한 리듬을 가지고 있지만, 해독할 수 있고 혼란스럽지 않다고 연구진은 말했습니다.

그리고 이 노래는 과학자들이 뇌 전극 활동을 통해 노래를 재구성하는 데 성공한 최초의 사례이기도 합니다.

결과에 따르면 뇌파를 녹음하고 비활성화하면 일부 음악적 요소와 음절을 포착할 수 있습니다.

이러한 음악적 요소는 리듬, 강세, 종지 등을 포함하여 전문적인 용어로 운율이라고 부를 수 있습니다. 이러한 요소의 의미는 단어만으로는 전달될 수 없습니다

또한 이러한 두개내 뇌전도(iEEG)는 뇌의 표면층(예: 청각 센터에 가장 가까운 부분)에서 일어나는 활동만 기록하기 때문에 이런 식으로 무슨 노래를 듣고 있는지 누가 엿들을까 걱정할 필요는 없어요(웃음)

하지만 뇌졸중을 앓고 있거나 마비가 있어서 의사소통에 어려움을 겪는 사람들에게는 이런 종류의 뇌 표면의 전극 활동을 재현하여 작품의 음악성을 재현하는 데 도움을 줄 수 있습니다.

분명히 이것은 로봇적이고 무표정한 이전 버전보다 훨씬 낫습니다. 위에서도 말했듯이, 우리가 듣는 것은 말만으로는 부족한 부분이 있습니다.

헬렌 윌스 신경과학연구소의 신경과학자인 로버트 나이트(Robert Knight) 캘리포니아 버클리대학교 심리학과 교수는 이것이 놀라운 결과라고 말했습니다.

"나에게 있어서 음악의 매력 중 하나는 음악이 표현하는 감정적인 내용과 전주곡에 있습니다. 그리고 뇌-컴퓨터 인터페이스 분야의 지속적인 혁신을 통해 이 기술은 다음을 통해 도움이 필요한 사람들에게 제공될 수 있습니다. 이식 방법은 음악만이 제공할 수 있는 것을 제공합니다. 청중에는 ALS 환자, 간질 환자, 즉 언어 출력 신경에 영향을 미치는 질병이 있는 사람이 포함될 수 있습니다. "

즉, 이제 우리는 그 이상을 할 수 있습니다. 단지 언어 그 자체일 뿐이고, 말로 표현되는 감정은 음악에 비하면 조금 얇아 보일 수도 있습니다. 이제부터 우리는 진정한 해석의 여정을 시작했다고 믿습니다

뇌파 기록 기술이 발전하면 언젠가는 뇌를 열지 않고도 두피에 부착된 전극을 통해 기록할 수 있게 될 것입니다.

Knight는 현재의 두피 뇌파 검사가 이미 여러 글자 중 한 글자를 감지하는 등 일부 뇌 활동을 측정하고 기록할 수 있다고 말했습니다. 그다지 효율적이지는 않지만 각 글자당 최소 20초가 소요되지만 아직은 시작 단계입니다.

두피 전극을 활발하게 개발하는 이유는 현재 비침습적 기술의 숙련도가 부족하기 때문입니다. 즉, 개두술 측정은 100% 안전할 수 없습니다. 특히 심부 뇌 측정의 경우 두피 전극의 측정 정확도는 여전히 개선되어야 합니다. 어느 정도 성공했다고 할 수 있지만 완전히는 아닙니다

마음을 읽을 수 있나요?

직답은: 아니오입니다.

예를 들어, 언어 장애가 있는 사람들에게 뇌-컴퓨터 인터페이스 기술은 뇌파의 활동을 포착하여 이 "키보드"를 사용하여 자신이 원하는 것을 입력하고 표현할 수 있는 것과 같습니다. 표현하고 싶다.

예를 들어 호킹이 사용한 장치는 뇌파를 캡처하여 로봇 음성의 음성을 생성하는 것이었습니다.

유추하면 이해할 수 있을 것입니다. 이 "키보드"만 보면 무슨 생각을 하는지 알 수 없습니다. 이제 기술을 통해 키보드를 활성화하고 음성을 출력할 수 있습니다. 아무도 타이핑하려고 하지 않으면 키보드가 작동하지 않고 무슨 생각을 하는지 알 수 없습니다

그래서 마음 읽기는 불가능합니다

실험 내용

아래 그림을 참조하세요, 그림 A 실험에 사용된 곡들의 전체적인 파형을 보여줍니다. 아래 그림 A는 노래의 청각 스펙트로그램입니다. 상단의 주황색 막대는 보컬의 존재를 나타냅니다. 그림 B는 엑스레이를 받는 환자의 전극 범위를 보여줍니다. 각 점은 전극을 나타냅니다.

그림 C는 그림 B의 4개 전극의 전극 신호를 보여줍니다. 동시에 그림은 70~150Hz

주파수의 검은색 짧은 선으로 표시되는 노래 자극에 의해 유발된 고주파 활동(HFA)도 보여줍니다. 그림 D는 짧은 섹션(10 초) 재생 중 확대된 청각 스펙트로그램 및 전극 신경 활동 맵의 노래. HFA의 시점이 스펙트로그램에서 표시된 각 직사각형의 오른쪽에 있는 빨간색 선과 일치하는 것을 관찰할 수 있습니다

이러한 쌍은 연구자가 인코딩 모델을 훈련하고 평가하는 데 사용하는 예를 구성합니다.

연구원의 실험 결과는 아래 그림과 같이 디코딩 모델에서 예측 변수로 사용되는 전극의 수와 예측 정확도 사이에 로그 관계가 있음을 보여줍니다.

예를 들어 43개의 전극을 사용하여 80%(또는 12.4%)의 최고의 예측 정확도를 얻습니다(최고의 예측 정확도는 347개의 전극을 모두 사용한 결과입니다).

개별 환자에서도 동일한 관계가 관찰되었는데, 연구진이 발견한 내용은 다음과 같습니다.

추가적으로, 부트스트래핑 분석을 통해 연구자들은 데이터 세트의 지속 시간과 예측 정확도 사이의 유사한 관계를 관찰했습니다. 수치적 관계는 다음과 같습니다. 아래 그림에서.

예를 들어 69초(전체 길이의 36.1%) 길이의 데이터를 사용하면 90%의 최고 성능을 얻을 수 있습니다(최고 성능이란 노래 전체를 사용하는 것을 말합니다). 190.72초 길이) 데이터 파생)

모델 유형과 관련하여 선형 디코딩의 평균 디코딩 정확도는 0.325인 반면, 2계층 완전 연결 신경망을 사용한 비선형 디코딩의 평균 디코딩 정확도는 0.429입니다.

전반적으로 선형 음악 노래 재구성(오디오 S2)은 일부 음악적 요소(보컬 음절 및 리드 기타 참조)의 존재에 대한 강한 리듬 단서와 함께 지루하게 들리지만 다른 요소에 대한 인식은 제한적일 수 있습니다.

비선형 노래 재구성(Audio S3)은 선형 재구성에 비해 더 풍부한 디테일로 인식 가능한 노래를 재현합니다. 음높이, 음색과 같은 스펙트럼 요소의 지각 품질이 크게 향상되고 음소 특성을 더욱 명확하게 식별할 수 있습니다. 선형 재구성에 존재하는 일부 인식 사각지대도 어느 정도 개선되었습니다

다음은 그림입니다.

그래서 연구진은 비선형 모델을 사용하여 29번째 61개의 전극을 통해 노래를 재구성했습니다. 인내심 있는 .

이 모델의 성능은 모든 환자 전극을 기반으로 한 선형 재구성보다 우수하지만 디코딩 정확도는 모든 환자의 347개 전극을 사용하여 얻은 것만큼 좋지 않습니다.

인식 측면에서 이러한 이 모델은 연구자들이 노래(Audio S4)를 식별할 수 있을 만큼 충분히 높은 스펙트럼-시간적 세부 정보를 제공했습니다.

동시에 단일 환자를 기반으로 디코딩의 하한을 평가하기 위해 연구원들은 단일 환자를 기반으로 합니다. 추가 환자 3명의 뇌에서 신경 활동을 수집한 결과, 이 3명의 환자의 전극 수는 각각 23개, 17개, 10개로 더 적었지만, 위에서 언급한 29번째 환자의 전극 수는 61개였으며 전극 밀도도 상대적으로 낮습니다. 물론, 노래의 응답 영역은 여전히 ​​커버되고 있으며, 선형 디코딩의 정확도도 좋은 것으로 간주됩니다.

재구성된 파형(오디오 파일 S5, S6 및 S7)에서 연구원들은 인간 목소리의 일부를 검색했습니다. 그런 다음 원곡의 스펙트로그램을 디코딩된 노래와 연관시켜 디코딩된 노래의 인식 가능성을 정량화했습니다.

선형 재구성(아래 그림 A)과 비선형 재구성(아래 그림 B) 모두 더 높은 비율의 정확한 인식률을 제공합니다.

또한 연구원들은 347개의 중요한 전극 모두의 STRF(스펙트럼-시간적 수용장) 계수를 분석하여 다양한 뇌 영역에서 다양한 음악 요소의 인코딩을 평가했습니다.

이 분석은 뚜렷한 스펙트럼 및 시간적 튜닝 패턴을 보여줍니다.

노래 스펙트로그램과 신경 활동 간의 관계를 완전히 특성화하기 위해 연구원들은 모든 중요한 STRF에 대해 독립 구성 요소 분석(ICA)을 수행했습니다.

연구원들은 아래 그림과 같이 스펙트럼-시간적 튜닝 패턴이 서로 다른 3개의 구성 요소를 발견했으며, 각 구성 요소의 분산 설명률은 5%를 초과했으며 전체 분산 설명률은 52.5%에 도달했습니다.

첫 번째 부분(설명된 분산 28%)은 약 500Hz~7000Hz의 넓은 주파수 범위에 분포된 양의 계수 클러스터와 HFA가 관찰되기 전 약 90ms의 좁은 시간 창을 보여줍니다. 클러스터는 사운드 시작의 튜닝을 보여줍니다. 이 부분을 초기부분이라고 하며 아래 그림과 같이 양측 STG 뒤쪽의 전극에만 나타납니다

마지막으로 연구진은 향후 연구가 전극의 적용 범위를 확대할 수 있다고 밝혔습니다. 모델의 특성과 목표를 변경하거나 새로운 행동 차원을 추가하세요

위 내용은 UC Berkeley 뇌-컴퓨터 인터페이스 혁신: 뇌파를 사용하여 음악을 재생하고 언어 장애가 있는 사람들에게 좋은 소식을 전합니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!