이 연구는 여러 가지 방법을 통해 뇌, 시각 및 언어 지식을 결합한 최초의 연구입니다. 모달 학습 방법은 인간의 두뇌 활동 기록에서 새로운 시각적 범주의 제로 샘플 디코딩을 달성합니다. 이 기사는 또한 3개의 "뇌-그림-텍스트" 3개 모달 일치 데이터 세트에 기여합니다.
실험 결과는 몇 가지 흥미로운 결론과 인지적 통찰을 나타냅니다. 1) 인간의 두뇌 활동에서 새로운 시각적 범주를 디코딩하는 것은 높은 정확도로 달성 가능합니다. 2) 시각적 기능과 언어적 특징을 조합하여 디코딩합니다. 3) 시각적 인식은 시각적 자극의 의미를 표현하기 위해 언어적 영향을 동반할 수 있습니다. 이러한 발견은 인간의 시각 시스템에 대한 이해를 밝힐 뿐만 아니라 미래의 뇌-컴퓨터 인터페이스 기술에 대한 새로운 아이디어를 제공합니다. 이 연구의 코드와 데이터 세트는 오픈 소스입니다.
인간의 시각적 신경 표현을 해독하는 것은 시각적 처리 메커니즘을 밝히고 뇌 과학 및 인공 지능의 발전을 촉진할 수 있는 중요한 과학적 중요성을 지닌 과제입니다. 그러나 현재 신경 디코딩 방법은 훈련 데이터 이외의 새로운 범주로 일반화하기 어렵습니다. 두 가지 주요 이유가 있습니다. 하나는 기존 방법이 신경 데이터 뒤에 있는 다중 모드 의미 지식을 완전히 활용하지 못한다는 것입니다. 페어링(자극-뇌 반응) 훈련 데이터를 사용할 수 있습니다.
연구에 따르면 시각적 자극에 대한 인간의 인식과 인지는 시각적 특징과 사람들의 이전 경험에 영향을 받는 것으로 나타났습니다. 예를 들어, 익숙한 물체를 보면 우리의 뇌는 자연스럽게 그 물체와 관련된 지식을 검색합니다. 아래 그림 1에서 볼 수 있듯이, 이중 코딩 이론에 대한 인지 신경과학 연구[9]는 특정 개념이 시각적으로나 언어적으로 뇌에 인코딩되어 있으며, 여기서 언어는 효과적인 사전 경험으로서 시각에 의해 생성된 표상을 형성하는 데 도움이 된다고 믿습니다.
따라서 저자는 기록된 뇌 신호를 더 잘 해독하기 위해서는 실제 제시되는 시각적 의미 특징뿐만 아니라 시각적 대상 객체와 관련된 보다 풍부한 언어 의미 특징의 조합이 필요하다고 믿습니다.
그림 1. 인간 두뇌의 지식 이중 인코딩. 코끼리 사진을 보면 우리는 자연스럽게 코끼리에 관한 지식(긴 몸통, 긴 이빨, 큰 귀 등)을 마음속에 떠올리게 됩니다. 이 시점에서 코끼리의 개념은 시각적으로나 언어적으로 뇌에 암호화되며, 언어는 시각에 의해 생성된 표상을 형성하는 데 도움이 되는 유효한 사전 경험의 역할을 합니다.
아래 그림 2에서 볼 수 있듯이, 다양한 시각적 범주의 인간 두뇌 활동을 수집하는 데는 비용이 매우 많이 들기 때문에 연구자들은 일반적으로 시각적 범주의 매우 제한된 두뇌 활동만을 가지고 있습니다. 그러나 이미지와 텍스트 데이터는 풍부하며 추가적인 유용한 정보를 제공할 수 있습니다. 이 문서의 방법은 모든 유형의 데이터(삼중 모드, 이중 모드 및 단일 모드)를 최대한 활용하여 신경 디코딩의 일반화 능력을 향상시킬 수 있습니다.
그림 2. 이미지 자극, 유도된 뇌 활동 및 해당 텍스트 데이터. 우리는 몇 가지 범주에 대해서만 뇌 활동 데이터를 수집할 수 있지만 이미지 및/또는 텍스트 데이터는 거의 모든 범주에 대해 쉽게 수집할 수 있습니다. 따라서 알려진 범주의 경우 뇌 활동, 시각적 이미지 및 해당 텍스트 설명이 모두 훈련에 사용 가능한 반면, 새로운 범주의 경우 시각적 이미지와 텍스트 설명만 훈련에 사용할 수 있다고 가정합니다. 테스트 데이터는 새로운 카테고리의 뇌 활동 데이터입니다.
아래 그림 3A에 표시된 것처럼 이 방법의 핵심은 각 양식이 학습한 분포를 공유 잠재 공간에 정렬하는 것입니다. 기본 다중 모달 정보가 포함되어 있습니다. 새로운 카테고리와 관련된
구체적으로 저자는 전문가 제품 혼합(MoPoE)을 사용하는 다중 모드 자동 인코딩 변형 베이지안 학습 프레임워크를 제안합니다. 잠재 인코딩은 모든 항목의 공동 생성이 가능하도록 추론됩니다. 세 가지 방식. 뇌 활동 데이터가 제한적일 때 보다 관련성이 높은 공동 표현을 학습하고 데이터 효율성을 향상시키기 위해 저자는 모달 내 및 모달 간 상호 정보 정규화 용어를 추가로 소개합니다. 또한 BraVL 모델은 다양한 준지도 학습 시나리오에서 훈련되어 대규모 이미지 범주의 추가 시각적 및 텍스트 기능을 통합할 수 있습니다.
그림 3B에서 저자는 새로운 카테고리의 시각적 및 텍스트 특징의 잠재 표현으로부터 SVM 분류기를 훈련 합니다. 이 단계에서는 인코더 E_v 및 E_t가 고정되고 SVM 분류기(회색 모듈)만 최적화된다는 점에 유의해야 합니다.
그림 3C에 표시된 것처럼 애플리케이션에서 이 방법의 입력은 뇌 신호의 새로운 범주일 뿐이며 다른 데이터가 필요하지 않으므로 대부분의 신경 디코딩 시나리오에 쉽게 적용할 수 있습니다. SVM 분류기는 이 세 가지 양식의 기본 표현이 이미 A에 정렬되어 있기 때문에 (B)에서 (C)로 일반화할 수 있습니다.
그림 3 이 기사에서 제안된 "뇌-이미지-텍스트" 3모달 공동 학습 프레임워크는 BraVL이라고 합니다.
또한 동일한 시각적 자극에도 뇌 신호는 시행마다 변경됩니다. 신경 해독의 안정성을 향상시키기 위해 저자는 안정성 선택 방법을 사용하여 fMRI 데이터를 처리했습니다. 모든 복셀의 안정성 점수는 아래 그림 4에 나와 있습니다. 저자는 신경 디코딩 프로세스에 참여하기 위해 안정성이 가장 좋은 복셀 중 상위 15%를 선택했습니다. 이 작업은 뇌 특징의 식별 능력에 심각한 영향을 주지 않으면서 fMRI 데이터의 차원성을 효과적으로 줄이고 시끄러운 복셀로 인한 간섭을 억제할 수 있습니다.
그림 4. 뇌 시각 피질의 복셀 활동 안정성 점수 맵.
기존 신경 인코딩 및 디코딩 데이터세트에는 이미지 자극과 뇌 반응만 있는 경우가 많습니다. 시각적 개념에 해당하는 언어적 설명을 얻기 위해 저자는 반자동 위키피디아 기사 추출 방법을 채택했습니다. 특히 작성자는 먼저 ImageNet 클래스와 해당 Wikipedia 페이지의 자동 일치를 생성합니다. 일치는 ImageNet 클래스의 synset 단어와 Wikipedia 제목 및 해당 상위 범주 간의 유사성을 기반으로 합니다. 아래 그림 5에서 볼 수 있듯이 유사한 이름의 클래스가 매우 다른 개념을 나타낼 수 있기 때문에 이러한 종류의 일치는 때때로 잘못된 긍정을 생성할 수 있습니다. 삼중 데이터 세트를 구성할 때 시각적 특징과 언어적 특징 간의 고품질 일치를 보장하기 위해 저자는 일치하지 않는 기사를 수동으로 삭제했습니다.
그림 5. 반자동 시각적 개념 설명 획득
저자는 여러 "뇌-그림-텍스트" 3모달 매칭 데이터 세트에 대해 광범위한 제로샷 신경 디코딩 실험을 수행했습니다. 실험 결과는 아래 표에 나와 있습니다. 보시다시피, 시각적 기능과 텍스트 기능(V&T)의 조합을 사용하는 모델은 둘 중 하나만 사용하는 모델보다 성능이 훨씬 더 좋습니다. 특히 V&T 기능을 기반으로 하는 BraVL은 두 데이터세트 모두에서 평균 상위 5개 정확도를 크게 향상시킵니다. 이러한 결과는 피험자에게 제시된 자극에는 시각적 정보만 포함되어 있지만 피험자가 무의식적으로 적절한 언어 표현을 호출하여 시각적 처리에 영향을 미칠 수 있음을 시사합니다.
각 시각적 개념 카테고리에 대해 저자는 아래 그림 6과 같이 텍스트 기능을 추가한 후 신경 디코딩 정확도 향상도 보여줍니다. 대부분의 테스트 클래스에서 텍스트 기능을 추가하면 평균 Top-1 디코딩 정확도가 약 6% 증가하는 등 긍정적인 영향을 미치는 것을 볼 수 있습니다.
그림 6. 텍스트 기능을 추가한 후 신경 디코딩 정확도 향상
저자는 신경 디코딩 분석 외에도 텍스트 기능을 복셀 수준 신경 측면에서 분석했습니다. 인코딩 기여(시각적 또는 텍스트 특징을 기반으로 해당 뇌 복셀 활동 예측), 결과는 그림 7에 나와 있습니다. 대부분의 상위 수준 시각 피질(FFA, LOC 및 IT와 같은 HVC)의 경우 시각적 특징을 기반으로 텍스트 특징을 융합하면 뇌 활동의 예측 정확도가 향상될 수 있지만 대부분의 하위 시각 피질에서는 뇌 활동 예측 정확도가 향상될 수 있음을 알 수 있습니다. (V1, V2, V3 등의 LVC) 텍스트 기능을 융합하는 것은 유익하지도 해롭지도 않습니다.
인지 신경과학의 관점에서 본 결과는 타당합니다. 일반적으로 HVC는 객체의 카테고리 정보, 모션 정보 등 상위 수준의 의미 정보를 처리하는 반면, LVC는 처리 방향, 윤곽선 등 기본 정보. 또한, 최근 신경과학적 연구에서는 시각 및 언어적 의미 표현이 인간 시각 피질의 경계에서 정렬된다는 사실이 밝혀졌으며(즉, "의미 정렬 가설")[10], 저자의 실험 결과도 이 가설을 뒷받침합니다
그림 7. 시각 피질에 대한 텍스트 특징 기여 예측
더 많은 실험 결과를 보려면 원본 텍스트를 참조하세요.
전반적으로, 이 논문은 몇 가지 흥미로운 결론과 인지적 통찰력을 이끌어냅니다. 1) 인간의 두뇌 활동에서 새로운 시각적 범주를 해독하는 것은 높은 정확도로 달성 가능합니다. 2) 시각적 기능과 언어적 특징의 조합을 사용하여 더 높은 신경 해독을 갖습니다. 5) 단일 양식과 이중 양식의 추가 데이터는 디코딩 정확도를 크게 향상시킬 수 있습니다.
논문의 제1저자이자 중국과학원 자동화 연구소의 특별 연구 조교인 Du Changde는 다음과 같이 말했습니다. "이 연구는 뇌 활동, 시각적 이미지 및 텍스트 설명에서 추출된 특징이 그러나 추출된 시각적 특징은 인간의 시각적 처리의 모든 단계를 정확하게 반영하지 못할 수 있으며, 더 나은 기능 세트는 이러한 작업에 도움이 될 것입니다(예: GPT). -3) 더 나은 제로샷 일반화 기능을 사용하여 텍스트 특징을 추출할 수 있습니다. 또한 Wikipedia 기사에는 풍부한 시각적 정보가 포함되어 있지만 시각적 문장 추출이나 사용을 통해 많은 수의 비시각적 문장으로 인해 이 정보가 쉽게 모호해집니다. ChatGPT 및 GPT-4. 다른 모델을 통해 보다 정확하고 풍부한 시각적 설명을 수집하면 이 문제를 해결할 수 있습니다. . 이러한 측면은 향후 연구로 남겨둡니다.”
논문의 교신 저자이자 중국과학원 자동화 연구소의 He Huiguang 연구원은 다음과 같이 지적했습니다. "이 기사에서 제안된 방법은 세 가지 잠재적인 응용 분야가 있습니다. 1) 신경 의미 해독 도구로서 이 방법이 사용될 것입니다. 인간의 뇌에서 의미 정보를 읽는 새로운 신경 보철 장치에서 이 응용 프로그램은 아직 성숙되지 않았지만 이 문서의 방법은 여러 양식에 걸쳐 뇌 활동을 추론함으로써 이에 대한 기술적 기반을 제공합니다. 이 기사의 방법은 시각 및 언어 기능이 인간 대뇌 피질에서 어떻게 표현되는지 연구하기 위한 신경 코딩 도구로 사용될 수도 있으며, 이는 어떤 뇌 영역이 다중 모드 속성(예: 시각 및 언어 기능에 민감함)을 갖는지 밝혀줍니다. 3) AI 모델의 내부 표현에 대한 신경 해독성은 모델의 뇌와 유사한 수준의 지표로 간주될 수 있습니다. 따라서 본 논문의 방법은 어떤 모델이 뇌와 유사한 속성을 평가하는 도구로도 사용될 수 있습니다. (시각적 또는 언어적) 표현은 인간의 뇌 활동에 더 가깝기 때문에 연구자들이 더욱 뇌와 유사한 계산 모델을 설계하도록 동기를 부여합니다."
신경 정보 인코딩 및 디코딩은 뇌-컴퓨터 인터페이스 분야의 핵심 문제입니다. 또한 인간 두뇌의 복잡한 기능 뒤에 있는 원리를 탐구하고 두뇌와 유사한 지능의 발달을 촉진하는 효과적인 방법입니다. 자동화 연구소의 신경 컴퓨팅 및 뇌-컴퓨터 상호 작용 연구팀은 이 분야에서 수년간 연구해 왔으며 일련의 연구 작품을 만들어 TPAMI 2023, TMI2023, TNNLS 2022/2019, TMM 2021, 정보 Fusion 2021, AAAI 2020 등 예비 작업은 MIT Technology Review의 헤드라인에 보도되었으며 ICME 2019 최우수 논문 준우승상을 수상했습니다.
이 연구는 과학기술혁신 2030 - "차세대 인공지능" 주요 프로젝트, 국가재단 프로젝트, 자동화 연구소 2035 프로젝트, 중국 인공지능학회-화웨이 MindSpore 학술상 기금의 지원을 받아 진행되었습니다. 지능형 베이스 프로젝트.
제1저자: Du Changde는 중국과학원 자동화연구소의 특별연구조교로 뇌인지 및 인공지능에 관한 연구에 종사하고 있으며, 시각 신경정보 인코딩 및 디코딩, 다중 모드 신경 컴퓨팅 등 TPAMI/TNNNLS/AAAI/KDD/ACMMM 등을 포함한 40개 이상의 기사 그는 2019년 IEEE ICME 최우수 논문 준우승상과 2021년 100대 중국 AI 떠오르는 스타를 수상했습니다. 그는 과학기술부, 국가과학기술재단, 중국과학원에서 다수의 과학 연구 과제를 연속적으로 수행했으며, 그의 연구 결과는 MIT Technology Review의 헤드라인에 보도되었습니다.
개인 홈페이지: https://changdedu.github.io/
교신저자: He Huiguang, 중국과학원 자동화 연구소 연구원, 박사 지도교수, 중국과학원대학, 상하이과기대학 명예교수, 중국과학원 청년촉진협회 우수회원, 중화인민공화국 건국 70주년 기념메달 수상자 . 그는 국가자연기금 프로젝트 7개(핵심 기금 및 국제 협력 프로젝트 포함), 2,863개 프로젝트, 국가 핵심 연구 계획 프로젝트를 연속적으로 수행했습니다. 그는 2급 국가 과학기술 진보상(각각 2위와 3위), 베이징 과학기술 진보상 2개, 교육부 1급 과학기술 진보상, 제1회 우수 박사 논문상을 수상했습니다. 중국과학원, 베이징 과학기술 라이징 스타, 중국과학원 "Lu Jiaxi Young Talent Award" 및 복건성 "Minjiang Scholar" 석좌교수. 연구분야는 인공지능, 뇌-컴퓨터 인터페이스, 의료영상분석 등이다. 지난 5년 동안 그는 IEEE TPAMI/TNNLS 및 ICML과 같은 저널 및 컨퍼런스에 80개 이상의 기사를 게재했습니다. 그는 IEEE TCDS, Journal of Automation 및 기타 저널의 편집위원이자 CCF의 우수 회원이자 CSIG의 우수 회원입니다.
위 내용은 자동화 연구소에서 개발한 비침습적 다중 모드 학습 모델로 뇌 신호 디코딩 및 의미 분석 실현의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
