NeurIPS23 | '뇌 판독'은 뇌 활동을 해독하고 시각적 세계를 재구성합니다.

이번 NeurIPS23 논문에서 루벤대학교, 싱가포르국립대학교, 중국과학원 자동화연구소 연구진은 인간의 뇌 활동을 고해상도로 분석할 수 있는 시각적 '뇌 판독 기술'을 제안했습니다. 자신의 눈으로 보는 이미지.

인지 신경과학 분야에서 사람들은 인간의 지각이 객관적인 자극뿐만 아니라 과거 경험의 영향도 크게 받는다는 것을 깨닫습니다. 이러한 요소들은 함께 작용하여 뇌에서 복잡한 활동을 생성합니다. 따라서 뇌 활동으로부터 시각적 정보를 해독하는 것이 중요한 작업이 됩니다. 그 중 기능성자기공명영상(fMRI)은 효율적인 비침습적 기술로서 시각정보, 특히 영상범주를 복구하고 분석하는데 핵심적인 역할을 담당하고 있으나, fMRI 신호의 잡음 특성으로 인해 뇌의 시각에 장애가 발생한다. 표현의 복잡성으로 인해 이 작업은 상당한 어려움에 직면해 있습니다. 이러한 문제를 해결하기 위해 본 논문에서는 뇌 활동의 노이즈를 식별 및 제거하는 것을 목표로 하고 시각 재구성에 중요한 신경 활성화 패턴을 분석하는 데 중점을 두고 뇌에서 높은 수준의 이미지를 성공적으로 재구성하는 2단계 fMRI 표현 학습 프레임워크를 제안합니다. 활동 해상도 및 의미상 정확한 이미지.

논문 링크: https://arxiv.org/abs/2305.17214

프로젝트 링크: https://github.com/soinx0629/vis_dec_neurips/

논문에서 제안하는 방법은 이중 대조 학습을 기반으로 합니다. , 교차 모델 상태 정보 교차 및 확산 모델은 생성된 이미지의 품질, 가독성 및 의미 관련성 모두 기존 방법보다 우수하며 관련 fMRI 데이터 세트에 대한 평가 지표가 거의 40% 향상되었습니다. 눈에 띄는 개선. 이 연구는 인간 두뇌의 시각적 인식 메커니즘을 이해하는 데 도움이 되며 시각적 두뇌-컴퓨터 인터페이스 기술에 대한 연구를 촉진하는 데 도움이 됩니다. 관련 코드는 오픈소스로 공개되었습니다.

기능적 자기공명영상(fMRI)이 신경 반응을 분석하는 데 널리 사용되지만, 데이터에서 시각적 이미지를 정확하게 재구성하는 것은 여전히 ​​어려운 일입니다. 주로 fMRI 데이터에는 신경 활성화 패턴을 가릴 수 있는 여러 소스의 노이즈가 포함되어 있기 때문입니다. 또한 시각적 자극에 의해 촉발되는 신경 반응 과정은 복잡하고 다단계이므로 fMRI 신호는 역전 및 디코딩이 어려운 비선형 복합 중첩을 나타냅니다.

능선 회귀와 같은 전통적인 신경 디코딩 방법은 fMRI 신호를 해당 자극과 연관시키는 데 사용되지만 자극과 신경 반응 사이의 비선형 관계를 효과적으로 포착하지 못하는 경우가 많습니다. 최근에는 이러한 복잡한 관계를 보다 정확하게 모델링하기 위해 GAN(Generative Adversarial Network) 및 LDM(Latent Diffusion Model)과 같은 딥러닝 기술이 채택되었습니다. 그러나 시각 관련 뇌 활동을 소음으로부터 분리하고 이를 정확하게 디코딩하는 것은 이 분야의 주요 과제 중 하나로 남아 있습니다.

이러한 문제를 해결하기 위해 이 연구에서는 뇌 활동의 노이즈를 효과적으로 식별 및 제거하고 시각적 재구성에 중요한 신경 활성화 패턴을 구문 분석하는 데 집중할 수 있는 2단계 fMRI 표현 학습 프레임워크를 제안합니다. 이 방법은 기존의 최첨단 기술을 뛰어넘는 50개 카테고리에 대해 Top-1 정확도 39.34%로 고해상도의 의미적으로 정확한 이미지를 생성합니다.

방법 개요는 일련의 단계 또는 프로세스에 대한 간략한 설명입니다. 특정 목표를 달성하거나 특정 작업을 완료하는 방법을 설명하는 데 사용됩니다. 방법 개요의 목적은 독자나 사용자에게 전체 프로세스에 대한 전반적인 이해를 제공하여 단계를 더 잘 이해하고 따를 수 있도록 하는 것입니다. 방법 개요에는 일반적으로 일련의 단계, 필요한 재료 또는 도구, 직면할 수 있는 문제 또는 과제가 포함됩니다. 방법 개요를 명확하고 간결하게 설명함으로써 독자나 사용자는 필요한 작업

fMRI 표현 학습(FRL)

1단계: 사전 훈련 이중 대비 마스크 자동 인코더( DC-MAE)

다양한 그룹의 사람들 사이에서 공유되는 뇌 활동 패턴과 개별 소음을 구별하기 위해 이 논문에서는 레이블이 지정되지 않은 데이터를 사용하여 fMRI 표현을 사전 훈련하는 DC-MAE 기술을 소개합니다. DC-MAE는 인코더 와 디코더 로 구성됩니다. 여기서 는 마스크된 fMRI 신호를 입력으로 받아들이고 는 마스크되지 않은 fMRI 신호를 예측하도록 훈련됩니다. 소위 "이중 대비"는 모델이 fMRI 표현 학습에서 대비 손실을 최적화하고 두 가지 다른 대비 프로세스에 참여한다는 것을 의미합니다.

대조 학습의 첫 번째 단계에서는 n개의 fMRI 샘플 v를 포함하는 각 배치의 샘플 이 무작위로 두 번 마스크되어 비교를 위한 양성 샘플 쌍으로 두 개의 서로 다른 마스크 버전 및 이 생성됩니다. 그 후, 1D 컨볼루셔널 레이어는 이 두 버전을 내장된 표현으로 변환하고, 이는 각각 fMRI 인코더에 입력됩니다. 디코더 는 이러한 인코딩된 잠재 표현을 수신하고 예측 및 을 생성합니다. InfoNCE 손실 함수로 계산된 첫 번째 대비 손실, 즉 교차 대비 손실을 통해 모델을 최적화합니다.

대조 학습의 두 번째 단계에서는 마스크되지 않은 각 원본 이미지와 해당 마스크된 이미지가 한 쌍의 자연스러운 양성 샘플을 형성합니다. 여기서 는 디코더 가 예측한 이미지를 나타냅니다. 두 번째 대비 손실인 자체 대비 손실은 다음 공식에 따라 계산됩니다.

자체 대비 손실 최적화를 통해 교합 재구성을 달성할 수 있습니다. 이든 이든, 부정적인 샘플 은 동일한 인스턴스 배치에서 나옵니다. 및 는 다음과 같이 공동으로 최적화됩니다. 여기서 하이퍼파라미터 및 는 각 손실 항의 가중치를 조정하는 데 사용됩니다.

• 두 번째 단계: 교차 모달 안내를 사용한 조정

fMRI 녹음의 낮은 신호 대 잡음비와 높은 컨볼루션 특성을 고려할 때 fMRI 기능 학습자는 시각적 처리와 가장 관련 있는 기능에 집중하는 것이 중요합니다. 그리고 가장 유익한 뇌 활성화 패턴을 재구성하는 것이 중요합니다

사전 훈련의 첫 번째 단계 후 fMRI 자동 인코더는 fMRI 재구성을 달성하기 위해 이미지 지원으로 조정되고 두 번째 단계도 이 프로세스를 따릅니다. 구체적으로, 샘플 과 이에 상응하는 fMRI로 기록된 신경 반응 은 n개의 샘플 배치에서 선택됩니다. 과 는 블로킹과 랜덤 마스킹 처리를 거쳐 각각 과 로 변환된 후 각각 이미지 인코더와 fMRI 인코더에 입력되어 과 을 생성합니다. fMRI를 재구성하기 위해 교차 주의 모듈을 사용하여 및 을 병합합니다.

W와 b는 각각 해당 선형 레이어의 가중치와 편향을 나타냅니다. 는 배율 인수이고 는 키 벡터의 차원입니다. CA는 Cross-Attention의 약자입니다. 가 에 추가된 후 fMRI 디코더에 입력되어 를 재구성하고 를 얻습니다.

이미지 자동 인코더에서도 유사한 계산이 수행되고 이미지 인코더의 출력 이 과 결합됩니다. 교차 주의 모듈 의 출력이 결합된 다음 이미지 를 디코딩하는 데 사용되어 를 제공합니다.

fMRI와 이미지 자동 인코더는 다음 손실 함수를 최적화하여 공동으로 훈련됩니다.

이미지를 생성할 때, 잠재 확산 모델을 사용할 수 있습니다(LDM)

FRL 훈련의 첫 번째 및 두 번째 단계를 완료한 후 fMRI 기능 학습자 인코더를 사용하여 잠재 확산 모델(LDM)을 구동하여 뇌 활동에서 이미지를 생성합니다. 그림에서 볼 수 있듯이 확산 모델에는 순방향 확산 과정과 역방향 노이즈 제거 과정이 포함됩니다. 순방향 프로세스는 다양한 분산으로 가우스 잡음을 점진적으로 도입하여 이미지를 점차적으로 일반 가우스 잡음으로 저하시킵니다.

본 연구는 사전 훈련된 LDM(Label-to-image 잠재 확산 모델)에서 시각적 지식을 추출하고 fMRI 데이터를 조건으로 사용하여 이미지를 생성합니다. 여기에는 안정적인 확산 연구의 권장 사항에 따라 fMRI 정보를 LDM에 통합하기 위해 교차 주의 메커니즘이 사용됩니다. 여기서는 조건정보의 역할을 강화하기 위해 교차주의(Cross Attention)와 시간단계 조건화(Time Step Conditioning) 방법을 사용한다. 훈련 단계에서는 FRL의 첫 번째와 두 번째 단계에서 훈련된 VQGAN 인코더와 fMRI 인코더를 사용하여 이미지 u와 fMRI v를 처리하고, fMRI 인코더는 LDM을 변경하지 않은 채 미세 조정합니다. 함수는 다음과 같습니다.

여기서 는 확산 모델의 노이즈 구성표입니다. 추론 단계에서 프로세스는 시간 단계 T에서 표준 가우스 잡음으로 시작하고 LDM은 주어진 fMRI 정보에 따라 숨겨진 표현의 잡음을 점진적으로 제거하기 위해 역 프로세스를 순차적으로 따릅니다. 시간 단계 0에 도달하면 숨겨진 표현이 VQGAN 디코더를 사용하여 이미지로 변환됩니다.

실험

재구성 결과

DC-LDM, IC-GAN, SS-AE 등 기존 연구와 비교하고, GOD 및 BOLD5000 데이터 세트에 대한 평가에서 제안된 모델은 정확도가 DC-LDM 및 IC-GAN에 비해 각각 39.34% 및 66.7% 향상되어 이러한 모델을 크게 능가합니다

GOD 데이터 세트의 다른 4개 주제에 대한 평가는 DC-LDM이 테스트 세트에 대한 조정이 허용된 결과, 본 연구에서 제안한 모델은 50가지 방식의 Top-1 분류 정확도에서 DC-LDM보다 훨씬 우수하여 제안된 모델이 다양한 피험자 재구성에 있어 신뢰성과 우월성을 입증했습니다. '뇌 활동.

연구 결과는 제안된 fMRI 표현 학습 프레임워크와 사전 훈련된 LDM을 사용하면 현재 기준 수준을 훨씬 초과하여 뇌의 시각 활동을 더 잘 재구성할 수 있음을 보여줍니다. 이 작업은 신경 디코딩 모델의 잠재력을 더욱 탐구하는 데 도움이 됩니다

위 내용은 NeurIPS23 | '뇌 판독'은 뇌 활동을 해독하고 시각적 세계를 재구성합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!