뇌에도 트랜스포머가 있다! '해마'와 동일한 메커니즘

， 만들 수 없고 이해할 수 없습니다

—— Ferman

은 인공 지능을 만들고 싶어합니다. 먼저 인간의 두뇌가 지능적인 이유를 이해해야 합니다.

신경망의 탄생과 그에 따른 눈부신 발전으로 연구자들은 신경망에 대한

생물학적 설명을 찾고 있었고, 생물학적 진보는 AI 연구자들이 새로운 모델을 개발하도록 영감을 주었습니다.

그러나 인공 지능 분야의 연구자들은 실제로 더 야심찬 목표를 추구하고 있습니다. 바로

AI 모델을 사용하여 뇌를 이해하는 데 도움을 주는 것입니다.

최근 연구에 따르면 가장 인기 있는

Transformer 모델은 생물학적 지식의 도움 없이 개발되었지만 구조가 인간 두뇌의 해마 구조와 매우 유사하다는 사실이 밝혀졌습니다.

논문 링크: https://arxiv.org/pdf/2112.04035.pdf

연구원들은 Transformer에 재귀 위치 인코딩을 장착한 후 모델이 해마를 정확하게 복제할 수 있음을 발견했습니다. )의

공간 표현

. 그러나 저자는 또한 이 결과에 놀라지 않는다고 말했습니다. 왜냐하면 Transformer는 신경 과학 분야의 현재

해마 모델

과 밀접하게 관련되어 있기 때문에 가장 눈에 띄는 것은 place cell(place cell) 및 grid입니다. 셀 (그리드 셀). 게다가 실험을 통해 Transformer 모델이 신경과학 버전에서 제공하는 모델에 비해 엄청난 성능 향상을 보이는 것으로 나타났습니다.

이 작업은 인공 신경망과 뇌 네트워크의 계산을 결합하여

해마와 대뇌 피질

사이의 상호 작용에 대한 새로운 이해를 제공하고 현재의 신경 과학 모델을 넘어서 대뇌 피질 영역이 더 넓은 범위의 복잡한 작업에 대해 수행하는 방식에 대한 힌트를 제공합니다. 언어 이해와 같은. Transformer가 해마를 시뮬레이션한다고요?

인간이 자신의 뇌를 이해하는 것은 여전히 ​​어렵습니다. 예를 들어, "우리가 어디에 있는지, 무엇이 모퉁이에 있는지, 거기에 어떻게 가는지"를 해결하기 위해 뇌가 공간 정보를 어떻게 구성하고 접근하는지 연구하는 것은 여전히 ​​어려운 과제입니다. .

전체 프로세스에는 전체 메모리 네트워크를 불러오고 각각 수천 개의 다른 뉴런에 연결된 수백억 개의 뉴런에서 저장된 공간 데이터가 포함될 수 있습니다.

신경과학자들은 그리드 세포, 위치를 매핑하는 뉴런과 같은 몇 가지 핵심 요소를 식별했지만 더 깊은 연구를 수행하는 방법은 아직 알려져 있지 않습니다. 연구자들은 인간의 회백질 조각을 제거하고 연구하여 이미지의 위치 기반 기억이 어떻게 이루어지는지 관찰할 수 없습니다. , 소리, 냄새가 흐르고 서로 연결됩니다.

인공지능 모델은 인간의 뇌를 이해하는 또 다른 방법을 제공합니다. 지난 수년 동안 신경과학자들은 다양한 유형의 신경망을 사용하여 뇌의 뉴런 발사를 시뮬레이션해 왔습니다.

최근 연구에 따르면 해마(기억에 중요한 뇌 구조)는 기본적으로 Transformer 모델과 유사합니다.

연구원들은 뇌의 내부 작동과 유사한 방식으로 공간 정보를 추적하는 새로운 모델을 사용하여 몇 가지 놀라운 결과를 얻었습니다.

옥스포드 대학과 스탠포드 대학의 인지 신경과학자 James Whittington은 이러한 뇌 모델이 트랜스포머와 동일하다는 것을 알면 새로운 모델이 더 나은 성능을 발휘하고 훈련하기가 더 쉽다는 것을 의미한다고 말했습니다.

Whittington과 다른 사람들의 연구에서 볼 수 있듯이 Transformer는 신경망 모델의 능력을 크게 향상시켜 그리드 셀과 뇌의 다른 부분에서 수행되는 다양한 계산을 모방할 수 있습니다.

Whitington은 이러한 모델이 인공 신경망의 작동 방식, 더 나아가 뇌에서 계산이 수행되는 방식에 대한 이해를 향상시킬 수 있다고 말합니다.

트랜스포머 모델 연구에 주로 종사하는 Google Brain 컴퓨터 과학자 David Ha는 우리가 새로운 뇌를 재현하려는 것이 아니라 뇌가 할 수 있는 일을 하는 메커니즘을 만들 수 있다고 말했습니다.

Transformer는 자연어를 처리하는 인공지능의 새로운 모델로 5년 전 처음 제안된 BERT, GPT-3 등 '스타 모델'의 비밀 무기이기도 했습니다. 이러한 모델은 설득력 있는 노래 가사를 생성하고 셰익스피어 소네트를 작곡하거나 일부 인간 고객 서비스 작업을 수행할 수 있습니다.

Transformer의 핵심 메커니즘은 self-attention입니다. 여기서 각 입력(단어, 픽셀, 연속된 숫자 등)은 항상 다른 모든 입력에 연결되는 반면, 다른 일반적인 신경망은 입력만 연결합니다. 특정 입력이 연결되어 있습니다.

Transformer는 자연어 작업을 위해 특별히 설계되었지만 후속 연구에 따르면 Transformer는 이미지 분류 및 뇌 모델링과 같은 다른 작업에서도 우수한 성능을 발휘하는 것으로 나타났습니다.

2020년 오스트리아 린츠에 있는 요한 케플러 대학교의 컴퓨터 과학자 Sepp Hochreiter(LSTM 논문의 첫 번째 저자)가 이끄는 팀은 Transformer를 사용하여 강력하고 오래 지속되는 메모리 검색 모델인 홉필드 네트워크.

프린스턴 물리학자 John Hopfield가 40년 전에 처음 제안한 이 네트워크는 일반적인 규칙을 따릅니다. 즉, 동시에 활성화되는 뉴런은 서로 강한 연결을 설정합니다.

Hochreiter와 그의 협력자들은 연구자들이 항상 더 나은 기억 검색 모델을 찾고 있으며 새로운 클래스의 Hopfield 네트워크가 기억을 검색하는 방식과 Transformer가 주의를 기울이는 방식 사이의 연관성을 확인했다고 언급했습니다.

MIT-IBM Watson 인공 지능 연구소의 Hopfield와 Dmitry Krotov가 개발한 이 새로운 Hopfield 네트워크는 더 효율적인 연결을 가지며 표준 Hopfield 네트워크보다 더 많은 메모리를 저장하고 검색할 수 있습니다. ㅋㅋㅋ 이를 업그레이드하기 위한 Transformer 규칙의 메커니즘 네트워크.

2022년에 이 새로운 논문은 Hochreiter의 방법을 더욱 조정하고 Transformer를 수정하여 메모리를 더 이상 선형 시퀀스로 처리하지 않고 문장의 단어 문자열처럼 공간의 고차원 좌표로 인코딩하도록 수정했습니다. .

연구원들은 이러한 "비틀림"이 신경과학 작업에서 모델의 성능을 더욱 향상시킨다고 말합니다. 실험 결과는 또한 이 모델이 신경과학자들이 fMRI 스캔에서 보는 격자 세포 발화 패턴 모델과 수학적으로 동일하다는 것을 보여주었습니다.

University College London의 신경과학자 Caswell Barry는 격자 세포가 무작위로 발생할 가능성이 없는 놀라운 패턴을 지닌 흥미롭고 아름답고 규칙적인 구조를 가지고 있다고 말했습니다.

이 새로운 연구는 Transformer가 해마에서 관찰된 패턴을 어떻게 정확하게 복제하는지 보여줍니다.

또한 그들은 Transformer 모델이 이전 상태와 이동 방법을 기반으로 어디에 있는지, 그리고 전통적인 그리드 셀 모델에 들어가는 핵심 방식을 파악할 수 있다는 것을 인식했습니다.

다른 최근 연구에서도 Transformer가 다른 뇌 기능에 대한 이해를 높일 수 있다고 제안합니다.

작년에 MIT 컴퓨터 신경과학자 Martin Schrimpf는 43개의 서로 다른 신경망 모델을 분석하여 fMRI와 전기피질검사에서 보고된 인간 신경 활동 측정값을 얼마나 잘 예측했는지 확인했습니다.

그는 Transformer가 현재 이미징에서 발견되는 거의 모든 변화를 예측할 수 있는 선도적이고 가장 발전된 신경망이라는 것을 발견했습니다.

컴퓨터 과학자이기도 한 David Ha와 Yujin Tang은 최근에 인체가 감각 관찰을 어떻게 전송하는지 시뮬레이션하여 Transformer에 대량의 데이터를 무작위로 무질서하게 입력할 수 있는 모델을 설계했습니다. 뇌. Transformer는 우리의 두뇌처럼 무질서한 정보 흐름을 성공적으로 처리할 수 있다는 것이 밝혀졌습니다.

문서 링크: https://arxiv.org/abs/2111.14377

Yujin Tang은 신경망이 배선되어 있으며 특정 입력만 받을 수 있다고 말했습니다. 그러나 실제 생활에서는 데이터 세트가 빠르게 변경되는 경우가 많으며 대부분의 AI는 조정할 방법이 없습니다. 앞으로는 빠르게 적응할 수 있는 아키텍처를 시도해보고 싶습니다.

위 내용은 뇌에도 트랜스포머가 있다! '해마'와 동일한 메커니즘의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!