기술 주변기기
일체 포함
두뇌에는 실제로 ResNet이 있습니다! 세계 최초의 'Drosophila Brain Connectome'이 출시되었습니다. 3,000개의 뉴런과 500,000개 이상의 시냅스를 재구성하는 데 10년 이상이 걸렸습니다!
두뇌에는 실제로 ResNet이 있습니다! 세계 최초의 'Drosophila Brain Connectome'이 출시되었습니다. 3,000개의 뉴런과 500,000개 이상의 시냅스를 재구성하는 데 10년 이상이 걸렸습니다!
현대 딥러닝이 '생물학적 신경망'을 모방하는 방식에서 벗어난 지 오래지만, 생물학적 뇌의 작동 메커니즘을 이해하는 것은 향후 신경망 모델 개발에 여전히 큰 도움이 됩니다.
뇌 회로가 구조화되는 방식은 뇌의 계산 능력에 영향을 미치지만, 지금까지 일부 매우 단순한 유기체를 제외하고는 뇌의 구체적인 구조가 발견되지 않았습니다.
지난해 11월, 케임브리지대학교, 존스홉킨스대학교, 자넬리아연구소 등 여러 명문 연구기관의 연구자들이 10년 이상의 고된 연구 끝에 처음으로 Biorxiv에 논문을 게재했습니다. , "초파리 유충"의 뇌 커넥톰이 완전히 재구성되었습니다.
논문 링크: https://www.science.org/doi/10.1126/science.add9330
3월 10일자 잡지 "에 관련 결과가 게재되었습니다. 과학"이 우수합니다.논문 저자 중 한 명인 존스 홉킨스 대학의 조슈아 보겔스타인(Joshua Vogelstein) 부교수는 초파리가 다른 유기체보다 여러 면에서 인간의 뇌에 더 가깝다고 말했습니다. 학습 및 일부 영역은 탐색에 해당하며 초파리 유충과 인간의 뇌도 왼쪽과 오른쪽으로 나뉩니다.
초파리 뇌 분석에서는 순환 신경망, 다층 네트워크(잔차 네트워크 ResNet) 간의 지름길 등과 같은 현대 신경망에서도 통찰력을 얻을 수 있는 몇 가지 결과를 찾을 수 있습니다. 모델 개선에 들어갑니다.
좋은 소식: 재구성된 초파리 유충의 뇌 커넥톰에는 3016개의 뉴런이 포함되어 있습니다.
나쁜 소식: 인간에게는 860억 개의 뉴런이 있습니다. 초파리 유충 뇌의 완전한 재구성
뇌는 주로 "뉴런 세포"로 구성되어 있습니다. 인접한 뉴런은 시냅스 세포 사이의 연결에서 서로 신호를 보낼 수 있으며, 뉴런 중 하나는 "신경 전달 물질"을 방출합니다. 이 화학 물질을 받아들이는 역할을 하는 뇌의 뉴런과 시냅스의 전체 지도를 커넥톰이라고 합니다. 뇌가 어떻게 행동을 생성하는지 이해하는 데 중요합니다.커넥텀을 재구성하는 주요 과정은 뇌를 매우 얇은(20미크론) 조각으로 자른 다음 전자현미경의 전자 흐름을 사용하여 소금 크기의 초파리를 자르는 등 조각을 이미지화하는 것입니다. 애벌레 뇌
수천 조각입니다. 문제가 발생하면 처음부터 다시 시작해야 합니다.
일부 단순한 유기체의 경우 완전한 커넥톰을 만드는 것이 상대적으로 쉽습니다. 최초의 완전한 커넥톰은 1980년대에 몸 전체에 302개의 뉴런만 있던 예쁜꼬마선충(Caenorhabditis elegans)에서 그려졌습니다. 때가 되면 완료.
그러나 지금까지 연구자들은 단지 세 유기체에 대해서만 완전한 시냅스 연결체를 매핑했는데, 각각은 단지 수백 개의 뇌 뉴런을 가지고 있습니다.
2020년 Google과 Janelia Research Park의 연구원들은 다양한 세포 유형과 여러 뇌 영역에 걸쳐 있는 25,000개의 Drosophila 뉴런을 포함하는 Drosophila 뇌 커넥톰의 3D 모델을 출시했지만 모델은 완전한 뇌가 아니며 심지어 그때에도 , 모델에는 성체 초파리의 뉴런 100,000개 중 4분의 1만 포함되어 있습니다.
곤충, 어류, 포유류 등 뇌가 더 큰 동물의 코넥텀을 연구하는 연구 그룹도 있습니다. 하지만 뉴런의 수가 많기 때문에 뇌를 분할하여 연구하는 것이 주요 연구 방법입니다. 이로 인해 공간을 가로질러 상호 연결된 뇌 영역을 재구성할 수 없게 됩니다.
이번에 재구성된 완전한 커넥톰은 Drosophila melanogaster의 유충에 속하며 학습, 가치 계산 및 행동 선택을 포함하여 매우 풍부한 행동을 나타낼 수 있으며 성체 초파리 및 대형 곤충의 근원과 동일한 특성을 가지고 있습니다. 뇌 구조.
강력한 유전 도구를 사용하여 다루기 쉬운 모델 시스템에서 특정 뉴런의 기능과 커넥톰에 의해 밝혀진 회로 모티프와 관련하여 개별 뉴런 유형을 선택적으로 조작하거나 기록할 수 있습니다. 테스트되었습니다.
연구팀은 "6시간 된" 초파리 유충의 뇌를 4,841개 조각으로 자르고, 고해상도 전자현미경으로 스캔한 후, 이미지를 디지털화한 후, 3차원 이미지로 재조립했습니다. 컴퓨터 분석 후 의 도움으로 최종 생성된 지도에는 3016개의 뉴런과 548,000개의 시냅스가 포함됩니다.
잔여 네트워크는 내부에 숨겨져 있습니다
연구원들은 연결 및 뉴런 유형, 네트워크 허브 및 신경 회로 다이어그램을 포함하여 뇌 회로 구조에 대한 상세한 분석을 수행했습니다.
뇌의 입력 및 출력 허브(인-아웃 허브)의 대부분(73%)은 "학습 센터를 위한 시냅스 후 센터" 또는 "학습을 유도하는 도파민 뉴런을 위한 시냅스 전 센터"입니다. 기술은 시냅스 연결을 기반으로 뉴런을 형태 및 기능과 같은 다른 특성을 기반으로 내부적으로 일관된 93개 유형으로 계층적으로 클러스터링합니다.
연구원들은 또한 뇌의 다중 시냅스 경로에서 신호 전파를 추적하는 알고리즘을 개발하고 피드포워드(감각에서 출력까지)와 피드백 경로, 다감각 통합(다감각 통합) 및 반구 간 상호작용을 분석했습니다.
뇌에서는 광범위한 다감각 통합이 발견될 뿐만 아니라 감각 뉴런에서 출력 뉴런까지 다양한 깊이에 있는 여러 개의 상호 연결된 경로가 분산 처리 네트워크를 형성합니다.
뇌는 반복성이 높은 구조로 되어 있으며 뉴런의 41%가 장거리 반복 입력을 받습니다. 그러나 루프의 분포가 균일하지 않으며 학습 및 행동 선택과 관련된 영역에서 루프 속도가 특히 높습니다.
학습을 촉진하는 도파민성 뉴런은 뇌에서 가장 흔한 뉴런 중 하나입니다.
뇌의 양쪽 반구에 투영되는 많은 반대쪽 뉴런이 있으며 서로 시냅스되어 뇌의 두 반구 사이의 연결을 촉진합니다. 또한 뇌와 신경 사이의 상호 작용을 분석합니다.
연구원들은 하행 뉴런이 운동 상태 전환에 중요한 역할을 하는 작은 그룹의 전운동 요소를 표적으로 삼는다는 사실을 발견했습니다.
결론
초파리 유충의 완전한 뇌 커넥톰은 앞으로 오랫동안 뇌 기능에 대한 다른 이론적이고 실험적인 연구의 기초를 제공할 것이며, 이 연구에서 생성된 방법과 계산 도구는 향후 뇌 기능 분석을 용이하게 할 것입니다. 커넥톰.
뇌 조직의 세부 사항은 동물계에 따라 다르지만 많은 신경 회로 구조가 보존되어 있습니다.
향후 더 많은 다른 유기체의 뇌 커넥톰이 매핑됨에 따라 서로 다른 커넥톰 간의 비교를 통해 공통적이고 잠재적으로 최적의 회로 구조는 물론 유기체 간의 행동 차이의 특이성을 드러낼 것입니다.
다층 단축키 및 눈에 띄는 중첩 루프를 포함하여 초파리 애벌레 뇌에서 관찰된 일부 구조적 특징은 최첨단 인공 신경망에서 발견될 수 있으며, 이는 아마도 현재 네트워크를 보완할 수 있습니다. 깊이와 처리 작업 일반화를 통해 이러한 기능은 뇌의 계산 능력을 높이고 뉴런 수의 생리적 한계를 극복할 수도 있습니다.
뇌와 인공 신경망 간의 유사점과 차이점에 대한 향후 분석은 뇌의 계산 원리를 이해하는 데 도움이 될 수 있으며 새로운 기계 학습 아키텍처에 영감을 줄 수 있습니다.
관련 댓글
영국 엑서터 대학의 신경과학 교수인 가스팔 예카이(Gashpal Yekai)는 뇌의 모든 뉴런이 재구성되고 모든 신경 연결이 분석되었다고 말했습니다. 그는 이 작업이 "매우 중요하다"고 말했습니다.
미국 하버드 대학교의 캐서린 듀락(Catherine Dulac)은 이러한 데이터가 이러한 신경 연결의 "심층적인 논리"를 드러낸다고 믿습니다.
그러나 뉴욕 Albert Einstein 의과대학의 Scott Emmons는 단순히 시냅스 매핑만으로는 전체 그림을 제공할 수 없다고 믿습니다.
Emmons는 2019년에 수컷과 암컷 C. elegans의 커넥톰을 매핑했습니다. 뉴런은 또한 호르몬과 같은 천천히 방출되는 화학 물질과 간극 접합으로 알려진 세포 간 기타 연결을 통해 서로 통신할 수 있습니다.
이 모든 것을 고려해야 하지만 새로 그려진 커넥톰에는 시냅스만 포함됩니다.
위 내용은 두뇌에는 실제로 ResNet이 있습니다! 세계 최초의 'Drosophila Brain Connectome'이 출시되었습니다. 3,000개의 뉴런과 500,000개 이상의 시냅스를 재구성하는 데 10년 이상이 걸렸습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7465
15
1376
52
77
11
45
19
18
19
모델, 데이터 및 프레임워크에 대한 심층 분석: 효율적인 대규모 언어 모델에 대한 철저한 54페이지 검토
Jan 14, 2024 pm 07:48 PM
대규모 언어 모델(LLM)은 자연어 이해, 언어 생성, 복잡한 추론을 비롯한 여러 중요한 작업에서 강력한 기능을 입증했으며 사회에 지대한 영향을 미쳤습니다. 그러나 이러한 뛰어난 기능을 사용하려면 상당한 교육 리소스(왼쪽 참조)와 긴 추론 시간(오른쪽 참조)이 필요합니다. 따라서 연구자들은 효율성 문제를 해결하기 위한 효과적인 기술적 수단을 개발해야 합니다. 또한 그림의 오른쪽에서 볼 수 있듯이 Mistral-7B와 같은 일부 효율적인 LLM(LanguageModel)이 LLM의 설계 및 배포에 성공적으로 사용되었습니다. 이러한 효율적인 LLM은 LLaMA1-33B와 유사한 정확도를 유지하면서 추론 메모리를 크게 줄일 수 있습니다.
YOLO는 불멸이다! YOLOv9 출시: 성능과 속도 SOTA~
Feb 26, 2024 am 11:31 AM
오늘날의 딥러닝 방법은 모델의 예측 결과가 실제 상황에 가장 가깝도록 가장 적합한 목적 함수를 설계하는 데 중점을 두고 있습니다. 동시에 예측을 위한 충분한 정보를 얻을 수 있도록 적합한 아키텍처를 설계해야 합니다. 기존 방법은 입력 데이터가 레이어별 특징 추출 및 공간 변환을 거치면 많은 양의 정보가 손실된다는 사실을 무시합니다. 이 글에서는 딥 네트워크를 통해 데이터를 전송할 때 중요한 문제, 즉 정보 병목 현상과 가역 기능을 살펴보겠습니다. 이를 바탕으로 다중 목표를 달성하기 위해 심층 네트워크에서 요구되는 다양한 변화에 대처하기 위해 PGI(Programmable Gradient Information) 개념을 제안합니다. PGI는 목적 함수를 계산하기 위해 대상 작업에 대한 완전한 입력 정보를 제공할 수 있으므로 네트워크 가중치를 업데이트하기 위한 신뢰할 수 있는 기울기 정보를 얻을 수 있습니다. 또한 새로운 경량 네트워크 프레임워크가 설계되었습니다.
'Bilibili UP의 소유자는 세계 최초의 레드스톤 기반 신경망을 성공적으로 만들었습니다. 이는 소셜 미디어에서 센세이션을 일으켰고 Yann LeCun의 칭찬을 받았습니다.'
May 07, 2023 pm 10:58 PM
마인크래프트에서 레드스톤은 매우 중요한 아이템이다. 스위치, 레드스톤 횃불, 레드스톤 블록은 게임 내 고유한 재료로 전선이나 물체에 전기와 같은 에너지를 공급할 수 있습니다. 레드스톤 회로는 다른 기계를 제어하거나 활성화하기 위한 구조물을 만드는 데 사용할 수 있습니다. 이 회로 자체는 플레이어의 수동 활성화에 응답하도록 설계할 수도 있고, 반복적으로 신호를 출력하거나 생물체 움직임과 같은 비플레이어에 의한 변경에 응답할 수도 있습니다. 아이템 낙하, 식물 성장, 낮과 밤 등. 따라서 내 세계에서 레드스톤은 자동문, 조명 스위치, 스트로보 전원 공급 장치와 같은 단순한 기계부터 거대한 엘리베이터, 자동 농장, 소형 게임 플랫폼, 심지어 게임 내 컴퓨터까지 매우 다양한 유형의 기계를 제어할 수 있습니다. . 최근 B 스테이션 UP 메인@
다중 경로, 다중 도메인, 모든 것을 포함합니다! Google AI, 다중 도메인 학습 일반 모델 MDL 출시
May 28, 2023 pm 02:12 PM
비전 작업(예: 이미지 분류)을 위한 딥 러닝 모델은 일반적으로 단일 시각적 영역(예: 자연 이미지 또는 컴퓨터 생성 이미지)의 데이터를 사용하여 엔드투엔드 학습됩니다. 일반적으로 여러 도메인에 대한 비전 작업을 완료하는 애플리케이션은 각 개별 도메인에 대해 여러 모델을 구축하고 이를 독립적으로 교육해야 합니다. 추론 중에는 각 모델이 특정 도메인 입력 데이터를 처리합니다. 서로 다른 분야를 지향하더라도 이러한 모델 간 초기 레이어의 일부 기능은 유사하므로 이러한 모델의 공동 학습이 더 효율적입니다. 이렇게 하면 대기 시간과 전력 소비가 줄어들고, 각 모델 매개변수를 저장하는 데 드는 메모리 비용이 줄어듭니다. 이러한 접근 방식을 다중 도메인 학습(MDL)이라고 합니다. 또한 MDL 모델은 단일 모델보다 성능이 뛰어날 수도 있습니다.
Nvidia의 차세대 GPU, H100을 깨다 공개! 2024년에 공개된 최초의 3nm 멀티칩 모듈 디자인
Sep 30, 2023 pm 12:49 PM
3nm 공정, H100을 능가하는 성능! 최근 외신 디지타임스는 엔비디아가 차세대 GPU인 B100(코드명 '블랙웰')을 인공지능(AI)과 고성능컴퓨팅(HPC) 애플리케이션용 제품으로 개발 중이라는 소식을 전했다. B100은 TSMC의 3nm 공정 공정과 더욱 복잡한 MCM(멀티 칩 모듈) 설계를 사용하며 2024년 4분기에 출시될 예정입니다. 인공지능 GPU 시장의 80% 이상을 독점하고 있는 엔비디아의 경우, B100을 이용해 철이 뜨거울 때 공격할 수 있고, 이번 AI 배치 물결에서 AMD, 인텔 등 도전자들을 더욱 공격할 수 있다. NVIDIA 추정에 따르면, 2027년까지 이 분야의 출력 가치는 대략적으로 도달할 것으로 예상됩니다.
1.3ms는 1.3ms가 걸립니다! Tsinghua의 최신 오픈 소스 모바일 신경망 아키텍처 RepViT
Mar 11, 2024 pm 12:07 PM
논문 주소: https://arxiv.org/abs/2307.09283 코드 주소: https://github.com/THU-MIG/RepViTRepViT는 모바일 ViT 아키텍처에서 잘 작동하며 상당한 이점을 보여줍니다. 다음으로, 본 연구의 기여를 살펴보겠습니다. 기사에서는 경량 ViT가 일반적으로 시각적 작업에서 경량 CNN보다 더 나은 성능을 발휘한다고 언급했는데, 그 이유는 주로 모델이 전역 표현을 학습할 수 있는 MSHA(Multi-Head Self-Attention 모듈) 때문입니다. 그러나 경량 ViT와 경량 CNN 간의 아키텍처 차이점은 완전히 연구되지 않았습니다. 본 연구에서 저자는 경량 ViT를 효과적인
다중 모드 대형 모델에 대한 가장 포괄적인 리뷰가 여기에 있습니다! 마이크로소프트 연구원 7명 적극 협력, 5개 주요 주제, 119페이지 분량의 문서
Sep 25, 2023 pm 04:49 PM
다중 모드 대형 모델에 대한 가장 포괄적인 리뷰가 여기에 있습니다! Microsoft의 중국 연구원 7명이 집필한 이 책은 119페이지로 구성되어 있습니다. 이는 이미 완성되어 현재까지 선두에 있는 두 가지 유형의 다중 모드 대형 모델 연구 방향에서 시작하여 시각적 이해와 시각적 생성이라는 5가지 구체적인 연구 주제를 포괄적으로 요약합니다. 통합 시각적 모델 LLM이 지원하는 다중 모드 대형 모델 다중 모드 에이전트는 현상에 초점을 맞춥니다. 다중 모드 기본 모델은 전문화된 모델에서 범용 모델로 이동했습니다. Ps. 그래서 저자는 논문 서두에 도라에몽의 이미지를 직접 그렸습니다. 이 리뷰(보고서)를 누가 읽어야 합니까? Microsoft의 원래 말로: 전문 연구원이든 학생이든 다중 모달 기본 모델의 기본 지식과 최신 진행 상황을 배우는 데 관심이 있는 한 이 콘텐츠는 함께 모이는 데 매우 적합합니다.
몇 년 안에 프로그래머가 쇠퇴할 것이라는 사실을 알고 계십니까?
Nov 08, 2023 am 11:17 AM
"ComputerWorld" 잡지는 IBM이 엔지니어가 필요한 수학 공식을 작성한 다음 이를 제출하면 프로그래밍이 종료되도록 하는 새로운 언어 FORTRAN을 개발했기 때문에 "프로그래밍은 1960년에 사라질 것"이라는 기사를 쓴 적이 있습니다. 몇 년 후 우리는 비즈니스 용어를 사용하여 문제를 설명하고 컴퓨터에 COBOL이라는 프로그래밍 언어를 사용하면 더 이상 프로그래머가 필요하지 않다는 새로운 말을 들었습니다. 이후 IBM은 직원들이 양식을 작성하고 보고서를 생성할 수 있는 RPG라는 새로운 프로그래밍 언어를 개발해 회사의 프로그래밍 요구 사항 대부분을 이를 통해 완료할 수 있다고 합니다.
