大脑里真有ResNet!全球首张「果蝇大脑连接组」面世:耗费十余年,重建三千神经元,超50万突触!
虽说现代的深度学习早已脱离对「生物神经网络」的模仿,但了解生物大脑的运行机制,对于神经网络模型的未来发展仍然很有帮助。
大脑回路的结构方式影响着大脑的计算能力,但到目前为止,除了在一些非常简单的生物体中,仍然还没有看到任何大脑的具体结构。
去年11月,来自剑桥大学、约翰霍普金斯大学、珍利亚研究园区等多家顶尖机构的研究人员在Biorxiv上传了一篇论文,经过十余年的艰苦研究,首次完整地对「果蝇幼虫」的大脑连接组进行重建。
论文链接:https://www.science.org/doi/10.1126/science.add9330
3月10日,相关成果发表在《科学》杂志上。
论文作者之一,来自约翰霍普金斯大学的副教授Joshua Vogelstein 表示,果蝇在许多方面比其他生物更接近人类的大脑,有些区域对应于决策,有些区域对应于学习,有些区域对应于导航;并且果蝇幼虫的大脑和人类也分为左右两边。
在对果蝇大脑的分析中还可以发现一些现代神经网络中的结果,比如循环神经网络、多层网络之间的快捷路径(残差网络ResNet)等,或许能启发对机器学习模型的改进。
好消息:重建的果蝇幼虫的大脑连接组包括3016个神经元
坏消息:人有860亿个神经元。
完整重建果蝇幼虫大脑
大脑主要由「神经元细胞」构成,相邻的神经元可以在突触细胞之间的连接处互相发出信号,其中一个神经元释放「神经递质」,另一个神经元负责接收这种化学物质,大脑的神经元和突触的完整图谱被称为连接组(connectome),研究连接组对于理解大脑如何产生行为至关重要。
重建连接组的主要流程是将大脑切割成超薄(20微米)的切片,然后用电子显微镜的电子流对切片进行成像,比如要把盐粒大小的果蝇幼虫大脑切成几千片,稍有差池,就得从头再来。
对于一些简单的生物来说,构建完整的连接组还相对容易,第一个完整绘制的是秀丽隐杆线虫,整个身体只有302个神经元,在上世纪80年代即完成绘制。
但到目前为止,研究人员也仅为三个有机体绘制了完整的突触连接组,每种生物只有数百个大脑神经元。
2020年时,谷歌和珍利亚研究园区的研究人员曾发布过一个果蝇的大脑连接组3D模型,包含25,000个果蝇神经元,这些神经元跨越不同的细胞类型和多个大脑区域,但该模型并不是一个完整的大脑,即便如此,该模型也只是包含一个成年果蝇10万个神经元中的四分之一。
还有一些研究小组正在研究脑部更大的动物的连接组,比如昆虫、鱼类、哺乳动物等,不过由于神经元数量太多,主要研究方法是对大脑进行分区后单独研究,会导致无法重建那些跨空间且相互连接的大脑区域。
本次重建的完整连接组属于黑腹果蝇的幼虫,果蝇可以表现出非常丰富的行为,包括学习、价值计算和行为选择,并且与成年果蝇和较大的昆虫具有同源的大脑结构。
强大的遗传工具可用于选择性操纵或记录个别神经元类型,在易处理的(tractable)模型系统中,关于连接组揭示的特定神经元和回路基序的功能作用的假设可以很容易地得到检验。
研究小组将一个「6小时大」的黑腹果蝇幼虫的大脑切割成4841片,并用高分辨率电子显微镜进行扫描,将成像数字化后再重新组合成一张三维图像;在计算机分析的辅助下,最终生成的图谱包含3016个神经元和54.8万个突触。
残差网络暗藏其中
研究人员对大脑回路(circuit)结构进行了详细的分析,包括连接和神经元类型、网络中枢(network hubs)和神经回路图。
大脑输入输出中枢(in-out hubs)中大部分(73%)是「对学习中心的突触后中枢」或「对驱动学习的多巴胺能神经元的突触前中枢」;使用图谱嵌入(graph spectral embedding)技术将基于突触连通性的分层聚类神经元分为93种类型,这些类型在基于形态学和功能等其他特征上具有内部一致性。
研究人员还开发了一种算法来跟踪大脑多突触通路中的信号传播,并分析了前馈(从感觉到输出)和反馈通路(feedback pathways)、多感官整合(multisensory integration)和跨半球的反应(cross-hemisphere interactions)。
在大脑中发现了广泛存在的多感官整合,以及从感觉神经元到输出神经元不同深度的多条相互关联的通路,形成了一个分布式的处理网络。
大脑具有高度循环(recurrent)结构,41% 的神经元接受长程循环输入,不过循环的分布并不均匀,在涉及学习和行动选择的领域循环率特别高。
驱动学习的多巴胺能神经元是大脑中最常见的神经元之一。
有许多对侧神经元(contralateral neurons)投射到大脑两半球,它们是进出中枢(in-out hubs),彼此之间相互突触,促进了大脑两半球之间的广泛交流;文中还分析了大脑和神经之间的相互作用。
研究人员发现,下行神经元(descending neurons)的目标是一小部分前运动元件(premotor elements),其在运动状态(locomotor states)切换中扮演着重要的作用。
结论
果蝇幼虫完整的脑连接组将在很长一段时间内为其他脑功能理论和实验研究提供基础,这项研究中产生的方法和计算工具将促进未来连接体的分析。
尽管动物王国中大脑组织的细节各不相同,但许多神经回路结构是守恒的。
随着未来绘制更多其他生物的大脑连接组,不同连接组之间的比较将揭示常见的、可能是最佳的回路结构,以及生物体之间行为差异的特质。
在果蝇幼虫大脑中观察到的一些结构特征,包括多层shortcuts和显着的嵌套循环,都能够在最先进的人工神经网络中发现,或许可以弥补当前网络在深度、处理任务泛化上的问题,这些特征也可以增加大脑的计算能力,克服神经元数量的生理限制。
未来对大脑和人工神经网络之间的相似和差异的分析可能有助于理解大脑的计算原理,并可能启发新的机器学习架构。
相关评论
英国埃克塞特大学神经科学教授加什帕尔·耶凯伊表示,大脑的所有神经元都被重建,并且所有神经连接都得到了分析。他称这项工作「非常重要」。
美国哈佛大学的凯瑟琳·杜拉克认为,这些数据揭示了这些神经元连接的「深层逻辑」。
不过,纽约爱因斯坦医学院的斯科特·埃蒙斯认为,仅仅绘制出突触并不能提供全貌。
埃蒙斯于2019年绘制出了雌雄两性的秀丽隐杆线虫的连接组,神经元还可以通过荷尔蒙等缓慢释放的化学物质以及细胞之间的其他连接(即缝隙连接)相互交流。
所有这些都必须考虑在内,但新绘制的连接组中只包括突触。
以上是大脑里真有ResNet!全球首张「果蝇大脑连接组」面世:耗费十余年,重建三千神经元,超50万突触!的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

热门话题

如今的深度学习方法专注于设计最适合的目标函数,以使模型的预测结果与实际情况最接近。同时,必须设计一个合适的架构,以便为预测获取足够的信息。现有方法忽略了一个事实,即当输入数据经过逐层特征提取和空间变换时,大量信息将会丢失。本文将深入探讨数据通过深度网络传输时的重要问题,即信息瓶颈和可逆函数。基于此提出了可编程梯度信息(PGI)的概念,以应对深度网络实现多目标所需的各种变化。PGI可以为目标任务提供完整的输入信息,以计算目标函数,从而获得可靠的梯度信息以更新网络权重。此外设计了一种新的轻量级网络架

大规模语言模型(LLMs)在许多重要任务中展现出了引人注目的能力,包括自然语言理解、语言生成和复杂推理,并对社会产生了深远的影响。然而,这些出色的能力却需要大量的训练资源(如左图所示)和较长的推理时间(如右图所示)。因此,研究人员需要开发有效的技术手段来解决它们的效率问题。此外,从图的右侧还可以看出,一些高效的LLMs(LanguageModels)如Mistral-7B,已经成功应用于LLMs的设计和部署中。这些高效的LLMs在保持与LLaMA1-33B相近的准确性的同时,能够大大减少推理内存

在我的世界(Minecraft)中,红石是一种非常重要的物品。它是游戏中的一种独特材料,开关、红石火把和红石块等能对导线或物体提供类似电流的能量。红石电路可以为你建造用于控制或激活其他机械的结构,其本身既可以被设计为用于响应玩家的手动激活,也可以反复输出信号或者响应非玩家引发的变化,如生物移动、物品掉落、植物生长、日夜更替等等。因此,在我的世界中,红石能够控制的机械类别极其多,小到简单机械如自动门、光开关和频闪电源,大到占地巨大的电梯、自动农场、小游戏平台甚至游戏内建的计算机。近日,B站UP主@

3纳米制程,性能超越H100!最近,据外媒DigiTimes爆料,英伟达正在开发下一代GPU,代号为「Blackwell」的B100据称,作为面向人工智能(AI)和高性能计算(HPC)应用的产品,B100将采用台积电的3nm工艺制程,以及更为复杂的多芯片模块(MCM)设计,并将于2024年第四季度现身。对于垄断了人工智能GPU市场80%以上份额的英伟达来说,则可以借着B100趁热打铁,在这波AI部署的热潮中进一步狙击AMD、英特尔等挑战者。根据英伟达的估计,到2027年,该领域的产值预计将达到约

面向视觉任务(如图像分类)的深度学习模型,通常用来自单一视觉域(如自然图像或计算机生成的图像)的数据进行端到端的训练。一般情况下,一个为多个领域完成视觉任务的应用程序需要为每个单独的领域建立多个模型,分别独立训练,不同领域之间不共享数据,在推理时,每个模型将处理特定领域的输入数据。即使是面向不同领域,这些模型之间的早期层的有些特征都是相似的,所以,对这些模型进行联合训练的效率更高。这能减少延迟和功耗,降低存储每个模型参数的内存成本,这种方法被称为多领域学习(MDL)。此外,MDL模型也可以优于单

论文地址:https://arxiv.org/abs/2307.09283代码地址:https://github.com/THU-MIG/RepViTRepViT在移动端ViT架构中表现出色,展现出显着的优势。接下来,我们将探讨本研究的贡献所在。文中提到,轻量级ViTs通常比轻量级CNNs在视觉任务上表现得更好,这主要归功于它们的多头自注意力模块(MSHA)可以让模型学习全局表示。然而,轻量级ViTs和轻量级CNNs之间的架构差异尚未得到充分研究。在这项研究中,作者们通过整合轻量级ViTs的有效

多模态大模型最全综述来了!由微软7位华人研究员撰写,足足119页——它从目前已经完善的和还处于最前沿的两类多模态大模型研究方向出发,全面总结了五个具体研究主题:视觉理解视觉生成统一视觉模型LLM加持的多模态大模型多模态agent并重点关注到一个现象:多模态基础模型已经从专用走向通用。Ps.这也是为什么论文开头作者就直接画了一个哆啦A梦的形象。谁适合阅读这份综述(报告)?用微软的原话来说:只要你有兴趣学习多模态基础模型的基础知识和最新进展,无论你是专业研究员还是在校学生,这个内容都非常适合你一起来

《ComputerWorld》杂志曾经写过一篇文章,说“编程到1960年就会消失”,因为IBM开发了一种新语言FORTRAN,这种新语言可以让工程师写出他们所需的数学公式,然后提交给计算机运行,所以编程就会终结。图片又过了几年,我们听到了一种新说法:任何业务人员都可以使用业务术语来描述自己的问题,告诉计算机要做什么,使用这种叫做COBOL的编程语言,公司不再需要程序员了。后来,据说IBM开发出了一门名为RPG的新编程语言,可以让员工填写表格并生成报告,因此大部分企业的编程需求都可以通过它来完成图
