大腦裡真有ResNet!全球首張「果蠅大腦連結組」問世:耗費十餘年,重建三千名神經元,超50萬突觸!
雖然說現代的深度學習早已脫離對「生物神經網路」的模仿,但了解生物腦的運作機制,對於神經網路模型的未來發展仍然很有幫助。
大腦迴路的結構方式影響大腦的運算能力,但到目前為止,除了在一些非常簡單的生物體中,仍然還沒有看到任何大腦的具體結構。
去年11月,來自劍橋大學、約翰霍普金斯大學、珍利亞研究園區等多家頂尖機構的研究人員在Biorxiv上傳了一篇論文,經過十餘年的艱苦研究,首次完整地對「果蠅幼蟲」的大腦連結組進行重建。
論文連結:https://www.science.org/doi/10.1126/science. add9330
3月10日,相關成果發表在《科學》雜誌。
論文作者之一,來自約翰霍普金斯大學的副教授Joshua Vogelstein 表示,果蠅在許多方面比其他生物更接近人類的大腦,有些區域對應於決策,有些區域對應於學習,有些區域對應於導航;果蠅幼蟲的大腦和人類也分為左右兩邊。
在果蠅大腦的分析中還可以發現一些現代神經網路中的結果,例如循環神經網路、多層網路之間的快捷路徑(殘差網路ResNet)等,或許能啟發機器學習模型的改進。
好消息:重建的果蠅幼蟲的大腦連結組包括3016個神經元
##壞消息:人有860億個神經元。
完整重建果蠅幼蟲大腦大腦主要由「神經元細胞」構成,相鄰的神經元可以在突觸細胞之間的連接處互相發出訊號,其中一個神經元釋放「神經傳導物質」,另一個神經元負責接收這種化學物質,大腦的神經元和突觸的完整圖譜被稱為連接組(connectome),研究連結組對於理解大腦如何產生行為至關重要。
重建連接組的主要流程是將大腦切割成超薄(20微米)的切片,然後用電子顯微鏡的電子流對切片進行成像,例如要把鹽粒大小的果蠅幼蟲大腦切成幾千片,稍有差池,就得從頭再來。
對於一些簡單的生物來說,建立完整的連接組還相對容易,第一個完整繪製的是秀麗隱桿線蟲,整個身體只有302個神經元,在上世紀80年代即完成繪製。
但到目前為止,研究人員也僅為三個有機體繪製了完整的突觸連接組,每種生物只有數百個大腦神經元。
2020年時,Google和珍利亞研究園區的研究人員曾發布過一個果蠅的大腦連結組3D模型,包含25,000個果蠅神經元,這些神經元跨越不同的細胞類型和多個大腦區域,但該模型並不是一個完整的大腦,即便如此,該模型也只是包含一個成年果蠅10萬個神經元中的四分之一。
還有一些研究小組正在研究腦部較大的動物的連接組,例如昆蟲、魚類、哺乳動物等,不過由於神經元數量太多,主要研究方法是對大腦進行分區後單獨研究,會導致無法重建那些跨空間且相互連接的大腦區域。
本次重建的完整連結組屬於黑腹果蠅的幼蟲,果蠅可以表現出非常豐富的行為,包括學習、價值計算和行為選擇,並且與成年果蠅和較大的昆蟲具有同源的大腦結構。
強大的遺傳工具可用於選擇性操縱或記錄個別神經元類型,在易處理的(tractable)在模型系統中,關於連接組所揭示的特定神經元和迴路基序的功能作用的假設可以很容易地被檢驗。
研究小組將一個「6小時大」的黑腹果蠅幼蟲的大腦切割成4841片,並用高解析度電子顯微鏡進行掃描,將成像數位化後再重新組合成一張三維影像;在電腦分析的輔助下,最終產生的圖譜包含3016個神經元和54.8萬個突觸。
殘差網路暗藏其中
研究人員對大腦迴路(circuit)結構進行了詳細的分析,包括連接和神經元類型、網路中樞(network hubs )和神經迴路圖。
大腦輸入輸出中樞(in-out hubs)中大部分(73%)是「對學習中心的突觸後中樞」或「對驅動學習的多巴胺能神經元的突觸前中樞」;使用圖譜嵌入(graph spectral embedding)技術將基於突觸連通性的分層聚類神經元分為93種類型,這些類型在基於形態學和功能等其他特徵上具有內部一致性。
研究人員也開發了一種演算法來追蹤大腦多突觸通路中的訊號傳播,並分析了前饋(從感覺到輸出)和回饋路徑(feedback pathways) 、多感官整合(multisensory integration)和跨半球的反應(cross-hemisphere interactions)。
在大腦中發現了廣泛存在的多感官整合,以及從感覺神經元到輸出神經元不同深度的多個相互關聯的通路,形成了一個分散的處理網絡。
大腦具有高度循環(recurrent)結構,41% 的神經元接受長程循環輸入,不過循環的分佈並不均勻,在涉及學習和行動選擇的領域循環率特別高。
驅動學習的多巴胺能神經元是大腦中最常見的神經元之一。
有許多對側神經元(contralateral neurons)投射到大腦兩半球,它們是進出中樞(in- out hubs),彼此之間相互突觸,促進了大腦兩半球之間的廣泛交流;文中也分析了大腦和神經之間的相互作用。
研究人員發現,下行神經元(descending neurons)的目標是一小部分前運動元件(premotor elements),其在運動狀態(locomotor states)切換中扮演著重要的作用。
結論
果蠅幼蟲完整的腦連結組將在很長一段時間內為其他腦功能理論和實驗研究提供基礎,這項研究中產生的方法和計算工具將促進未來連接體的分析。
儘管動物王國中大腦組織的細節各不相同,但許多神經迴路結構是守恆的。
隨著未來繪製更多其他生物的大腦連接組,不同連接組之間的比較將揭示常見的、可能是最佳的迴路結構,以及生物體之間行為差異的特質。
在果蠅幼蟲大腦中觀察到的一些結構特徵,包括多層shortcuts和顯著的嵌套循環,都能夠在最先進的人工神經網路中發現,或許可以彌補當前網路在深度、處理任務泛化上的問題,這些特徵也可以增加大腦的運算能力,克服神經元數量的生理限制。
未來對大腦和人工神經網路之間的相似和差異的分析可能有助於理解大腦的計算原理,並可能啟發新的機器學習架構。
相關評論
英國艾克希特大學神經科學教授加什帕爾耶凱伊表示,大腦的所有神經元都被重建,並且所有神經連接都得到了分析。他稱這項工作「非常重要」。
美國哈佛大學的凱薩琳‧杜拉克認為,這些數據揭示了這些神經元連結的「深層邏輯」。
不過,紐約愛因斯坦醫學院的斯科特·埃蒙斯認為,僅僅繪製出突觸並不能提供全貌。
埃蒙斯於2019年繪製出了雌雄兩性的秀麗隱桿線蟲的連接組,神經元還可以透過荷爾蒙等緩慢釋放的化學物質以及細胞之間的其他連接(即縫隙連接)相互交流。
所有這些都必須考慮在內,但新繪製的連接組中只包括突觸。
以上是大腦裡真有ResNet!全球首張「果蠅大腦連結組」問世:耗費十餘年,重建三千名神經元,超50萬突觸!的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

熱門話題

如今的深度學習方法專注於設計最適合的目標函數,以使模型的預測結果與實際情況最接近。同時,必須設計一個合適的架構,以便為預測取得足夠的資訊。現有方法忽略了一個事實,當輸入資料經過逐層特徵提取和空間變換時,大量資訊將會遺失。本文將深入探討資料透過深度網路傳輸時的重要問題,即資訊瓶頸和可逆函數。基於此提出了可編程梯度資訊(PGI)的概念,以應對深度網路實現多目標所需的各種變化。 PGI可以為目標任務提供完整的輸入訊息,以計算目標函數,從而獲得可靠的梯度資訊以更新網路權重。此外設計了一種新的輕量級網路架

大規模語言模型(LLMs)在許多重要任務中展現了引人注目的能力,包括自然語言理解、語言生成和複雜推理,並對社會產生了深遠的影響。然而,這些出色的能力卻需要大量的訓練資源(如左圖)和較長的推理時間(如右圖)。因此,研究人員需要開發有效的技術手段來解決它們的效率問題。此外,從圖的右邊還可以看出,一些高效率的LLMs(LanguageModels)如Mistral-7B,已經成功應用於LLMs的設計和部署中。這些高效的LLMs在保持與LLaMA1-33B相近的準確性的同時,能夠大大減少推理內存

在我的世界(Minecraft)中,紅石是一種非常重要的物品。它是遊戲中獨特的材料,開關、紅石火把和紅石塊等能對導線或物體提供類似電流的能量。紅石電路可以為你建造用於控製或激活其他機械的結構,其本身既可以被設計為用於響應玩家的手動激活,也可以反複輸出信號或者響應非玩家引發的變化,如生物移動、物品掉落、植物生長、日夜更替等等。因此,在我的世界中,紅石能夠控制的機械類別極其多,小到簡單機械如自動門、光開關和頻閃電源,大到佔地巨大的電梯、自動農場、小遊戲平台甚至遊戲內建的計算機。近日,B站UP主@

面向視覺任務(如影像分類)的深度學習模型,通常使用單一視覺域(如自然影像或電腦生成的影像)的資料進行端到端的訓練。一般情況下,一個為多個領域完成視覺任務的應用程式需要為每個單獨的領域建立多個模型,分別獨立訓練,不同領域之間不共享數據,在推理時,每個模型將處理特定領域的輸入資料。即使是面向不同領域,這些模型之間的早期層的有些特徵都是相似的,所以,對這些模型進行聯合訓練的效率更高。這能減少延遲和功耗,降低儲存每個模型參數的記憶體成本,這種方法稱為多領域學習(MDL)。此外,MDL模型也可以優於單

3奈米製程,性能超越H100!最近,根據外媒DigiTimes爆料,英偉達正在開發下一代GPU,代號為「Blackwell」的B100據稱,作為面向人工智慧(AI)和高性能計算(HPC)應用的產品,B100將採用台積電的3nm工藝過程,以及更為複雜的多晶片模組(MCM)設計,並將於2024年第四季現身。對於壟斷了人工智慧GPU市場80%以上份額的英偉達來說,則可以藉著B100趁熱打鐵,在這波AI部署的熱潮中進一步狙擊AMD、英特爾等挑戰者。根據英偉達的估計,到2027年,該領域的產值預計將達到約

论文地址:https://arxiv.org/abs/2307.09283代码地址:https://github.com/THU-MIG/RepViTRepViT在移动端ViT架构中表现出色,展现出显著的优势。接下来,我们将探讨本研究的贡献所在。文中提到,轻量级ViTs通常比轻量级CNNs在视觉任务上表现得更好,这主要归功于它们的多头自注意力模块(MSHA)可以让模型学习全局表示。然而,轻量级ViTs和轻量级CNNs之间的架构差异尚未得到充分研究。在这项研究中,作者们通过整合轻量级ViTs的有效

多模態大模型最全綜述來了!由微軟7位華人研究員撰寫,足足119頁——它從目前已經完善的和還處於最前沿的兩類多模態大模型研究方向出發,全面總結了五個具體研究主題:視覺理解視覺生成統一視覺模型LLM加持的多模態大模型多模態agent並專注於一個現象:多模態基礎模型已經從專用走向通用。 Ps.這也是為什麼論文開頭作者就直接畫了一個哆啦A夢的形象。誰適合閱讀這份綜述(報告)?用微軟的原話來說:只要你有興趣學習多模態基礎模型的基礎知識和最新進展,無論你是專業研究員還是在校學生,這個內容都非常適合你一起來

《ComputerWorld》雜誌曾經寫過一篇文章,說“編程到1960年就會消失”,因為IBM開發了一種新語言FORTRAN,這種新語言可以讓工程師寫出他們所需的數學公式,然後提交給電腦運行,所以程式設計就會終結。圖片又過了幾年,我們聽到了一種新說法:任何業務人員都可以使用業務術語來描述自己的問題,告訴電腦要做什麼,使用這種叫做COBOL的程式語言,公司不再需要程式設計師了。後來,據說IBM開發了一門名為RPG的新程式語言,可以讓員工填寫表格並產生報告,因此大部分企業的程式設計需求都可以透過它來完成圖
