Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. Einsendungs-E-Mail: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com
Diese Arbeit wurde in „Nature Computational Science“ veröffentlicht. Die korrespondierenden Autoren sind die Forscher Li Guoqi und Xu Bo vom Institute of Automation der Chinese Academy of Sciences und Professor Tian Yonghong von der Peking-Universität. Die Co-Autoren sind He Linxuan, ein Student im Grundstudium von Qian , und He Weihua und Lin Yihan, Doktoranden in der Abteilung für Präzisionsinstrumente der Tsinghua-Universität.
Modelle mit breiteren und allgemeineren kognitiven Fähigkeiten zu ermöglichen, ist ein wichtiges Ziel in der aktuellen Entwicklung auf dem Gebiet der künstlichen Intelligenz (KI). Der derzeit beliebte Pfad für große Modelle basiert auf dem Skalierungsgesetz, um größere, tiefere und breitere neuronale Netze aufzubauen, um die Modellleistung zu verbessern. Dies kann als allgemeine Intelligenzimplementierungsmethode „basierend auf exogener Komplexität“ bezeichnet werden. Dieser Weg ist jedoch auch mit einigen unüberwindbaren Schwierigkeiten konfrontiert, wie z. B. einem hohen Rechenressourcen- und Energieverbrauch, und weist Mängel bei der Interpretierbarkeit auf.
Künstliche Intelligenz und Neurowissenschaften sind seit langem voneinander abhängig und werden gemeinsam entwickelt. Um das Dilemma zu überwinden, allgemeine Intelligenz „basierend auf exogener Komplexität“ zu realisieren, griff das Forschungsteam von Li Guoqi und Xu Bo vom Institut für Automatisierung der Chinesischen Akademie der Wissenschaften zusammen mit der Tsinghua-Universität, der Peking-Universität und anderen auf Folgendes zurück komplexe dynamische Eigenschaften von Gehirnneuronen und vorgeschlagen „basierend auf endogener Komplexität“. „Die hirnähnliche Neuronenmodellkonstruktionsmethode (Abbildung 1) verbessert das Problem des Rechenressourcenverbrauchs, das durch die Ausweitung traditioneller Modelle verursacht wird, und bietet ein Beispiel für die effektive Verwendung.“ der Neurowissenschaften zur Entwicklung künstlicher Intelligenz. Die Fachzeitschrift Nature Computational Science kommentierte dies wie folgt: „KI-Forschung ist näher am Ingenieurwesen und an Anwendungen, während die neurowissenschaftliche Forschung eher explorativ ist.“ Das Forschungsteam stellte diese traditionelle Sichtweise in Frage und zeigte, dass detailliertere und biologisch realistischere Neuronenmodelle größere Fortschritte beim Deep Learning vorantreiben können „
Papierlink: https://www.nature.com/articles/s43588-024-00674-9
Kommentarlink: https:// /www.nature.com/articles/ s43588-024-00677-6
Endogene Komplexität bezieht sich auf die interne Nutzung der komplexen dynamischen Eigenschaften von Gehirnneuronen, um ein primitives neuronales Netzwerkmodell zu konstruieren. Ein kleines Netzwerkmodell mit endogener Komplexität: Inspiration durch biologische Neuronen. Biologische Neuronen haben komplexe interne Strukturen, wie z B. Ionenkanäle, synaptische Übertragungsmechanismen usw. – diese komplexen inneren Strukturen ermöglichen es Neuronen, komplexe Signale zu verarbeiten und vielfältige Reaktionen zu erzeugen. Im Gegensatz dazu übernehmen aktuelle Modelle neuronaler Netzwerke mit künstlichem Spike, wie das klassische LIF-Netzwerk (Leaky Integrate and Fire), normalerweise einfache interne Strukturen und sind schwierig, die komplexe Dynamik und Funktion biologischer Neuronen zu simulieren. In dieser Studie schlugen die Forscher das Konzept eines „kleinen Netzwerkmodells mit endogener Komplexität“ vor. Die Kernidee besteht darin, komplexe interne Strukturen in einzelne Neuronen einzuführen, indem die komplexe Dynamik biologischer Neuronen simuliert wird, um so ein effizienteres KI-Modell aufzubauen . In dieser Studie verwendeten die Forscher beispielsweise das HH-Modell (Hodgkin-Huxley) im Spiking-Neuronalen Netzwerk, um das traditionelle LIF-Modell zu ersetzen. Als mathematisches Modell, das den Mechanismus der Erzeugung des Aktionspotenzials von Neuronen beschreibt, verfügt das HH-Modell über eine Feindynamik, die durch komplexe interne Strukturen hervorgerufen wird, und kann die Reaktion von Neuronen auf verschiedene Reize simulieren.
Transformation von exogener Komplexität zu endogener Komplexität
Theoretische Dynamikableitung und Simulation研究團隊透過理論證明了HH 模型與LIF 模型在動作電位產生機制上存在某種等效關係，即一個HH 神經元可以和四個時變參數LIF 神經元（tv-LIF）以特定連接方式形成的微結構等效，其中每個LIF 神經元描述HH 模型中的一個離子通道。基於這種等效性，可以透過設計微結構提升計算單元的內生複雜性，使HH 網路模型能夠模擬更大規模LIF 網路模型的動力學特性，在更小的網路結構上實現與之相似的計算功能。
研究團隊透過模擬神經元刺激輸入對比網路輸出對該理論進行了模擬驗證。在相同的輸入刺激下，具有較高外生複雜性的 tv-LIF 網路能夠與 HH 模型產生相同的輸出反應。進一步，團隊將四個tv-LIF 神經元建構的「HH 模型」（tv-LIF2HH）簡化為s-LIF2HH 模型，透過模擬實驗驗證了這種簡化模型仍然保留捕捉HH 模型動力學行為的可能性（圖2）。
對上生長時保持複雜性的複雜性行為 保持複雜性動力行為
網路學習實驗對比
除了透過模擬研究相同刺激下不同網路的動力學行為，研究者建構了更大規模的HH 網路模型， s-LIF2HH 網路模型，並進行了多任務分類和深度強化學習實驗。結果表明，具有內生複雜性HH 網路模型能夠與更大規模的s-LIF2HH 網路模型在表示能力和穩健性上具有相似的性能，相比更大規模的一般LIF 網路表現出更好的性能。
多任務學習實驗：研究者透過使用Fashion-MNIST 資料集進行多任務學習實驗，結果顯示HH 網路模型能夠與更大規模的s-LIF2HH 網路模型實現相當效能，甚至略優於更大規模的一般LIF 網路（圖3）。
圖3. 內生複雜性的HH 網路模型在多重任務上能與更大規模外生複雜性網路絡性能相當
時序強化學習實驗：研究者在倒立擺（Inverted Pendulum）和倒立雙擺（Inverted Double Pendulum）環境下進行時序強化學習實驗，結果顯示HH 網路模型能夠與更大規模的LIF 網路模型相比，表現出更強的時序資訊擷取能力（圖4）。
性能相當
魯棒性實驗：研究者在多任務學習和深度強化學習任務中加入高斯噪聲，以評估網路的穩健性。實驗結果顯示，更大規模的一般 LIF 網路模型在噪音影響下效能下降幅度最大，而 HH 網路模型和更大規模的 s-LIF2HH 網路模型則表現出更強的穩健性。在噪音強度增加的情況下，HH 網路模型和 s-LIF2HH 網路模型的獎勵曲線仍然保持接近，並且相比一般 LIF 網路模型受到的影響顯著地更小（圖 5）。
實驗證明了內生複雜性模型在處理複雜任務時的有效性和可靠性。同時，研究發現 HH 網路模型在計算資源消耗上更為高效，顯著減少了記憶體和計算時間的使用，從而提高了整體的運算效率。研究團隊透過資訊瓶頸理論對上述研究結果進行了解釋。除此之外，小規模的模型外部結構相對簡單，更容易理解其決策過程，也提高了模型的可解釋性和安全性。
結語與展望
具有內生複雜性的小型模型為 AI 的發展帶來了新的機會。透過模擬生物神經元的複雜動力學，優化模型的局部微結構擴展內生複雜性，我們可以建立更有效率、更強大的 AI 模型，並克服外部複雜性大型模型的困境。未來，拓展內生複雜性或將成為 AI 研究的重要方向，並推動 AI 技術走向更廣泛的應用。
本研究為將神經科學的複雜動力學特性融入人工智慧提供了新的方法和理論支持，為實際應用中的 AI 模型優化和性能提升提供了可行的解決方案。目前，研究團隊已進行對更大規模HH 網絡，以及具備更大內生複雜性的多分枝多房室神經元的研究，有望進一步提升大模型計算效率與任務處理能力，實現在實際應用場景中的快速落地。
Das obige ist der detaillierte Inhalt vonNatur-Unterjournal |. Basierend auf endogener Komplexität schlägt das neue gehirnähnliche Netzwerk des Instituts für Automatisierung eine Brücke zwischen künstlicher Intelligenz und Neurowissenschaften. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
