Nature子刊 | 基於內生複雜性，自動化所新類腦網路構築人工智慧與神經科科學的橋樑

AIxiv專欄是本站發布學術、技術內容的欄位。過去數年，本站AIxiv專欄接收通報了2,000多篇內容，涵蓋全球各大專院校與企業的頂尖實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或聯絡報道。投稿信箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本篇工作發表在《Nature Computational Science》上，共同通訊作者是中國科學院自動化所李國齊研究員、徐波研究員，北京大學科學院教授。共同一作是清華大學錢學森班的本科生何林軒（自動化所實習生）、數理基科班本科生徐蘊輝（自動化所實習生），清華大學精儀系博士生何煒華和林逸晗。

讓模型具有更廣泛和通用的認知能力，是當前人工智慧（AI）領域發展的重要目標。目前流行的大模型路徑是基於 Scaling Law (尺度定律) 去構建更大、更深和更寬的神經網路提升模型的表現，可稱之為 “基於外生複雜性” 的通用智能實現方法。然而，這條路徑也面臨著一些難以克服的困境，例如高昂的計算資源消耗和能源消耗，並且在可解釋性方面存在不足。

人工智慧與神經科學長期以來相互依存，協同發展。為了克服「基於外生複雜性」 實現通用智能的困境，中國科學院自動化研究所李國齊、徐波研究團隊聯合清華大學、北京大學等借鑒大腦神經元複雜動力學特性，提出了「基於內生複雜性」 的類腦神經元模型建構方法（圖1），改善了傳統模型透過向外拓展規模帶來的計算資源消耗問題，為有效利用神經科學發展人工智慧提供了範例。 Nature Computational Science 期刊對此評論道：「AI 研究更加貼近工程與應用，而神經科學的研究更加具有探索性。研究團隊挑戰了這一傳統觀點，並表明更詳細且生物學上更真實的神經元模型可以推動深度學習取得更大進展。 /www.nature.com/articles/s43588-024-00677-6

         「外生複雜性」 與「內生複雜性」 定義示意圖。內生複雜性是指向內借鏡大腦神經元複雜動力學特性建構神經網路基元模型

具有內生複雜性的小網路模型：生物神經元的啟示

生物神經元具有複雜的內部結構，例如離子通道、突觸傳遞機制等，這些複雜的內部結構使得神經元能夠處理複雜的訊號並產生多樣化的反應。相較之下，目前的人工脈衝神經網路模型，例如經典的 LIF （Leaky Integrate and Fire）網絡，通常採用簡單的內部結構，難以模擬生物神經元的複雜動力學和功能。

在這項研究中，研究者提出了「具有內生複雜性的小網路模型」 這個概念，其核心思路是透過模擬生物神經元的複雜動力學，將複雜的內部結構引入單一神經元，從而建構更有效率的AI 模型。例如在本研究中，研究者在脈衝神經網路中使用 HH（Hodgkin-Huxley）模型來取代傳統的 LIF 模型。作為一種描述神經元動作電位產生機制的數學模型，HH 模型具有由複雜的內部結構帶來的精細動力學，可以模擬神經元對各種刺激的反應。 從外生複雜性至內生複雜性的轉化

理論動力學推導與模擬

研究チームは、活動電位発生メカニズムにおいてHHモデルとLIFモデルの間に一定の等価関係があること、つまり、1つのHHニューロンが4つの時変パラメータLIFニューロンと相互作用できることを理論的に証明しました(tv- LIF) は特定の方法で微細構造上の等価物を形成し、各 LIF ニューロンは HH モデルのイオン チャネルを記述します。この等価性に基づいて、コンピューティング ユニットの内因性の複雑さは微細構造を設計することで改善できるため、HH ネットワーク モデルは大規模な LIF ネットワーク モデルの動的特性をシミュレートし、より小規模なネットワーク構造で同様の結果を得ることができます。機能。

研究チームは、ニューロン刺激入力をシミュレートし、ネットワーク出力を比較することにより、理論をシミュレーションして検証しました。同じ入力刺激の下で、より高い外生的複雑性を備えた tv-LIF ネットワークは、HH モデルと同じ出力応答を生成できます。さらに、4つのtv-LIFニューロンから構築された「HHモデル」（tv-LIF2HH）をs-LIF2HHモデルに簡略化し、この簡略化したモデルでもHHの動的な挙動を捉えられる可能性を残していることをシミュレーション実験により検証しました。モデル (図 2)。

^{ニューロンは等価性を維持できる 動的動作は、計算タスクを簡素化した後も同様の動的動作を維持できる}

ネットワーク学習実験の比較

シミュレーションを通じて同じ刺激下での異なるネットワークの動的挙動を研究することに加えて、研究者らは、より大規模な HH ネットワーク モデルである s-LIF2HH ネットワーク モデルを構築し、マルチタスク分類と深層強化学習の実験を実施しました。結果は、内因性の複雑性を持つ HH ネットワーク モデルが、表現能力と堅牢性の点で大規模な s-LIF2HH ネットワーク モデルと同様のパフォーマンスを持ち、大規模な一般的な LIF ネットワークよりも優れたパフォーマンスを示すことを示しています。

• マルチタスク学習実験: 研究者は、Fashion-MNIST データセットを使用してマルチタスク学習実験を実施しました。結果は、HH ネットワーク モデルが競合できることを示しました。大規模な s-LIF2HH ネットワーク モデルは、大規模な一般的な LIF ネットワークよりもわずかに優れている、同等のパフォーマンスを実現します (図 3)。

^{パフォーマンスタスクの規模は、より大きな外因性複雑度ネットワークのタスクに匹敵する可能性があります}

• 逐次強化学習実験: 研究者は倒立振子を実行しました ( 時間強化学習実験は、倒立振子および倒立二重振子環境下で実施されました。その結果、HH ネットワーク モデルは、大規模な LIF ネットワーク モデルと比較して、より強力な時間情報抽出能力を示すことができました (図 4)。

^{図 4. HH ネットワーク モデル時系列における内生的な複雑性 パフォーマンス強化学習タスクの強度は、より大きな外因性複雑度ネットワークのそれに匹敵します。ガウス ノイズが学習タスクと深層強化学習タスクに追加され、ネットワークの堅牢性が評価されます。実験結果は、大規模な一般 LIF ネットワーク モデルがノイズの影響下で最も大きなパフォーマンス低下を受けるのに対し、HH ネットワーク モデルと大規模な s-LIF2HH ネットワーク モデルはより強いロバスト性を示すことを示しています。ノイズ強度が増加しても、HH ネットワーク モデルと s-LIF2HH ネットワーク モデルの報酬曲線は近いままであり、一般的な LIF ネットワーク モデルよりも影響が大幅に小さくなります (図 5)。}

図 5. HH ネットワーク モデル内因性の複雑さはさらに大きくなりますスケール外因的複雑さのネットワークは堅牢性が優れています

実験により、複雑なタスクを処理する際の内生複雑性モデルの有効性と信頼性が証明されました。同時に、この研究では、HH ネットワーク モデルはコンピューティング リソースの消費効率が高く、メモリの使用量とコンピューティング時間が大幅に削減され、それによって全体的なコンピューティング効率が向上することがわかりました。研究チームは上記の研究結果を情報ボトルネック理論で説明した。さらに、小規模モデルの外部構造は比較的シンプルであるため、意思決定プロセスが理解しやすくなり、モデルの解釈可能性と安全性も向上します。

結論と展望

内因性の複雑さを伴う小さなモデルは、AI の開発に新たな機会をもたらします。生物学的ニューロンの複雑なダイナミクスをシミュレートし、モデルの局所的な微細構造を最適化して内因性の複雑さを拡張することで、より効率的で強力な AI モデルを構築し、外部の複雑さによる大規模モデルのジレンマを克服できます。将来的には、内因性の複雑性の拡大が AI 研究の重要な方向性となり、AI 技術の幅広い応用が促進される可能性があります。

この研究は、神経科学の複雑な動的特性を人工知能に統合するための新しい方法と理論的サポートを提供し、実際のアプリケーションにおけるAIモデルの最適化とパフォーマンス向上のための実現可能なソリューションを提供します。現在、研究チームは、より大規模なHHネットワークと、より内因性の複雑性を備えた多分岐マルチコンパートメントニューロンの研究を行っており、大規模モデルの計算効率とタスク処理能力がさらに向上し、実用化されることが期待されています。アプリケーションシナリオ。

以上是Nature子刊 | 基於內生複雜性，自動化所新類腦網路構築人工智慧與神經科科學的橋樑的詳細內容。更多資訊請關注PHP中文網其他相關文章！