


脳内には本当に ResNet が存在します。 10年以上かけて3,000個のニューロンと50万個以上のシナプスを再構築した世界初の「ショウジョウバエ脳コネクトーム」を公開!
現代の深層学習は、「生物学的ニューラル ネットワーク」の模倣からずっと脱却してきましたが、生物学的脳の動作メカニズムを理解することは、将来のニューラル ネットワーク モデルの開発に依然として非常に役立ちます。
脳回路の構造は脳の計算能力に影響しますが、これまでのところ、一部の非常に単純な生物を除いて、脳の特定の構造は確認されていません。
昨年 11 月、ケンブリッジ大学、ジョンズ ホプキンス大学、ジャネリア リサーチ パークなど、多くのトップ機関の研究者が Biorxiv に関する論文をアップロードしました。長年にわたる困難な研究により、初めて完全に「ショウジョウバエの幼虫」の脳コネクトームが再構築されました。
論文リンク: https://www.science.org/doi/10.1126/science.add9330
3 月 10 日、関連する結果が雑誌「サイエンス」に掲載されました。ジョンズ・ホプキンス大学の准教授で論文著者の一人であるジョシュア・フォーゲルシュタイン氏は、ショウジョウバエは他の生物に比べて多くの点で人間の脳に近いと述べ、意思決定に相当する領域、学習に相当する領域、ナビゲーションに相当する領域があり、ショウジョウバエの幼虫や人間の脳も左右に分かれています。
ショウジョウバエの脳の分析では、リカレント ニューラル ネットワークや多層ネットワーク間のショートカット パス (残差ネットワーク ResNet) など、現代のニューラル ネットワークでもいくつかの結果を見つけることができます。などは、機械学習モデルの改善を促す可能性があります。
良いニュース: 再構成されたショウジョウバエ幼虫の脳コネクトームには 3016 個のニューロンが含まれている
悪いニュース: 人間には860億個のニューロンがあります。 ショウジョウバエ幼虫の脳の完全復元
脳は主に「神経細胞」で構成されており、隣接する神経細胞はシナプス細胞間の接続部で相互作用することができます。信号を送るために、1 つのニューロンが「神経伝達物質」を放出し、別のニューロンがその化学物質を受け取ります。脳内のニューロンとシナプスの完全なマップはコネクトームと呼ばれます。コネクトームを研究することは、脳がどのように行動を生成するかを理解するために非常に重要です。コネクトームを再構築する主なプロセスは、脳を極薄 (20 ミクロン) のスライスに切断し、電子顕微鏡の電子流を使用してスライスを画像化することです。 as 塩粒ほどの大きさのショウジョウバエの幼虫の脳は何千もの断片に切り刻まれており、何か問題があれば最初からやり直さなければなりません。
一部の単純な生物では、完全なコネクトームを構築するのは比較的簡単です。最初に完全に描画されたのは、Caenorhabditis elegans です。全身に 302 個のニューロンしかなく、1980 年代にマッピングされました。
2020 年、Google と Janelia Research Park の研究者は、25,000 個のショウジョウバエのニューロンを含むショウジョウバエの脳コネクトームの 3D モデルをリリースしました。このモデルは、さまざまな細胞型と複数の脳領域にまたがっていますが、完全な脳であるにもかかわらず、成虫のショウジョウバエの 100,000 個のニューロンの 4 分の 1 しか含まれていません。
昆虫、魚、哺乳類など、より大きな脳を持つ動物のコネクトームを研究している研究グループもいくつかあります。ただし、ニューロンの数が多いため、主な研究方法は分割することです。それらを個別に研究すると、空間を越えて相互接続されている脳領域を再構成できなくなります。 今回再構成された完全なコネクトームはキイロショウジョウバエの幼虫のものであり、キイロショウジョウバエは学習、価値計算、行動選択など非常に豊かな行動を示し、成虫と密接に関係しています。ショウジョウバエ ハエとより大きな昆虫は相同な脳構造を持っています。
強力な遺伝ツールを使用して、個々のニューロン タイプを選択的に操作したり、扱いやすい形で記録したりできます。モデル システムでは、コネクトームによって明らかにされる特定のニューロンおよび回路モチーフの機能的役割は、容易にテストできます。
研究チームは、「生後6時間」のキイロショウジョウバエ幼虫の脳を4841個の部分に切断し、高解像度の電子顕微鏡でスキャンし、画像をデジタル化して再組み立てしたそれらを 3 次元画像に変換し、コンピューター分析を利用して生成された最終的なマップには、3,016 個のニューロンと 548,000 個のシナプスが含まれています。
残留ネットワークは内部に隠されています
研究者らは、接続とニューロンの種類、ネットワークハブ)、および神経回路図を含む脳回路構造の詳細な分析を実施しました。
脳の入出力ハブ (入出力ハブ) の大部分 (73%) は、「学習センターのシナプス後中枢」または「学習を促進するドーパミン作動性ニューロン」です。シナプス前中心」; グラフスペクトル埋め込み技術を使用して、シナプス接続に基づいて階層的にクラスター化されたニューロンが、形態や機能などの他の特性に基づいて内部的に一貫している93のタイプに分割されました。
研究者らはまた、脳の多シナプス経路における信号伝播を追跡するアルゴリズムを開発し、フィードフォワード(感覚から出力まで)経路とフィードバック経路、多感覚統合、および半球間の相互作用を分析しました。
脳には、感覚ニューロンから出力ニューロンまでのさまざまな深さで広範な多感覚統合が見られます。複数の相互接続された経路が形成されています。分散処理ネットワーク。
脳は再帰性の高い構造をしており、ニューロンの 41% が長距離の周期的入力を受け取りますが、ループの分布は均一ではなく、ループ率は特に高くなります。学習と行動の選択に関わる領域。高い。
学習を促進するドーパミン作動性ニューロンは、脳内で最も一般的なニューロンの 1 つです。
脳の両半球に投射する反対側のニューロンが多数あり、それらは内外中枢となっています。アウトハブ)、相互にシナプスを形成し、脳の 2 つの半球間の広範なコミュニケーションを促進します。この記事では、脳と神経の間の相互作用も分析しています。
研究者らは、下行性ニューロンが、運動状態の切り替えに重要な役割を果たす小グループの運動前要素を標的としていることを発見しました。
結論
この研究で得られた、ショウジョウバエ幼虫の完全な脳コネクトームは、今後長期にわたる脳機能の他の理論的および実験的研究の基礎を提供するでしょう。この方法と計算ツールは、コネクトームの将来の分析を容易にするでしょう。
脳組織の詳細は動物界によって異なりますが、多くの神経回路構造は保存されています。
将来的には、より多くの他の生物の脳コネクトームがマッピングされるにつれて、異なるコネクトーム間の比較により、生物間だけでなく、共通で潜在的に最適な回路構造も明らかになるでしょう。
ショウジョウバエ幼虫の脳で観察されるいくつかの構造的特徴 (多層ショートカットや顕著な 入れ子ループなど) は、 での の発見高度な人工ニューラル ネットワークは、現在のネットワークの問題を処理タスクの深化と一般化において補うことができる可能性があり、これらの機能は脳の計算能力を向上させ、ニューロン数の生理学的制限を克服することもできます。
脳と人工ニューラルネットワークの類似点と相違点の将来の分析は、脳の計算原理の理解に役立ち、新しい機械学習アーキテクチャにインスピレーションを与える可能性があります。
関連コメント
英国エクセター大学の神経科学教授、ガシュパル・イェカイ氏は、「すべてのニューロンは、脳の構造が再構築され、すべての神経接続が分析されます。同氏はこの取り組みを「非常に重要」だと述べた。
米国ハーバード大学のキャサリン・デュラック氏は、これらのデータがこれらの神経結合の「深い論理」を明らかにしていると信じています。
しかし、ニューヨークのアルバート・アインシュタイン医科大学のスコット・エモンズ氏は、シナプスのマッピングだけでは全体像が得られないと考えています。
エモンズは、2019 年に線虫の雄と雌のコネクトームをマッピングしました。ニューロンはまた、ホルモンなどのゆっくりと放出される化学物質や細胞間のその他の接続を通じて通信します。お互い。これらすべてを考慮する必要がありますが、新しく描画されたコネクトームにはシナプスのみが含まれます。
以上が脳内には本当に ResNet が存在します。 10年以上かけて3,000個のニューロンと50万個以上のシナプスを再構築した世界初の「ショウジョウバエ脳コネクトーム」を公開!の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









現在の深層学習手法は、モデルの予測結果が実際の状況に最も近くなるように、最適な目的関数を設計することに重点を置いています。同時に、予測に十分な情報を取得するには、適切なアーキテクチャを設計する必要があります。既存の方法は、入力データがレイヤーごとの特徴抽出と空間変換を受けると、大量の情報が失われるという事実を無視しています。この記事では、ディープネットワークを介してデータを送信する際の重要な問題、つまり情報のボトルネックと可逆機能について詳しく説明します。これに基づいて、深層ネットワークが複数の目的を達成するために必要なさまざまな変化に対処するために、プログラマブル勾配情報 (PGI) の概念が提案されています。 PGI は、目的関数を計算するためのターゲット タスクに完全な入力情報を提供することで、ネットワークの重みを更新するための信頼できる勾配情報を取得できます。さらに、新しい軽量ネットワーク フレームワークが設計されています。

大規模言語モデル (LLM) は、自然言語理解、言語生成、複雑な推論などの多くの重要なタスクにおいて説得力のある能力を実証し、社会に大きな影響を与えてきました。ただし、これらの優れた機能には、大量のトレーニング リソース (左の図に示す) と長い推論時間 (右の図に示す) が必要です。したがって、研究者は効率の問題を解決するための効果的な技術的手段を開発する必要があります。さらに、図の右側からわかるように、Mistral-7B などのいくつかの効率的な LLM (LanguageModel) が、LLM の設計と展開にうまく使用されています。これらの効率的な LLM は、LLaMA1-33B と同様の精度を維持しながら、推論メモリを大幅に削減できます。

マインクラフトにおいて、レッドストーンは非常に重要なアイテムです。これはゲーム内でユニークなマテリアルであり、スイッチ、レッドストーン トーチ、レッドストーン ブロックは、ワイヤーやオブジェクトに電気のようなエネルギーを供給できます。レッドストーン回路は、他の機械を制御または起動するための構造を構築するために使用できます。回路自体は、プレイヤーによる手動の起動に応答するように設計することも、信号を繰り返し出力したり、クリーチャーの動きなどの非プレイヤーによって引き起こされる変化に応答したりすることもできます落下、植物の成長、昼と夜など。したがって、私の世界では、レッドストーンは、自動ドア、照明スイッチ、ストロボ電源などの単純な機械から、巨大なエレベーター、自動農場、小型ゲームプラットフォーム、さらにはゲーム内マシンに至るまで、非常に多くの種類の機械を制御できます。 。最近はB局UPメイン@

視覚タスク (画像分類など) の深層学習モデルは、通常、単一の視覚領域 (自然画像やコンピューター生成画像など) からのデータを使用してエンドツーエンドでトレーニングされます。一般に、複数のドメインのビジョン タスクを完了するアプリケーションは、個別のドメインごとに複数のモデルを構築し、それらを個別にトレーニングする必要があります。データは異なるドメイン間で共有されません。推論中、各モデルは特定のドメインの入力データを処理します。たとえそれらが異なる分野を指向しているとしても、これらのモデル間の初期層のいくつかの機能は類似しているため、これらのモデルの共同トレーニングはより効率的です。これにより、遅延と消費電力が削減され、各モデル パラメーターを保存するためのメモリ コストが削減されます。このアプローチはマルチドメイン学習 (MDL) と呼ばれます。さらに、MDL モデルは単一モデルよりも優れたパフォーマンスを発揮します。

3nmプロセス、H100を超える性能!最近、海外メディア DigiTimes が、Nvidia が人工知能 (AI) およびハイパフォーマンス コンピューティング (HPC) アプリケーション向けの製品として、コードネーム「Blackwell」という次世代 GPU である B100 を開発しているというニュースを伝えました。 , B100はTSMCの3nmプロセスと、より複雑なマルチチップモジュール(MCM)設計を採用し、2024年の第4四半期に登場する予定だ。人工知能 GPU 市場の 80% 以上を独占している Nvidia にとって、B100 を使用して鉄は熱いうちに攻撃し、この AI 導入の波において AMD や Intel などの挑戦者をさらに攻撃することができます。 NVIDIA の推定によると、2027 年までに、この分野の生産額は約

論文のアドレス: https://arxiv.org/abs/2307.09283 コードのアドレス: https://github.com/THU-MIG/RepViTRepViT は、モバイル ViT アーキテクチャで優れたパフォーマンスを発揮し、大きな利点を示します。次に、この研究の貢献を検討します。記事では、主にモデルがグローバル表現を学習できるようにするマルチヘッド セルフ アテンション モジュール (MSHA) のおかげで、軽量 ViT は一般的に視覚タスクにおいて軽量 CNN よりも優れたパフォーマンスを発揮すると述べられています。ただし、軽量 ViT と軽量 CNN のアーキテクチャの違いは十分に研究されていません。この研究では、著者らは軽量の ViT を効果的なシステムに統合しました。

マルチモーダル大型モデルの最も包括的なレビューがここにあります。マイクロソフトの中国人研究者7名が執筆した119ページで、すでに完成し、現在も最前線にある2種類のマルチモーダル大規模モデル研究の方向性から始まり、視覚理解と視覚生成という5つの具体的な研究テーマを包括的にまとめている。統合ビジュアル モデル LLM によってサポートされるマルチモーダル大規模モデル マルチモーダル エージェントは、マルチモーダル基本モデルが特殊なモデルから汎用的なモデルに移行したという現象に焦点を当てています。 Ps. 著者が論文の冒頭に直接ドラえもんの絵を描いたのはこのためである。このレビュー (レポート) は誰が読むべきですか? Microsoft の原文では次のようになります。プロの研究者でも学生でも、マルチモーダル基本モデルの基礎知識と最新の進歩を学ぶことに興味がある限り、このコンテンツは参加するのに非常に適しています。

「ComputerWorld」誌はかつて、IBM がエンジニアが必要な数式を書いて提出できる新しい言語 FORTRAN を開発したため、「プログラミングは 1960 年までに消滅するだろう」という記事を書きました。コンピューターを実行すればプログラミングは終了します。画像 数年後、私たちは新しいことわざを聞きました: ビジネスマンは誰でもビジネス用語を使って問題を説明し、コンピュータに何をすべきかを伝えることができます。COBOL と呼ばれるこのプログラミング言語を使用することで、企業はもはやプログラマーを必要としません。その後、IBM は従業員がフォームに記入してレポートを作成できるようにする RPG と呼ばれる新しいプログラミング言語を開発したと言われており、会社のプログラミング ニーズのほとんどはこれで完了できます。
