脳内トランスフォーマーもあるよ！「海馬」と同じ仕組み-AI-php.cn

作成できません、理解できません —— フェイマン

## 人工知能を作成したい場合は、まず理解する必要があります。人間の脳の原因はなんと賢いのでしょう。

ニューラルネットワークの誕生とその後の輝かしい発展により、研究者はニューラルネットワークの生物学的説明と生物学的進歩を模索してきました。新しいモデルを開発するため。

脳内トランスフォーマーもあるよ！「海馬」と同じ仕組み

しかし、人工知能分野の研究者たちは、実際にはもっと野心的な目標を掲げています。AI モデルを使用して脳の理解を助ける。

最近の研究では、最も人気のある Transformer モデルは生物学的知識の助けを借りずに開発されたものであるにもかかわらず、その構造は非常によく似ていることが判明しました。人間の脳の海馬構造に。

紙のリンク: https://arxiv.org/pdf/2112.04035.pdf 脳内トランスフォーマーもあるよ！「海馬」と同じ仕組み

研究者らは、Transformer に再帰的位置エンコーディングを装備した後、モデルが海馬形成の空間表現を正確に再現できることを発見しました。

しかし、著者は、Transformer は神経科学における現在の海馬モデル (最も明白なモデル) と密接に関連しているため、この結果には驚かないとも述べています。配置セル

(配置セル)と

グリッドセル(グリッドセル)です。さらに、実験を通じて、Transformer モデルは神経科学バージョンで提供されるモデルと比較してパフォーマンスが大幅に向上していることがわかりました。

この研究は、人工ニューラルネットワークと計算脳ネットワークを組み合わせて、海馬と大脳皮質の間の相互作用について新たな理解を提供し、皮質領域がどのように広範囲の機能を実行するかを示唆しています。言語理解など、現在の神経科学モデルを超えた複雑なタスク。

Transformer は海馬をシミュレートしますか?

人間が自分自身の脳を理解することは依然として困難です。たとえば、「私たちがどこにいるのか、角を曲がったところに何があるのか、そこにどうやって行くのか」を解決するために、脳がどのように空間情報を整理してアクセスするかを研究することは、「まだまだ気の遠くなるような課題です。課題です。」プロセス全体には、メモリネットワーク全体と、それぞれが他の数千のニューロンに接続されている数百億のニューロンからの保存された空間データの呼び出しが含まれる場合があります。

神経科学者は、位置をマッピングするグリッド細胞やニューロンなど、いくつかの重要な要素を特定しましたが、さらに深く進む方法は依然として不明です。研究者は移動できません。人間の灰白質のスライスを分割して研究して見ることができます。画像、音、匂いの位置ベースの記憶がどのように流れ、相互に結びつくのか。

人工知能モデルは、人間の脳を理解する別の方法を提供します。長年にわたり、神経科学者はさまざまな種類のニューラルネットワークを使用して、脳内のニューロンの発火をシミュレートしてきました。

最近の研究では、海馬 (記憶に重要な脳の構造) が基本的にトランスフォーマーモデルに似ていることが示されています。

研究者らは、新しいモデルを使用して、脳の内部動作と同様の方法で空間情報を追跡し、いくつかの注目すべき結果を達成しました。

オックスフォード大学とスタンフォード大学の認知神経科学者であるジェームス・ウィッティントン氏は、これらの脳モデルがトランスフォーマーと同等であることがわかれば、次のように述べています。これは、新しいモデルのパフォーマンスが向上し、トレーニングが容易になることを意味します。

Whittington らの研究で見られるように、Transformer は、グリッドセルや脳の他の部分によって実行されるさまざまな計算を模倣するニューラルネットワークモデルの能力を大幅に向上させることができます。

Whittington 氏は、このようなモデルによって、人工ニューラルネットワークがどのように機能するか、さらには脳内で計算がどのように実行されるかについての理解が進む可能性があると述べています。

Google Brain のコンピューター科学者で、主に Transformer モデルの研究に従事している David Ha 氏は、「私たちは新しい脳を作り直そうとしているわけではないが、新しい脳を作り直すメカニズムは作れるだろうか」と述べています。脳は何ができるの？

Transformer は、自然言語を処理する人工知能の新しいモデルとして 5 年前に初めて提案され、BERT や GPT-3 などの「スターモデル」の秘密兵器でもありました。。これらのモデルは、説得力のある歌詞を生成したり、シェイクスピアのソネットを作曲したり、人間による顧客サービス業務を行ったりすることができます。

Transformer の中核となるメカニズムは自己注意であり、各入力 (単語、ピクセル、シーケンス内の数値など) が常に他のすべての入力に接続されます。その他一般的なニューラルネットワークは、入力を特定の入力に接続するだけです。

Transformer は自然言語タスク専用に設計されましたが、その後の研究により、Transformer が画像の分類などの他のタスクでもうまく機能することが証明され、現在では脳がモデル化されています。

2020年、オーストリアのリンツにあるヨハン・ケプラー大学のコンピューター科学者ゼップ・ホッホライター氏（LSTM論文の筆頭著者）が率いるチームは、トランスフォーマーを使用して強力で長寿命のシステムを再利用しました。用語既存のメモリ検索モデルのホップフィールドネットワーク。

プリンストンの物理学者ジョンホップフィールドによって 40 年前に最初に提案されたこれらのネットワークは、同時に活動するニューロンが相互に強い接続を確立するという一般規則に従っています。

ホッホライターと彼の共同研究者らは、研究者は常に記憶回復のより良いモデルを探しており、新しいクラスのホップフィールドネットワークがどのように記憶を回復し、トランスフォーマーがどのように注意を実行するかを観察したと述べました。。

MIT-IBM ワトソン人工知能研究所のホップフィールドとドミトリークロトフによって開発されたこれらの新しいホップフィールドネットワークは、標準のホップフィールドネットワークよりも効率的な接続を特徴としており、より多くのメモリを保存および取得できます。

脳内トランスフォーマーもあるよ！「海馬」と同じ仕組み

論文リンク: https://papers.nips.cc/paper/2016/hash/eaae339c4d89fc102edd9dbdb6a28915-Abstract.html

Hochreiter のチームは、Transformer のアテンションメカニズムと同様のルールを追加することで、これらのネットワークをアップグレードしました。

2022 年に、この新しい論文は Hochreiter の方法をさらに調整し、Transformer を修正して、メモリを線形シーケンスとして扱うのではなく、文中の単語の文字列のように扱い、メモリを次のようにエンコードするようにしました。高次元空間の座標。

研究者らは、この「ひねり」により、神経科学タスクにおけるモデルのパフォーマンスがさらに向上すると述べています。実験結果は、このモデルが神経科学者が fMRI スキャンで見るグリッド細胞の発火パターンのモデルと数学的に同等であることも示しました。

ユニバーシティ・カレッジ・ロンドンの神経科学者キャズウェル・バリー氏によると、グリッド細胞は、印象的なパターンを持つ刺激的で美しく規則的な構造をしており、ランダムに出現する可能性が高すぎるという。

この新しい研究は、トランスフォーマーが海馬で観察されたパターンをどのように正確に再現するかを示しています。

脳内トランスフォーマーもあるよ！「海馬」と同じ仕組み

また、Transformer モデルは、以前の状態とどのように移動したかに基づいて、重要な方法で、モデルがどこにあるのかを把握できることにも気づきました。従来のグリッドセルモデルに組み込まれます。

他の最近の研究でも、トランスフォーマーが他の脳機能の理解を進めることができることが示唆されています。

昨年、MIT の計算神経科学者 Martin Schrimpf は、fMRI と皮質電図検査によって報告される人間の神経活動測定に対するそれらの影響を理解するために、43 の異なるニューラルネットワークモデルを分析しました。

脳内トランスフォーマーもあるよ！「海馬」と同じ仕組み

彼は、Transformer が現在最先端の最先端のニューラルネットワークであり、画像処理で見られるほぼすべての変化を予測できることを発見しました。

David Ha 氏と Yujin Tang 氏はコンピューター科学者でもあり、最近、意図的に大量のデータをランダムかつ無秩序な方法で Transformer に入力し、人体がどのように変化するかをシミュレートできるモデルを設計しました。データを脳に送信し、感覚観察を送信します。 Transformer は、私たちの脳と同じように、無秩序な情報の流れをうまく処理できることが判明しました。

脳内トランスフォーマーもあるよ！「海馬」と同じ仕組み