人間の脳の 90% は自己教師あり学習です。大規模な AI モデルは脳のシミュレーションからどの程度まで進んでいますか?

人間の脳の 90% は自己教師あり学習であり、生物は次に何が起こるかを常に予測していることは誰もが知っています。自己教師あり学習とは、外部の介入なしに意思決定ができ​​ることを意味します。先生から「間違えたね」と言われるなど、外部からのフィードバックを受け入れるケースは少ないです。現在、一部の学者は、大規模な言語モデルの自己教師あり学習メカニズムが私たちの脳に非常によく似ていることを発見しました。有名な人気科学メディアであるQuanta Magazineは、最近、自己教師あり学習モデル、特に大規模言語モデルの自己学習方法が私たちの脳の学習モデルに非常に似ていることが判明する研究が増えていると報告しました。 。

これまでの一般的な AI システムでは、大量のトレーニング用のラベル付きデータ。たとえば、トラ猫とトラ猫を正しく区別できるように人工ニューラル ネットワークをトレーニングするために、画像に「トラ猫」または「トラ猫」というラベルを付けることができます。

# この種の「自己指導型」トレーニングには、手動でのトレーニングが必要です。骨の折れる作業 データにラベルを付けると、ニューラル ネットワークは多くの場合、ショートカットを使用して、ラベルを最小限の、場合によっては表面的な情報に関連付けることを学習します。たとえば、牛は野原で撮影されることが多いため、ニューラル ネットワークは草の存在を利用して牛の写真を識別する可能性があります。カリフォルニア大学バークレー校のコンピューター科学者、アレクセイ・エフロス氏は、「私たちが訓練しているアルゴリズムは、一学期ずっと授業に出席していない学部生のようなもので、彼らは体系的に内容を勉強していなかったものの、勉強したのです」と述べた。まあ試験で。

さらに、動物の知能と機械の知能の交差点に興味のある研究者にとって、この種の「教師あり学習」はそれに限定される可能性があります。生物学的な脳。人間を含む多くの動物は、ラベル付きデータセットを学習に使用しません。ほとんどの場合、彼らは自分たちの環境を自分で探索し、そうすることで世界について豊かで深い理解を獲得します。

#現在、一部の計算神経科学者は、人間がラベル付けしたデータをほとんど、またはまったく使用せずに訓練されたニューラル ネットワークの調査を開始しています。最近の発見は、自己教師あり学習モデルを使用して構築された動物の視覚および聴覚システムの計算モデルが、教師あり学習モデルよりも脳機能により近いことを示唆しています。

#一部の神経科学者にとって、人工ニューラル ネットワークは、脳を機械学習のアナロジーとして使用する方法を明らかにし始めているようです。

欠陥のある監督

約 10 年前、人工ニューラル ネットワークにヒントを得た脳モデルが登場し始め、同時にAlexNet ニューラル ネットワークは、未知の画像を分類するタスクに革命をもたらしました。

この結果は、Alex Krizhevsky、Ilya Sutskever、Geoffrey E. Hinton による論文「ディープ畳み込みニューラル ネットワークによる ImageNet 分類」で発表されました。

論文アドレス: https://dl.acm.org/doi/10.1145/3065386 すべてのニューラル ネットワークと同様、このネットワークは複数の層で構成されています異なるニューロン間の接続の重みが異なる人工ニューロンで構成されます。

ニューラル ネットワークが画像を正しく分類できない場合、学習アルゴリズムはニューロン間の接続の重みを更新して、次のラウンドでの誤分類の可能性を減らします。トレーニングセックスのこと。アルゴリズムは、ネットワークのエラー率が許容できる低さになるまで、重みを調整しながらこのプロセスを複数回繰り返します。その後、神経科学者は AlexNet を使用して霊長類の視覚システムの最初の計算モデルを開発しました。

サルと人工ニューラルネットワークに同じ画像を見せた場合、本物のニューロンと人工ニューロンの活動は同様の反応を示しました。聴覚と匂いの検出の人工モデルでも同様の結果が得られました。しかし、この分野が発展するにつれて、研究者たちは自己指導型トレーニングの限界に気づきました。 2017年、ドイツのテュービンゲン大学のコンピュータ科学者レオン・ゲイティス氏とその同僚は、フォード・モデルTの写真を撮影し、その写真をヒョウの皮の模様で覆った。

そして、人工知能ニューラル ネットワークが元の画像を正しく分類しました。モデル T として表示されますが、変更されたイメージはヒョウとして表示されます。その理由は、画像のテクスチャのみに焦点を当てており、車（またはヒョウ）の形状を理解していないためです。自己教師あり学習モデルは、このような問題を回避するように設計されています。スイスのバーゼルにあるフリードリヒ・ミシェル生物医学研究所の計算神経科学者フリーデマン・ゼンケ氏は、

このアプローチでは、人間がデータにラベルを付けることはありません。代わりに、ラベルはデータ自体から取得されます。自己教師ありアルゴリズムは基本的にデータにギャップを作成し、ニューラル ネットワークにギャップを埋めるように要求します。

# たとえば、いわゆる大規模言語モデルでは、トレーニング アルゴリズムはニューラル ネットワークに文の最初の数単語を示し、次のように要求します。次の単語を予測します。インターネットから収集した大量のテキストを使用してトレーニングすると、モデルは言語の構文構造を学習したように見え、外部のラベルや監視なしで驚くべき言語能力を実証しました。同様の取り組みがコンピュータビジョンでも進行中です。 2021年末、何開明氏らは有名なマスクされたオートエンコーダーの研究「Masked Auto-Encoder」（MAE）を実証した。

#論文アドレス: https://arxiv.org/abs /2111.06377 MAE は、マスクされていない部分を潜在表現 (オブジェクトに関する重要な情報を含む圧縮された数学的記述) に変換します。画像の場合、基礎となる表現は、画像内のオブジェクトの形状を含む数学的記述である可能性があります。次に、デコーダはこれらの表現を完全なイメージに変換し直します。

脳も「自己監視」である

このようなシステムでは、一部の神経科学者は次のように考えています。つまり、私たちの脳は実際には自己教師あり学習を行っているのです。マギル大学とケベック人工知能研究所（ミラ）の計算神経科学者であるブレイク・リチャーズ氏は、「脳の活動の90パーセントが自己教師あり学習であることに疑問の余地はないと思います。生物学的な脳は常にそれを行っていると考えてください」と述べています。たとえば、画像やテキストのギャップを予測しようとする自己教師あり学習アルゴリズムとよく似た、オブジェクトの移動に伴う将来の位置や文内の次の単語を予測します。

## 計算神経科学者 Blake Richards は、生体を模倣する AI システムを作成しました 脳内の視覚ネットワーク Richards と彼のチームは、答えを示唆する自己教師ありモデルを作成しました。彼らは、2 つの異なるニューラル ネットワークを組み合わせた人工知能を訓練しました。

ResNet アーキテクチャと呼ばれる 1 つ目は画像を処理するために設計されており、2 つ目はリカレント ネットワークと呼ばれ、以前の入力シーケンスを追跡し、画像を予測することができます。次に期待される入力。共同 AI をトレーニングするために、チームは一連のビデオ (たとえば 10 フレーム) から開始し、ResNet にそれらを 1 つずつ処理させます。

#次に、リカレント ネットワークは、前の 10 フレームを単純に照合するのではなく、フレーム 11 の潜在的な表現を予測します。自己教師あり学習アルゴリズムは、予測値を実際の値と比較し、より適切な予測を行うために重みを更新するようにニューラル ネットワークに指示します。

#研究者らは、さらにテストするために、シアトルのアレン脳科学研究所の研究者らが以前に見せた一連のビデオを AI に見せました。マウスのビデオ。霊長類と同様に、マウスには静止画像と動き専用の脳領域があります。アレンの研究者らは、マウスがビデオを見ている間、マウスの視覚野の神経活動を記録した。

#リチャーズのチームは、AI と生きた脳がビデオに反応する方法に類似点があることを発見しました。訓練中に、人工ニューラルネットワークの1つの経路はマウスの脳の腹側の物体検出領域に似るようになり、別の経路は動きに焦点を当てた背側の領域に似るようになりました。

これらの結果は、私たちの視覚システムには、視覚の将来を予測するのに役立つ 2 つの特殊な経路があり、単一の経路だけでは十分ではないことを示唆しています。人間の聴覚系のモデルも同様の話をします。 6月、Meta AIの研究科学者ジャンレミ・キング率いるチームは、ニューラルネットワークを使用して音声を潜在表現に変換するWav2Vec 2.0と呼ばれる人工知能を訓練した。研究者らは、これらの表現の一部をマスクし、コンバーターと呼ばれるニューラル ネットワークの別のコンポーネントに入力しました。

#トレーニング プロセス中に、コンバーターはブロックされた情報を予測します。その過程で、AI 全体として、やはりラベルを必要とせずに音を基礎的な表現に変換する方法を学習します。チームはネットワークのトレーニングに約 600 時間の音声データを使用しました。 「子供が最初の2年間の経験で得られるものはこれくらいだ」とキング氏は語った。

# Meta AI の Jean-Remy King は、開発された人工知能のトレーニングを支援しましたこのシステムは、脳を模倣した方法で音声を処理します。その一部は、次に何が起こるかを予測することによって行われます。システムがトレーニングされると、研究者は、英語、フランス語、北京語でオーディオブックの部分を再生し、AI にそのパフォーマンスを比較しました。 MRI スキャンで脳を画像化している間、同じ長さの音声を聞いた 3 つの言語を母語とする 412 人からのデータ。

結果は、fMRI画像にはノイズが多く解像度が低いにもかかわらず、AIニューラルネットワークと人間の脳は「相互に相関しているだけではない」ことを示しています。だけでなく、体系的な方法でも機能します。「関係する方法」。 AI の初期層の活動は一次聴覚野の活動と一致しますが、AI の最深層の活動は前頭前野などの脳の高次レベルの活動と一致します。 「

これは美しいデータであり、決定的なものではありませんが、私たちが言語をどのように学習するかを示す説得力のある証拠です。データの多くは、次に何を言うかを予測しています。」 #同意しない人がいます: シミュレートされた脳?モデルとアルゴリズムははるかに遅れています

もちろん、誰もがこの意見に同意するわけではありません。

MIT の計算神経科学者である Josh McDermott は、教師あり学習と自己教師あり学習を使用して視覚と聴覚のモデルを研究しました。彼の研究室は、人間にとっては捉えどころのないノイズに過ぎない合成音声および映像信号を設計しました。

#しかし、人工ニューラル ネットワークにとって、これらの信号は実際の言語や画像と区別できないように見えます。これは、自己教師あり学習であっても、ニューラル ネットワークの奥深くで形成される表現が、私たちの脳内の表現と同じではないことを示しています。マクダーモット氏は、「これらの自己教師あり学習方法は、すべてのラベルを必要とせずに多くの認識動作をサポートできる表現を学習できるため、改善されています。しかし、教師ありモデルにはまだ多くの特徴があります。」

アルゴリズム自体にもさらなる改善が必要です。たとえば、Meta AI の Wav2Vec 2.0 モデルでは、AI は音の潜在的な表現を数十ミリ秒だけ予測します。これは、単語の予測はおろか、人間がノイズ音節を発声するのにかかる時間よりも短いです。

#人間の脳に本当に似た AI モデルを作成するには、やるべきことがまだたくさんあるとジン氏は言います。これまでに発見された脳と自己教師あり学習モデルとの類似点が他の感覚課題にも当てはまるとすれば、私たちの脳が持つ奇跡的な能力が何であれ、何らかの形で自己教師あり学習が必要であることを示すさらに強力な兆候となるでしょう。

以上が人間の脳の 90% は自己教師あり学習です。大規模な AI モデルは脳のシミュレーションからどの程度まで進んでいますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。