LeCun 氏は AGI を予測します: 大規模モデルと強化学習の両方が蔓延しています。私の「世界モデル」は新しい方法です

AI 業界で最も有名な現代の巨人の 1 人であり、メタの AI 研究所の魂であるヤン・ルカン氏は、機械に世界の動作概念の基本的な理解を与えることに長年取り組んできました。常識を身につけるAI。 LeCun 氏が過去に行ったことは、ビデオの抜粋を使用してニューラル ネットワークをトレーニングし、毎日のアクティビティ ビデオの次のフレームに何が表示されるかを AI にピクセルごとに予測させることでした。当然のことながら、彼はこのアプローチが壁にぶつかったことを認めました。数か月から 1 年半考えた後、ルカン氏は次世代 AI に関する新しいアイデアを思いつきました。

AI の新しい道

「MIT Technology Review」のインタビューで、LeCun 氏は自身の新たな研究の道筋について次のように述べています。マシンに世界を探索するための常識的な基礎を与えます。 LeCun にとって、これは AGI (汎用人工知能) 構築の第一歩です。人間のように考えることができる機械は、AI 業界の誕生以来、指針となるビジョンであり、最も物議を醸す概念の 1 つでもあります。

しかし、LeCun の新たな道はまだ不完全であり、答えよりも多くの疑問が生じている可能性があります。最大の疑問は、ルカン自身が、彼が説明するような種類の AI を構築する方法がまだわかっていないことを認めていることです。このアプローチの中核となるのは、これまでとは異なる方法で現実世界を観察し、そこから学習できるニューラル ネットワークです。 LeCun 氏は最終的に、AI にビデオの次のフレームをピクセルごとに推測させることを諦め、新しいニューラル ネットワークにタスクを完了するために必要な重要な知識だけを学習させました。

LeCun は、このニューラル ネットワークを「コンフィギュレーター」と呼ばれる別のニューラル ネットワークと組み合わせる計画を立てています。 「コンフィギュレーター」は、メイン ニューラル ネットワークが学習する必要がある詳細を決定し、それに応じてメイン システムを自動的に調整する責任があります。 LeCun にとって、AGI は人間と将来のテクノロジーとの相互作用に不可欠な部分です。もちろん、この見通しは彼の雇用主である Meta Company と一致しており、メタバースの開発に全財産を投資しています。

LeCun氏は、10～15年後にはARグラスが現状のスマートフォンに取って代わるだろうと語った。 AR メガネには、人間の日常活動を支援できる仮想インテリジェント アシスタントが必要です。これらのアシスタントが最も効果的であるためには、多かれ少なかれ人間の脳の知能に追いつく必要があります。

「世界モデル」は AGI の中核です

LeCun の最近の情熱は「世界モデル」であり、彼によると、これはほとんどの動物の脳の基本的な動作モードです。現実世界の場合 シミュレーションを実行します。動物は幼児期から、予測と試行錯誤の方法を使用して知能を発達させます。幼い子供たちは、生後数か月間、現実世界の動きや挫折を観察することで知性の基礎を築きます。

普通の赤ちゃんは、たとえ基礎的な物理学の授業を受けたことがなくても、ニュートンの 3 つの法則を学んだことがなくても、落下する小さな球を何百回も観察することで、重力の存在とその働きについて基本的な理解を持っています。したがって、この種の直感的/暗黙的な推論は、一般の人々によって「常識」と呼ばれます。人間は常識を利用して、現実世界で起こり得るほとんどの未来と不可能な空想を理解し、自分の行動の結果を予測し、それに応じて意思決定を行います。このような人間の知能には、ピクセル精度の詳細も、物理パラメータの包括的なライブラリも必要ありません。たとえ視力がなかったり、読み書きができなくても、知性を正常に活用することができます。

しかし、機械に常識を学習させるのは困難です。今日のニューラル ネットワークでは、根底にあるパターンを漠然と発見し始める前に、何千もの例を示す必要があります。ルカン氏は、知性の基礎は直近の未来を予測する常識的な能力であると述べた。しかし、AI にピクセルごとに予測させることを諦めたルカン氏は、考えを変えたいと語った。 LeCun 氏は、「ペンを空中に持って放したと想像してください。常識的に考えれば、ペンは間違いなく落下しますが、落下の正確な位置は人間の知能の予測の範囲を超えています」と例えました。過去の AI 開発モデルによると、AI はペンが落ちるかどうかを予測し、落ちた正確な位置を取得するために複雑な物理モデルを実行する必要がありました。

今、LeCun はペンが落ちるという常識的な結論だけを AI に予測させようと頑張っていますが、正確な位置については解決の範囲内ではありません。ルカン氏は、これが「世界モデル」の基本パターンであると述べた。

LeCun氏は、基本的な物体認識を完了できる「世界モデル」の初期バージョンを構築し、現在、上記の常識的な予測を学習するためのトレーニングに取り組んでいると述べた。

しかし、LeCun氏は「コンフィギュレーター」の機能をまだ理解していないとのこと。 LeCun 氏の想像における「コンフィギュレーター」AI は、AGI システム全体の制御コンポーネントです。それは、世界モデルがいつでもどのような常識的な予測を行う必要があるかを決定し、そのために世界モデルが処理すべきデータの詳細を調整します。 LeCun 氏は現在、「コンフィギュレーター」が不可欠であると強く信じていますが、この効果を達成するためにニューラル ネットワークをトレーニングする方法を知りません。

「実現可能なテクノロジーのリストを調査する必要がありますが、このリストはまだ存在しません。」 LeCun のビジョンでは、「コンフィギュレーター」と「ワールド モデル」が将来の AGI です。基本的な認知アーキテクチャの中核部分は、世界を認識するための認知モデル、AI を駆動して行動を調整するインセンティブ モデルなどを開発できるベースに基づいています。 LeCun氏は、このようにしてニューラルネットワークは人間の脳のあらゆる部分をうまくシミュレートできると述べた。例えば、「コンフィギュレーター」や「ワールドモデル」は前頭葉の役割、モチベーションモデルはAIの扁桃体などです。

#認知アーキテクチャとさまざまな詳細レベルでの予測モデルはすべて、長年にわたり業界で確立されてきた見解です。しかし、ディープラーニングが AI 業界の主流になると、これらの古いアイデアの多くは時代遅れになります。現在、LeCun 氏は伝統的な通念に立ち返ろうとしています:「AI 研究コミュニティはこれらのことをすっかり忘れています。」

大規模モデルと強化学習は行き止まりです

私たちが昔の道に戻る理由は、ルカンが業界の現在の主流の道は行き止まりに達していると固く信じているからです。 AGIの構築方法に関して、現在AI業界では2つの主流な考え方があります。

第一に、多くの研究者は、自分自身の間違いにつながる道筋を固く信じています。OpenAI の GPT シリーズや DALL-E シリーズと同じように、モデルは大きいほど優れており、大きすぎるほど優れています。臨界点を超え、AIが人間の知性を目覚めさせた。

2 つ目は強化学習です。継続的な試行錯誤と、試行錯誤の結果に応じて AI に賞罰を与えます。これは、DeepMind がさまざまなチェスやカード AI、ゲーム AI を作成するための手法です。この道の信奉者は、報酬インセンティブが正しく設定されている限り、強化学習によって最終的には本物の AGI が作成されると信じています。

Lecun 氏は、ここでの 2 つのタイプの人々はくだらないものであると述べました。「既存の大規模な言語モデルの規模を無限に拡大し、最終的には人間レベルの AI を作成できるようになりますか? この馬鹿げた議論は、 「私は一瞬信じられませんでした。これらのモデルは、現実世界を直接経験することなく、さまざまなテキストと画像データを処理することしかできません。」 「強化学習では、最も単純なタスクを実行するようにモデルをトレーニングするには、膨大な量のデータが必要です。この方法で AGI を実現できる可能性はないと思います。」

業界の人々は、LeCun の見解に対して支持と反対の両方を持っています。 LeCun のビジョンが実現すれば、AI はインターネットに劣らない次世代の基本的な高性能技術となるでしょう。しかし、彼の発表には、彼自身のモデルの性能、インセンティブメカニズム、制御メカニズムなどは含まれていませんでした。しかし、賞賛であろうと批判であろうと、業界関係者はこれらの欠点に直面するのは長い時間がかかることに同意しているため、これらの欠点は些細な問題です。今はルカンですらAGIを作ることができないからだ。

レクン氏自身もこの状況を認めており、新たな理論的道筋の種をまき、後発企業がこれに基づいて成果を上げられることだけを望んでいると述べた。 「この目標を達成するには、あまりにも多くの人員と多大な労力が必要です。私が今これを取り上げているのは、この道が最終的な正しい道だと思うからです。」たとえそれが不可能であっても、ルカン氏は同僚たちに、次のことだけに集中しないように説得したいと考えています。大規模なモデルと強化学習では、心を開くことが最善です。 「人々が時間を無駄にしているのを見るのは嫌いです。」

業界の反応: 称賛と批判の両方

AI 業界のもう一人のリーダーであり良き友人であるヨシュア・ベンジオ氏ルカンさんは、旧友の再会を見て喜びを表した。 「ヤンはこのことについてしばらく話してきましたが、彼がすべての発言を一か所に包括的に要約しているのを見て非常にうれしく思います。ただし、これらは結果の報告ではなく、研究の方向性への応用にすぎません。私たちは通常、それらについて非公開でのみ話し合っています」これを以下に共有しますが、公に話すことのリスクは非常に高いです。」

## DeepMind でゲーム AI AlphaZero の開発を率いる David Silver 氏は、彼のプロジェクト「Criticism」に対するルカンのコメントには反対しているが、彼のビジョンは歓迎している。

「ルカン氏が説明した世界モデルは、確かにエキサイティングな新しいアイデアです。」カリフォルニア州サンタフェ研究所のメラニー・ミッチェル氏もルカン氏に同意し、「業界は深層学習においてこの種のことをまったく見ていません」と述べています。しかし、大きな言語モデルには、メモリと、役割を果たすことができる内部世界モデルのバックボーンの両方が実際には欠けています。」

Google Brain の Natasha Jaques 氏は、これに同意しません。 : 「誰もがその大きな言語を見たことがあります。このモデルは非常に効率的で、多くの人間の知識が組み込まれています。言語モデルがなければ、どうやってルカンが提案した世界モデルをアップグレードできますか? 人間が学習したとしても、その方法は個人的な経験だけではなく、でも、口コミもね。」

以上がLeCun 氏は AGI を予測します: 大規模モデルと強化学習の両方が蔓延しています。私の「世界モデル」は新しい方法ですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。