超大型モデルの登場でAIゲームは終わったのか？ゲイリー・マーカス「道は狭い」

最近、人工知能技術は大規模なモデルで画期的な進歩を遂げており、昨日 Google が提案した Imagen は再び AI 機能に関する議論を引き起こしました。このアルゴリズムは、大量のデータからの事前トレーニング学習を通じて、リアルな画像の構築と言語の理解において前例のない機能を備えています。

多くの人の目から見ると、私たちは一般的な人工知能に近づいていますが、著名な学者でありニューヨーク大学の教授でもあるゲイリー・マーカス氏はそうは考えていません。

最近、彼の記事「オルト・インテリジェンスの新しい科学」は、DeepMind リサーチディレクターのナンド・デ・フレイタス氏の「大規模な勝利」についての見解に反論しました。それを言うこと。

以下は Gary Marcus の原文です:

何十年もの間、AI の分野では、人工知能は自然知能からインスピレーションを得るべきであるという仮定がありました。ジョン・マッカーシーは、AI に常識が必要な理由について独創的な論文「常識を備えたプログラム」を書き、マービン・ミンスキーは人間の思考からインスピレーションを得ようとして有名な本「心の社会」を書きました。その貢献によりノーベル経済学賞を受賞した彼は、「コンピューターが人間の予測された行動をシミュレートできるように、新たに開発されたコンピューター言語がどのようにして心理的プロセスの理論を表現できるのか」を説明することを目的とした有名な「思考のモデル」を執筆しました。 ＃私の知る限り、現在のAI研究者の大部分（少なくともより影響力のある研究者）はまったく気にしていません。代わりに、彼らは私が「オルト・インテリジェンス」と呼ぶものにもっと焦点を当てています（この用語への貢献については Naveen Rao に感謝します）。

オルト・インテリジェンスとは、人間の知能と同じ方法で問題を解決できる機械を構築することを意味するのではなく、人間の行動から得られる大量のデータを知能の代わりに使用することを意味します。現在、Alt Intelligence の主な焦点はスケーリングです。このようなシステムの支持者は、システムが大きければ大きいほど、真の知性、さらには意識に近づくことができると主張しています。

勉強してください オルト・インテリジェンス自体は新しいものではありませんが、それに伴う傲慢さは新しいものです。

私はしばらくの間、現在の人工知能のスーパースターたち、そして人工知能の全分野に携わるほとんどの人々でさえ、人間の認知を軽視し、言語学や認知心理学を無視、あるいは嘲笑しているという兆候をいくつか見てきました。科学、人類学、哲学の分野で。

しかし今朝、オルト・インテリジェンスに関する新しいツイートを発見しました。このツイートの投稿者でディープマインド社の研究ディレクターであるナンド・デ・フレイタス氏は、AIは「今や規模がすべてだ」と宣言した。実際、彼の見解では（おそらく激しいレトリックで意図的に挑発しているのでしょうが）、AI におけるより困難な課題はすでに解決されています。 「ゲームオーバーだ！」と彼は言った。

本質的には、オルト・インテリジェンスを追求することに何も問題はありません。

Alt Intelligence は、インテリジェント システムの構築方法に関する直観 (または一連の直観) を表します。人間の知性の柔軟性と知性に匹敵するシステムを構築する方法をまだ誰も知らないため、これを達成する方法について人々がさまざまな仮説を追求するのは当然のことです。 Nando de Freitas はこの仮説を可能な限り率直に擁護しており、私はそれを Scaling-Uber-Alles と呼んでいます。

もちろん、名前だけですべてがわかるわけではありません。デ・フレイタス氏は、モデルを大きくするだけで成功を期待することはできないことを明確にしています。最近、人々は多くのスケーリングを行っており、いくつかの大きな成功を収めていますが、いくつかの障害にも遭遇しています。デ・フレイタスが現状にどのように直面しているかについて詳しく説明する前に、現状がどのようなものかを見てみましょう。

現状

DALL-E 2、GPT-3、Flamingo、

Gato などのシステムはわかりにくいようです。 、しかし、これらのモデルを注意深く研究したことのある人は、それを人間の知性と混同する人はいないでしょう。 たとえば、DALL-E 2 は、「馬に乗った宇宙飛行士」など、テキストの説明に基づいてリアルな芸術作品を作成できます。また、意外な間違いも犯しやすいもので、例えば、テキスト説明が「青い四角の上に赤い四角」である場合、DALL-E の生成結果は左の図のようになり、右の図は DALL-E によって生成されます。前モデルの結果です。明らかに、DALL-E の生成結果は以前のモデルより劣っています。

アーネスト デイビス、スコット アーロンソン、そして私がこの問題を詳しく調べたところ、多くの同様の例が見つかりました:

さらに、表面的には素晴らしく見える Flamingo にも独自のバグがあります。ディープマインドの上級研究科学者マレー・シャナハン氏はツイートで指摘し、フラミンゴの主著者ジャン・バティスト・アライラック氏は後にいくつかの例を追加した。たとえば、シャナハンはフラミンゴに次の画像を見せました:

# そして、画像をめぐって次のような欠陥のある会話をしました:

It 「何もないところから作られている」ようです。

少し前に、DeepMind は、マルチモーダル、マルチタスク、マルチ具体化された「ゼネラリスト」エージェント Gato もリリースしましたが、小さな文字を見ると、依然として信頼できない場所が見つかります。

もちろん、ディープラーニングの擁護者たちは、人間は間違いを犯すと指摘するでしょう。

しかし、正直な人であれば、これらのエラーは現在何かに欠陥があることを示していることに気づくでしょう。私の子供たちが定期的にこのような間違いを犯しているなら、私は今しているすべてをやめて、すぐに神経科医に連れて行くだろうと言っても過言ではありません。

だから、正直に言いましょう。スケーリングはまだ機能していませんが、可能性はあります。デ・フレイタスの理論は、時代精神を明確に表現しています。

Scaling-Uber-Alles

では、デ・フレイタスは現実と野心をどのように調和させているのでしょうか?実際、今では Transformer や他の多くの関連分野に数十億ドルが投資されており、トレーニング データ セットはメガバイトからギガバイトに拡大し、パラメータのサイズは数百万から数兆に拡大しています。しかし、1988 年以来、数多くの著作で詳細に文書化されてきた不可解な誤りが依然として残っています。

一部の人々 (私のような) にとって、これらの問題の存在は、デイビスと私が「AI の再起動」で指摘したような根本的な再考が必要であることを意味するかもしれません。しかし、デ・フレイタス氏の場合、これは当てはまらない（他の多くの人も彼と同じ考えを持っているかもしれないが、私は彼を特別視するつもりはない。ただ彼の発言がより代表的だと思うだけだ）。

ツイートの中で、彼は現実と現在の問題を調和させることについての見解を詳しく述べ、「(私たちは)モデルをより大きく、より安全に、より計算効率を高め、より速くサンプリングし、より効率的に保存する必要があります。重要なのは、どの単語も認知心理学、言語学、哲学から来ているわけではないということです（記憶力が優れている人はほとんど数えられないかもしれません）。

デ・フレイタス氏は、フォローアップの投稿で次のようにも述べています:

これは、「規模は他のすべてよりも大きい」という彼の発言を改めて裏付けるものであり、それを示しています。その 1 つの目標: その野心は、AI の向上だけではなく、AGI の向上です。

AGI は Artificial General Intelligence (汎用人工知能) の略で、人間の知能と少なくとも同じくらい優れており、機知に富み、広範囲に適用可能です。私たちが現在認識している狭義の人工知能は、実際には代替知能 (代替知能) であり、その象徴的な成功は、チェス (ディープ ブルーは人間の知能とは何の関係もありません) や囲碁 (AlphaGo は人間の知能とほとんど関係ありません) などのゲームです。 。デ・フレイタスにはさらに野心的な目標があり、彼の名誉のために言っておきますが、彼はそれについて非常に率直に語っています。それで、彼はどのようにして目標を達成するのでしょうか？ここで繰り返しますが、de Freitas 氏は大規模なデータセットに対応するための技術ツールに焦点を当てています。哲学や認知科学などの他のアイデアも重要かもしれませんが、除外されます。

彼は「記号哲学は必要ない」と言いました。おそらくこれは、記号操作を認知科学と人工知能に統合しようとする私の長年の運動に対する反論である。このアイデアは最近ノーチラス誌で再び浮上しましたが、完全には詳しく説明されていませんでした。これが私の簡単な答えです：「[ニューラル]ネットは[シンボル]を作成し、それらを操作することに何の問題もありません」という彼の発言は、歴史と現実の両方を無視しています。彼が無視しているのは、多くのニューラル ネットワーク愛好家が何十年もシンボルに抵抗してきた歴史であり、前述の「青い立方体の上に赤い立方体」のような象徴的な記述が依然として 2022 年の SOTA モデルの心を困惑させる可能性があるという現実を無視しています。

ツイートの最後で、デ・フレイタスはリッチ・サットンの有名な記事「苦い教訓」への賛同を表明しました:

サットン氏の主張は、人工知能の進歩につながる唯一のものは、より多くのデータとより効率的な計算である、というものです。私の意見では、サットンは半分しか正しくなく、過去に関する彼の説明はほぼ正しいですが、彼の帰納的な未来予測には説得力がありません。

これまでのところ、ビッグデータは、ほとんどの分野 (もちろんすべての分野ではありません) で、適切に設計された知識エンジニアリングを (一時的に) 打ち負かしています。

しかし、Web ブラウザからスプレッドシート、ワード プロセッサに至るまで、世界中のほぼすべてのソフトウェアは依然としてナレッジ エンジニアリングに依存しており、サットン氏はこれを無視しました。たとえば、Sumit Gulwani の優れたフラッシュ フィル機能は、ビッグ データをまったく前提とせず、古典的なプログラミング手法に基づいて構築された、非常に便利な 1 回限りの学習システムです。

純粋なディープラーニング/ビッグデータ システムがこれに匹敵するものはないと思います。

実のところ、スティーブ ピンカー、ジューデア パール、ジェリー フォーダー、そして私などの認知科学者たちが何十年も指摘してきた人工知能に関する重要な問題は、実際にはまだ解決されていません。はい、マシンはゲームを非常に上手にプレイでき、ディープラーニングは音声認識などの分野で多大な貢献をしてきました。しかし、現在のところ、あらゆるテキストを認識し、正常に会話してタスクを完了できるモデルを構築するのに十分な理解を備えた人工知能は存在しません。また、映画「スタートレック」のコンピューターのように推論して一貫した応答を生成することもできません。

私たちはまだ人工知能の初期段階にいます。

特定の戦略を使用して一部の問題に成功したとしても、すべての問題を同様の方法で解決できるとは限りません。特に、一部の故障モード (信頼性の低さ、奇妙なバグ、組み合わせの失敗、理解不能) が 1988 年に Fodor と Pinker によって指摘されて以来変わっていない場合には、これに気づかないのはまったく愚かです。 結論

DeepMind においてさえ、Scaling-Über-Alles がまだ完全に合意されていないことがわかってうれしいです:

Iマレー・シャナハン氏の意見に完全に同意します。「スケーリングだけで人類レベルの一般化が達成できることを示唆するものは、ガトーにはほとんど見当たりません。」

たまたままだ完全に開発されていないアイデアを時期尚早に破棄することなく、人々が自分の研究をさまざまな方向に進めることができる、十分にオープンな考え方を持つ分野を奨励しましょう。結局のところ、（一般的な）人工知能への最善の道は、代替知能ではない可能性があります。

前に述べたように、私は Gato を「代替インテリジェンス」、つまりインテリジェンスを構築する別の方法の興味深い探求として考えたいと思っていますが、それを大局的に考える必要があります。脳は、子供のように学習せず、言語を理解せず、人間の価値観と一致せず、重要なタスクを完了することを信頼できません。

これは、現在私たちが持っている他のものよりも優れているかもしれませんが、それでも実際には機能せず、多額の投資を行った後でも、一時停止する時期が来ています。

それは私たちを人工知能スタートアップの時代に戻すはずです。人工知能は人間の知能の盲目的なコピーであってはなりませんが、結局のところ、人工知能には、記憶力の低下や認知バイアスに悩まされる独自の欠陥があります。しかし、手がかりとして人間と動物の認知に目を向けるべきだ。ライト兄弟は鳥の真似をしたわけではありませんが、飛行制御については何かを学びました。何を学ぶことができ、何から学ぶことができないかを知ることが、成功の半分以上を占めるかもしれません。

私が思うに、肝心なのは、AI がかつては大切にしていたものの、今は追求していないものであるということです。AGI を構築するつもりなら、人間から何かを学ぶ必要があるでしょう。つまり、人間がどのように物理世界を推論し、理解するのか、そして言語や複雑な概念をどのように表し、獲得するのか。

この考えを否定するのはあまりにも傲慢です。

以上が超大型モデルの登場でAIゲームは終わったのか？ゲイリー・マーカス「道は狭い」の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。