ディープラーニングは10年経って壁にぶつかりましたか?ヒントン、ルカン、リー・フェイフェイはそうは思わない。

2012 年に AlexNet に代表されるディープラーニング技術の躍進から 10 年が経ちました。

10 年後、現在チューリング賞受賞者であり、ImageNet Challenge の主な発起人および推進者でもあるジェフリー ヒントンとヤン ルカンは、リー フェイフェイ氏は、画像ネット チャレンジにおける AI テクノロジーの画期的な進歩をどのように見ていますか?過去10年？今後 10 年間の技術開発についてどのように判断しますか?

最近、海外メディア VentureBeat による独占インタビュー記事により、AI コミュニティがこれらの問題について議論し始めました。

LeCun 氏の見解では、過去 10 年間の最も重要な成果には、自己教師あり学習、ResNets、ゲート注意動的な接続グラフ、微分可能ストレージ、および順列が含まれます。マルチヘッドセルフアテンショントランスフォーマーなどの等価モジュール。

ヒントンは、AI 分野における急速な開発の勢いが今後も加速すると信じています。以前、同氏やAI分野の他の著名人らは「ディープラーニングは壁に突き当たった」という見方に反論した。ヒントン氏は、「人間よりも柔軟で機敏で従順なロボットが、人間よりも効率的かつ穏やかに物事を行うなど、ロボット工学の大きな進歩が見られます。」

GeoffreyHinton。画像出典: https://www.thestar.com/

LeCun 氏と Li Feifei 氏は、2012 年の ImageNet データセットに基づく一連の画期的な研究によってコンピューター ビジョン、特に深度が開拓されたというヒントン氏の意見に同意しています。学習分野における大きな進歩により、ディープラーニングが主流となり、開発の勢いが止まらなくなりました。 Li Feifei 氏は、2012 年以降のディープラーニングの変化は夢を超えていたと語った。

李飞飞

しかし、成功はしばしば批判につながります。最近、ディープラーニングの限界を指摘する意見が多く、ディープラーニングの成功は狭い範囲に限定されていると考えられています。これらの見解は、ディープラーニングは、人間が最終的に望ましい汎用人工知能（AIの推論能力が真に人間に似ている）を実現するのに役立つと主張する根本的なブレークスルーを達成できないと主張しています。

著名な AI 学者で Robust.AI の創設者であるゲイリー・マーカス氏は、今年 3 月に「ディープラーニングが壁にぶつかる」という記事を発表しました。学習はほぼ終わりに近づいており、AI 分野全体が新しい活路を見つけなければなりません。その後、ヒントンとルカンの両方が彼の意見に反論し、それがサークル内での激しい議論を引き起こした。

#批判の声は続いていますが、コンピュータ ビジョンや言語などの主要なアプリケーションで大きな進歩があったことを否定することはできません。また、何千もの企業がディープラーニングの力を実感し、レコメンデーション エンジン、翻訳ソフトウェア、チャットボットなどで目覚ましい成果を上げています。

2022 年になり、AI が急成長した過去 10 年間を振り返ったとき、ディープラーニングの進歩から何が学べるでしょうか?世界を変えるこの革新的なテクノロジーは、将来的には良くなるのか、それとも下り坂になるのでしょうか?ヒントン、ルクン、リー・フェイフェイらはこれについて意見を表明した。

2012 年、ディープラーニング革命が始まりました

ヒントンは、ディープラーニング革命の到来を常に信じてきました。 1986 年、ヒントンらの論文「誤差の逆伝播による学習表現」では、多層ニューラル ネットワークをトレーニングするための逆伝播アルゴリズムが提案され、これが人工知能の未来であると彼は強く信じていました。その後、1989 年にバックプロパゲーションと畳み込みニューラル ネットワークの使用の先駆者となった LeCun 氏もこれに同意しました。

Hinton 氏や LeCun 氏らは、多層ニューラル ネットワークなどの深層学習アーキテクチャは、コンピュータ ビジョン、音声認識、自然言語処理、機械翻訳などの分野に適用でき、次のような結果を生み出すことができると考えています。人間の専門家に匹敵する、あるいはそれを上回る結果が得られます。同時に、Li Feifei 氏は、アルゴリズムが正しい限り、ImageNet データセットがコンピューター ビジョンとディープ ラーニングの研究を前進させる鍵となるという、固く信じられている仮説も提唱しました。

2012 年に、Alex Krizhevsky、Ilya Sutskever、Hinton による論文「ディープ畳み込みニューラル ネットワークによる ImageNet 分類」が発表されました。この論文では、ImageNet データ セットを使用して、誰もがよく知っている AlexNet ニューラル ネットワーク アーキテクチャを作成しました。現在ではおなじみの存在であり、その年の ImageNet コンペティションチャンピオンシップで優勝しました。この当時の画期的なアーキテクチャは、さまざまな画像を分類する際に、以前の方法よりもはるかに正確でした。

論文アドレス: https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

この研究は、ImageNet データの方が強力であると言えます。 GPU ハードウェアのサポートにより、Google フォト、Google 翻訳、Amazon Alexa、OpenAI DALL-E、DeepMind AlphaFold など、次の 10 年間の主要な AI の成功事例に直接貢献してきました。

2012 年に AlexNet が立ち上げられると、他の人々や機関もディープラーニング研究の分野に注目し始めました。グーグル

一方、Jeffrey Dean と Andrew Ng も、大規模画像認識の分野で画期的な研究を行っています。 Dan Ciregan らの CVPR 2012 提出途中論文は、複数の画像データセットに対する畳み込みニューラル ネットワークの最先端のパフォーマンスを大幅に向上させています。

論文アドレス: https://arxiv.org/pdf/1202.2745.pdf

つまり、2013 年までに、「ほとんどすべてのコンピュータ ビジョン研究はニューラル ネットワークに変わりました」とヒントン氏は述べ、その後、Google Research とトロント大学で時間を分けて活動しています。同氏は、2007年以来、人工知能ではほぼ革命が起きており、当時は「1つの会議でディープラーニングに関する2本の論文を発表することさえ適切ではなかった」と付け加えた。

ディープ ラーニングの 10 年間の進歩

リー フェイフェイは、ディープ ラーニングの画期的な進歩に深く関わっていると述べ、個人的に ImageNet コンテストでの勝利を発表しました。 2012 年イタリアのフィレンツェ会議 - 人々がその瞬間の重要性を認識したのも不思議ではありません。

「ImageNet は、ほとんどサポートなしで 2006 年に始まったビジョンでした」と Li 氏は述べ、後に「歴史的かつ重要な形で実際に成果を上げた」と付け加えました。
2012 年以来、ディープラーニングは驚くべきペースで、そして印象的な深さで発展してきました。

「信じられないほどのペースでクリアされつつある障壁がいくつかあります」とルカン氏は述べ、自然言語理解、テキスト生成翻訳、画像合成の進歩を挙げた。

一部の分野では、予想よりもさらに早く進歩しています。ヒントン氏にとって、その進歩には、2014 年に大きな進歩を遂げた機械翻訳におけるニューラル ネットワークの使用が含まれます。 「何年もかかるだろうと思っていた」と彼は語った。

Li Feifei 氏はまた、DALL-E などのコンピューター ビジョンの進歩は「思ったよりも速い」と認めました。

ディープラーニング批判者の拒否

しかし、ディープラーニングの進歩が驚くべきものであることに誰もが同意するわけではありません。 2012 年 11 月、ゲイリー・マーカスはニューヨーカー誌に次のような記事を寄稿しました。「古い寓話を言い換えると、ヒントンはより良いはしごを作りますが、より良いはしごが必ずしもあなたを登らせるとは限りません。月まで。」

マーカス氏は、ディープ ラーニングは 10 年前ほど「月」に近づいていないと考えています。月とは一般的な人工知能または人間レベルの人工知能を指します。

「もちろん進歩はありますが、月に行くためには、因果関係の理解と自然言語の理解と推論を解決する必要があります」と彼は言いました。

マーカス氏は、ニューラル ネットワークとシンボリック AI (深層学習が台頭する前にこの分野を支配していた AI の分野) を組み合わせたハイブリッド モデルが重要だと考えています。敵対的なニューラル ネットワークです。しかし、ヒントン氏とルカン氏はともにマーカス氏の批判を却下した。

「ディープラーニングは壁にぶつかっていません。最近の進歩を見ると、驚くべきものです」とヒントン氏は述べたが、ディープラーニングが問題の範囲に限界があることは認めている。を解決できます。

ルカン氏は「ぶつかる壁はない」と付け加えた。 「クリアすべきハードルがいくつかあると思うが、それらのハードルに対する解決策は完全には明らかではない」と同氏は語った。 「しかし、進歩が遅れているようにはまったく見えません...進歩は加速しています。」

しかし、ベンダーは納得していません。 「ある意味、彼らは ImageNet などのベンチマークによって提供されるラベルに基づいて画像を分類する進歩について話しているだけで、2012 年にはいくつかの画期的な進歩があったようです。しかし、彼らがそれよりも大きなことについて話しているのであれば、それは問題ではありません。

AI の偏見と倫理の問題が迫っている

他の点では、人工知能と深層学習の分野も同様に衰退しているとベンダー氏は考えています。遠い。

「非常に大規模なデータセットを処理して、合成テキストや画像を生成できるシステム (計算効率の高いアルゴリズム) を作成できる能力は、いくつかの点で私たちの脱線を招いていると思います」と彼女は説明します。たとえば、人々はサイクルにはまり込んでいるように見えます。モデルに偏りがあることに気づき、その偏りを除去しようと提案しますが、完全に偏りのないデータセットやモデルは存在しないという結果が受け入れられます。

さらに、彼女は、現実世界でのテストであれ、製品の安全性であれ、この分野が真の責任基準に従うことを望んでいると述べました。「そのためには、一般の人々が AI を理解し、それを見抜く方法を理解する必要があります。」

しかし、ルカン氏は、これらは複雑かつ重要な問題であり、人々は単純化する傾向があり、多くの人が「悪意のある思い込みを持っている」と指摘しました。 。」同氏は、ほとんどの企業は「実際には正しいことをしたいと考えている」と主張する。

さらに、人工知能の技術や研究に携わっていない人々に対しても苦言を呈した。 「これはエコシステム全体だが、スタンドから銃を撃つ人もいる」と同氏は述べ、「基本的にはただ注目を集めたいだけだ」と述べた。 ##議論は白熱しているようだが、リー・フェイフェイ氏は、これらはすべて科学の一部であると強調した。 「科学は真実ではありません。科学は真実を見つける旅です。それは発見と改善の旅です。したがって、議論、批判、祝賀はすべてその一部です。」

しかし、いくつかの議論やAI が間違っていると主張するにしろ、AGI が登場すると言うにしろ、これらは極端な例です。 「これは、より深く、より微妙で、よりニュアンスがあり、より次元の高い科学的議論の比較的人気のあるバージョンだと思います。」

もちろん、リー・フェイフェイ氏は、過去10年間に次のように指摘しました。人工知能の進歩は期待外れであり、それは必ずしもテクノロジーに関するものではありません。

人工知能とディープラーニングの未来

LeCun 氏は、自動運転など、人々が多大なリソースを投資してきた AI の課題の一部がまだ解決されていないことを認めました。 「他の人はその複雑さを過小評価していると思います」と彼は言い、自分自身をそのカテゴリーに入れていないと付け加えた。

「難しいし、長い時間がかかることはわかっています」と彼は主張した。 「私たちは基本的にそれを理解しているという一部の人々には同意しません...これらのモデルをより大きくするだけの問題です。」 実際、LeCun は最近、「自律型マシン インテリジェンス」の青写真を作成するレポートを発表しました。彼は、現在の人工知能の手法では人間レベルの人工知能を達成することはできないと信じています。

しかし、彼は将来のディープラーニングの大きな可能性も見出しており、機械をより効率的に、より動物や人間のように学習させることに最も興奮していると述べています。

ルカン氏は、個人的に大きな疑問は動物学習の基本原理とは何かということであり、それが彼が自己教師あり学習などを提唱してきた理由の1つであると述べた。

「この進歩により、人間のアシスタントであるかのように私たちの日常生活に電力を供給できるインテリジェント システムなど、現在は手の届かないものを構築できるようになります。これが私たちが必要としているものです。なぜなら、誰もが AR メガネを着用しており、私たちは AR メガネと対話する必要があるからです。」

ヒントン氏は、ディープラーニングがさらに進歩していることに同意しました。彼は、ロボット工学の進歩に加えて、ニューラル ネットワーク コンピューティング インフラストラクチャにも新たなブレークスルーがあると信じています。なぜなら、現在の施設は行列乗算を行うのに非常に優れたアクセラレータを使用して数値計算を実行するだけだからです。バックプロパゲーションの場合、アナログ信号をデジタル信号に変換する必要があると同氏は述べた。

「アナログ ハードウェアで動作するバックプロパゲーションの代替手段を見つけるでしょう」と彼は言いました。 「長期的には、ほとんどすべての計算がシミュレーションで行われるようになるだろうと私は強く信じています。」

Li Feifei 氏は、ディープラーニングの将来にとって最も重要なのはコミュニケーションと教育であると信じています。 「スタンフォードHAIでは、ビジネスリーダー、政府、政策立案者、メディア、記者やジャーナリスト、そして社会全体に働きかけ、シンポジウム、カンファレンス、ワークショップ、政策概要の出版、業界説明会の開催などに、実際に不釣り合いな量のエネルギーを費やしています。」

このような新しいテクノロジーに関して、リー・フェイフェイ氏は、背景知識が不足していると、この時代をより微妙に、思慮深く説明するのに役立たないのではないかと心配しています。

10 年間のディープ ラーニングはどのように記憶されるか

ヒントン氏は、ディープ ラーニングは過去 10 年間で想像以上に成功を収めてきましたが、同時に、この大きな成果も強調しました。進歩は「コンピュータハードウェアの進歩」によるものであるべきだ。

マーカスは、ディープラーニングはある程度の進歩を遂げたものの、後には不幸に見えるかもしれないと信じる批評家の役割を果たします。

「2050 年の人々は、2022 年から始まるこれらのシステムを見て、こう言うと思います。確かに、彼らは勇敢ですが、実際には機能しません。」

しかし、リー・フェイフェイ氏は、過去 10 年間が「偉大なデジタル革命の始まり」として記憶されることを望んでおり、「少数の人類だけでなく、すべての人にとって生活と仕事がより良くなりました。」

彼女はまた、科学者として、「今日のディープラーニングが人工知能の探求の終わりであるとは決して思いません。」

社会レベルでは、彼女はそうしたいと述べました。人工知能は、「可能な限り最も人間中心の方法で開発および使用されている驚くべき技術ツール」とみなされています。私たちはこのツールの広範囲にわたる影響を認識し、設計と導入だけでなく人間中心の思考フレームワークを受け入れる必要があります。 AI ."

最後に、リー・フェイフェイはこう言いました。「私たちがどのように記憶されるかは、私たちが今何をしているかによって決まります。」

以上がディープラーニングは10年経って壁にぶつかりましたか?ヒントン、ルカン、リー・フェイフェイはそうは思わない。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。