LSTM の父が再び LeCun に挑戦しました。あなたの 5 つの「革新性」のポイントはすべて私からコピーされました。しかし、残念ながら「読み返すことはできない」-AI-php.cn

最近、LSTM の父であるユルゲンシュミットフーバーがルカンと再び意見の相違を起こしました。

実際、以前からこの不機嫌そうな老人のことを少し知っていた学生たちは、異端者のユルゲン・シュミットフーバーと機械学習コミュニティの著名人数名との間に不愉快な関係があったことを知っていました。

特に「あの三人」が一緒にチューリング賞を受賞したのに、シュミットフーバーが受賞しなかったとき、老人はさらに怒りました...

結局のところ、シュミットフーバーは、「GAN」グッドフェローの父親を含むベンジオ、ヒントン、ルカンなどの現在の ML 指導者たちは、いわゆる「先駆的業績」の多くが最初に彼によって提案されたものであると常に信じてきました。が出てきましたが、彼らは新聞で彼のことをまったく取り上げませんでした。

この目的のために、シュミットフーバーはかつて、2015 年に Nature 誌に掲載された Bengio、Hinton、LeCun による総説「深層学習」を批判する特別記事を書きました。

この記事では主に結果、彼が最初に言及したこと、他の先輩が最初に言及したことについて話します。いずれにしても、著者 3 人が言及したわけではありません。初め。

なぜ彼らはまた口論するのでしょうか?

今回の事件の原因に戻りますが、実は9月にLeCun氏が送信したツイートでした。

#この内容は、「過去 10 年間における AI における最も重要な知的ブレークスルー (新しいアイデア) は何ですか?」という David Chalmers 教授の質問に対する回答です。

LSTM の父が再び LeCun に挑戦しました。あなたの 5 つの「革新性」のポイントはすべて私からコピーされました。しかし、残念ながら「読み返すことはできない」

10 月 4 日、シュミットフーバーは怒りを込めてブログに記事を書きました: これら 5 つの「最高のアイデア」のほとんどは私の研究室から来ており、長い間提案されていました。 . 「10年」という時点よりもはるかに前のこと。

シュミットフーバー氏は記事の中で、自身の主張を裏付ける6つの証拠を詳細に列挙した。

しかし、おそらくそれを見た人が少なすぎたため、シュミットフーバーは 11 月 22 日に再びこの「冷や飯」をかき立てるためにツイートしました。もう一度読んでください。

しかし、かなり白熱した議論だった前回に比べ、今回はルカンは気にも留めなかった...

LSTM の父が「6 つの主要な証拠」を提示

#1. ラベルを自動生成する「自己教師あり学習」ニューラルネットワーク (NN):それは少なくとも 1990 ～ 1991 年の私の仕事に遡ります。

(I) 予測コーディングを介したリカレントニューラルネットワーク (RNN) での自己教師ありオブジェクト生成。複数の時間スケールと抽象化レベルでデータシーケンスを圧縮する方法を学習します。

ここでは、「オートマトン」RNN が「次の入力を予測する」という事前タスクを学習し、受信データストリーム内の予期せぬ観測結果をターゲットとして「アナライザー」ブロックマシンに送信します。 RNN は、より高いレベルの規則性を学習し、その後、適切なトレーニング目標を通じて、取得した予測知識を洗練してオートマトンに戻します。

これにより、以前は解決できなかったシーケンス分類という下流の深層学習タスクが大幅に容易になります。

(II) GAN タイプの内発的動機づけによる自己教師型アノテーション生成。世界モデル NN が敵対的なアノテーション生成を予測することを学習します。実験的に発明されたコントローラーNNの結果。

さらに、「自己監督」という用語は、私が1990年に発表した論文のタイトルにすでに登場しています。

しかし、この言葉は以前 (1978 年) の論文でも使用されていました...

2. "ResNets": は、実際には私が初期に提案したハイウェイネットです。しかし、LeCun 氏は、ResNets の知性は「深くない」と考えており、それが非常に残念です。

私がハイウェイネットを提案する前は、フィードフォワードネットワークにはせいぜい数十層 (20 ～ 30 層) しかなく、ハイウェイネットは数百層もの層を備えた最初の真に深いフィードフォワードニューラルネットワークでした。層。

1990 年代、私の LSTM は教師あり再帰 NN に本質的に無限の深さをもたらしました。 2000 年代には、LSTM からインスピレーションを得たハイウェイネットがフィードフォワード NN に深みをもたらしました。

その結果、LSTM は 20 世紀で最も引用された NN となり、21 世紀では Highway Nets (ResNet) が最も引用された NN になりました。

これらはディープラーニングの本質を表していると言え、ディープラーニングとはNNの深さのことです。

3.「ゲーティング -> アテンション -> 動的接続グラフ」: これは、少なくとも 1991 年から 1993 年の私の高速ウェイトプログラマーとキーに遡ることができます。 -Value Memory Networks (「Key-Value」は「FROM-TO」と呼ばれます)。

1993 年に、私は今日使用されている「注意」という用語を導入しました。

ただし、NN の最初の乗算ゲートは、1965 年の Ivakhnenko と Lapa の深層学習マシンにまで遡ることができることは注目に値します。

4. 「微分可能メモリ」: これは、1991 年の私の高速ウェイトプログラマーまたは Key-Value メモリネットワークにまで遡ることもできます。

従来のコンピューターと同様にストレージと制御を分離しますが、(ハイブリッド方式ではなく) エンドツーエンドの差動、適応型、完全ニューラル方式で行われます。

5.「多頭自意識->Transformerなどの代替等価モジュール」: 公開しました1991 年に線形化された自己注意を備えたトランスフォーマー。これに対応する用語「注目の社内スポットライト」の歴史は 1993 年にまで遡ります。

6.「GAN は過去 10 年間で最高の機械学習コンセプトです」

あなたは次のように述べました。この GAN の原理 (2014) は、実は 1990 年に私が人工知能への好奇心の名のもとに提案したものです。

前回は数か月前でした

実際には、これはもう関係ではありませんシュミットフーバーとルカンの間で今年初めて論争があった。

6月から7月にかけて、両者はLeCun社が発行した「自律型機械知能の将来の方向性」に関する展望レポートをめぐって口論になった。

6 月 27 日、Yann LeCun は数年間保存していた論文「A Path Towards Autonomous Machine Intelligence」を公開し、これを「将来の開発の方向性を示す作品」と呼んでいます。 AIの。」

この論文は、「機械が動物や人間と同じようにどのように学習できるか」という問題について体系的に述べており、60 ページを超えます。

LeCun 氏は、この記事は今後 5 ～ 10 年の AI 開発の一般的な方向性についての彼の考えであるだけでなく、今後数年間で何を研究する予定であるかについても述べています。 AI コミュニティにインスピレーションを与えたいと考えており、より多くの人が一緒に学びに来ます。

シュミットフーバーは約10日前にこのニュースを知り、新聞を入手し、すぐに反論の記事を書きました。

シュミットフーバー自身のブログ投稿によると、当時の出来事は次のとおりです: ######

2022 年 6 月 14 日、ある科学メディアが、ルカンが 6 月 27 日に報告書を発表するというニュースを発表し、私に報告書の草稿を送ってきました (当時はまだ機密期間中でした)。コメントを求められた。

これは基本的に私たちの以前の作品のレプリカであることを伝えるレビューを書きましたが、LeCun の記事では言及されていませんでした。

しかし、私のコメントは耳を貸さなかった。

実際、彼の記事が公開されるずっと前に、私たちはこの記事で LeCun のいわゆる「主要なオリジナル貢献」を提案していました。内容は主に次のとおりです:

(1) 「すべてのモジュールが分離可能であり、多くのモジュールが訓練可能である認知アーキテクチャ」 (私たちは 1990 年に提案しました)。

(2) 「世界モデルの階層構造を予測し、複数の抽象化レベルと複数の時間スケールで表現を学習する」 (1991 年に提案)。

(3) 「有益であると同時に予測可能な表現を生成する自己教師あり学習パラダイム」 (私たちのモデルは 1997 年のモデル化以来、強化学習と世界構築に使用されています)

(4) 勾配ベースのニューラルサブゴールジェネレーター (1990 年)、抽象概念を含む「不確実性の下での階層的計画のための」予測モデル空間推論 (1997 年)、「主に行動することを学習するニューラルネットワーク」「観察を通して」（2015年）と「考えることを学ぶ」（2015年）はすべて私たちが最初に提案したものです。

7 月 14 日、ヤン・ルカン氏は、議論は建設的でなければならないと応じ、次のように述べました。「特定の概念を誰が発明したか」に関するこの無駄な議論では、回答記事にリストされている 160 件の参考文献を掘り下げたくありません。より建設的なアプローチは、私がリストした 4 つの貢献の中から、アイデアや手法が含まれていると思われる出版物を 4 つ特定することだと思います。

この論文の冒頭で述べたように、長い間存在してきた概念が数多くありますが、あなたも私もそれらの発明者ではありません。微調整可能な世界モデル、これは初期の最適化制御作業にまで遡ることができます。

ワールドモデルのトレーニングニューラルネットワークを使用してワールドモデルのシステム認識を学習するこのアイデアは、Michael Jordan、Bernie Widrow、Robinson & Fallside、Kumpathi Narendra、によって 1980 年代後半に遡ります。 Paul Werbos 行われている仕事はあなたの仕事に先立って行われます。

私の意見では、この藁人形の答えは、ルカンが話題を変え、いわゆる「主なオリジナル貢献」で他人の手柄を横取りする問題を避けているように思えます。

私は 7 月 14 日に返信しました:

「あなたも私も発明していないもの」に関するあなたの発言について: あなたの論文は、ニューラルを使用して主張していますシステム識別のためのネットワークは 1990 年代初頭にまで遡ることができます。しかし、あなたの前回の回答では、これに関する最初の論文が 1980 年代に発表されたという私の意見に同意しているようでした。

あなたの「主な独自の貢献」に関して言えば、彼らは実際に私の初期の研究の結果を使用しました。

(1) あなたが提案した「すべてのモジュールが微分可能で、多くのモジュールが訓練可能な認知アーキテクチャ」について、「内発的動機づけによる運転行動」:

# 私は、1990 年にオンライン学習と計画のための微分可能なアーキテクチャを提案しました。これは、「内発的動機付け」を備えた最初のコントロールでした。これは、生成的かつ生成的な世界モデルを改善するために使用されます。敵対的; 記事で引用されている 2014 GAN は、このモデルの派生バージョンです。

(2) あなたの提案する「複数の抽象化レベルと時間スケールで表現を学習する予測世界モデルの階層構造」について:

これは、1991 年の Neural History Compressor によって可能になりました。予測コーディングを使用して、自己教師ありの方法で長いシーケンスデータの階層的な内部表現を学習し、下流の学習を大幅に促進します。私の 1991 年のニューラルネットワーク改良手順を使用すると、これらの表現を単一のリカレントニューラルネットワーク (RNN) にまとめることができます。

(3) 「制御における自己教師あり学習パラダイム、有益かつ予測可能な表現を生成する」について:

Thisこの点は、私が 1997 年に構築を提案したシステムで指摘されました。将来の入力の詳細をすべて予測するのではなく、任意の抽象的な質問をし、いわゆる「表現空間」で計算可能な答えを与えることができます。このシステムでは、「左脳」と「右脳」と名付けられた 2 つの学習モデルが、最大の報酬を得る相手を選択してゼロサムゲームを行い、場合によってはそのような計算実験の結果に賭けます。

(4) 不確実性の下で使用できる階層計画の予測微分可能モデルについて、記事には次のように書かれています:

「未解決の疑問の 1 つは、設定者が複雑なタスクを、エージェントだけで完了できる一連のサブ目標に分解する方法をどのように学習するかということです。この疑問は今後の調査に委ねます。」

将来のことは話さないでください。実際、私は 30 年以上前にこの記事を公開しました:

a コントローラーニューラルネットワークは追加のコマンドを取得する役割を果たします。 (開始、ターゲット) の形式で入力します。推定ニューラルネットワークは、開始から目標までの予想コストを予測する方法を学習する役割を果たします。微調整可能なリカレントニューラルネットワークに基づくサブゴールジェネレーターは、この (開始、ゴール) 入力を確認し、推定ニューラルネットワークを使用した勾配降下法によって一連の最小コストの中間サブゴールを学習します。

# (5) 「主に観察を通じて行動を学習する」ニューラルネットワークについても強調しました。 実際、私たちはこの問題を非常に早い段階で解決しました。2015 年のこの記事では、部分的に観測可能な環境における強化学習 (RL) の一般的な問題について説明しました。