LeCuns Zeitung wurde „Wäsche' vorgeworfen? Der Vater von LSTM schrieb wütend: Kopieren Sie meine Arbeit und markieren Sie sie als Original.

​Turing-Award-Gewinner Yann Lecun, als einer der drei Giganten der KI-Branche, werden die von ihm veröffentlichten Arbeiten natürlich als „Bibel“ betrachtet.

Allerdings sprang vor Kurzem plötzlich jemand auf, um LeCun dafür zu kritisieren, dass er „auf der gleichen Seite sitzt“: „Es ist nichts weiter als eine Umformulierung meines Kernpunkts.“

Könnte es sein...

Ja, diese Person ist niemand geringeres als Jürgen Schmidhuber, der „Vater von LSTM“.

Schmidhuber sagte, dass in LeCuns Artikel wichtige Ergebnisse von 1990 bis 2015 nicht erwähnt wurden. Zu den im Artikel erwähnten „Hauptursprungsergebnissen“ gehören „Unterziele des Lernens, vorhersehbare abstrakte Darstellungen, mehrere. Sie haben auch Konzepte veröffentlicht wie „ eine Zeitskala“.

Das im Original-Tweet verwendete Wort „Rehash“ soll die ursprüngliche Idee auf eine andere Art und Weise ohne Innovation ausdrücken, was ein richtiger „Rehash“ ist.

Gleichzeitig veröffentlichte er auch einen langen Artikel, in dem die Beweise detailliert aufgeführt wurden. Natürlich kann dies nur als einseitige Aussage Schmidhubers angesehen werden.

Die Internetnutzer haben es jedoch offensichtlich nicht gekauft.

„Früher waren Sie ein Schwergewicht in der KI-Community, aber jetzt sind Sie dafür bekannt, dass Sie behaupten, dass alle akademischen Leistungen von Ihren Ideen plagiiert werden.“

„Sie haben neuronale Netze, Transformatoren und LSTMS erfunden. Dann wurden auch Toilettenpapier und Brotscheiben von Ihrer Familie erfunden.“

Also, was ist das?

Lassen Sie uns zunächst die Einzelheiten der Sache durchgehen.

Am 14. Juni 2022 veröffentlichte eine „Wissenschafts-Boulevardzeitung“ namens Science Tabloid von Schmidhuber (ich spreche von Ihnen MIT Technology Review) einen Bericht von LeCun, der sein neues Konzept von AGI näher erläuterte.

Am 27. Juni veröffentlichte Yann LeCun den Artikel „A Path Towards Autonomous Machine Intelligence“, den er mehrere Jahre lang gespeichert hatte, und nannte ihn „ein Werk, das die zukünftige Entwicklungsrichtung der KI aufzeigt“.

In diesem Aufsatz geht es systematisch um die Frage „Wie können Maschinen wie Tiere und Menschen lernen?“ Es ist mehr als 60 Seiten lang und kann von interessierten Freunden gelesen werden.

LeCun sagte, dass dieser Artikel nicht nur seine Gedanken zur allgemeinen Richtung der KI-Entwicklung in den nächsten 5 bis 10 Jahren widerspiegelt, sondern auch, was er in den nächsten Jahren erforschen will, und hofft, mehr Menschen für die KI zu begeistern Feld, um gemeinsam zu lernen.

Vielleicht aufgrund des wachsenden Einflusses von LeCuns Artikel beschloss Schmidhuber schließlich, am 7. Juli einen langen, von ihm selbst verfassten Artikel zu veröffentlichen, in dem er LeCun wütend beschuldigte, seine Idee zu plagiieren.

Schmidhuber sagte, dass das „Science-Boulevardblatt“ vor der Veröffentlichung des Artikels einen (noch vertraulichen) Entwurf des Berichts verschickte und hoffte, dass er einige Kommentare dazu abgeben könne.

Also schrieb Schmidhuber eine eloquente „Beschwerde“, in der er sagte, dass LeCuns Artikel im Grunde eine Kopie seiner früheren Arbeit sei und nicht zitiert wurde.

Es überrascht nicht, dass seine Kommentare in Ungnade fielen.

LeCun hat gerade meine Arbeit ohne Zitat wiederholt!

Schmidhuber erklärte in diesem langen Artikel, dass er hofft, dass die Leser die Originalarbeiten studieren und den wissenschaftlichen Inhalt dieser Kommentare selbst beurteilen können, und hofft auch, dass seine Arbeit anerkannt und anerkannt wird.

LeCun sagte zu Beginn des Artikels, dass viele der in diesem Artikel beschriebenen Ideen (fast alle) von vielen Autoren in unterschiedlichen Kontexten und in unterschiedlichen Formen vorgeschlagen wurden. Schmidhuber entgegnete, dass der Großteil des Inhalts dieses Artikels leider gerechtfertigt sei wie unsere. Seit 1990 verfasste Arbeiten sind „vertraut“ und haben keine Zitationskennungen.

Werfen wir zunächst einen Blick auf die Beweise (einen Teil) seines diesmaligen Angriffs auf LeCun.

Beweis 1:

LeCun: Die heutige Forschung im Bereich der künstlichen Intelligenz muss drei Hauptherausforderungen lösen: (1) Wie können Maschinen lernen, die Welt darzustellen, Vorhersagen zu treffen und Maßnahmen zu ergreifen, hauptsächlich durch Beobachtung (2) Maschinen Wie man auf eine Weise argumentiert und plant, die mit dem Gradienten-basierten Lernen kompatibel ist (3) Wie Maschinen lernen, Wahrnehmung (3a) und Handlungsplanung (3b) hierarchisch, auf mehreren Abstraktionsebenen und auf mehreren Zeitskalen darzustellen

Schmidhuber : Diese Fragen wurden ausführlich in einer Reihe von Artikeln behandelt, die 1990, 1991, 1997 und 2015 veröffentlicht wurden.

Im Jahr 1990 wurde die erste Arbeit über Gradienten-basierte künstliche neuronale Netze (NN) für langfristige Planung und Verstärkungslernen (RL) und Erkundung durch künstliche Neugier veröffentlicht.

Es beschreibt die Kombination zweier wiederkehrender neuronaler Netze (RNN, das leistungsstärkste NNN), die als Controller und Weltmodell bezeichnet werden.

Unter anderem lernt das Weltmodell, die Konsequenzen der Handlungen des Controllers vorherzusagen. Der Controller kann das Weltmodell verwenden, um mehrere Zeitschritte im Voraus zu planen und eine Abfolge von Aktionen auszuwählen, die die vorhergesagte Belohnung maximiert.

Was die Antwort auf die hierarchische Wahrnehmung (3a) auf Basis neuronaler Netze betrifft, so wird dieses Problem zumindest teilweise durch meine 1991 veröffentlichte „erste Deep-Learning-Maschine – Neural Sequence Blocker“ gelöst.

Es nutzt unüberwachtes Lernen und prädiktive Codierung in tiefen Hierarchien rekurrenter neuronaler Netze (RNN), um „die besten Merkmale langer Datensequenzen“ auf mehreren Abstraktionsebenen und mehreren Zeitskalen (genau das, worüber LeCun geschrieben hat) in der internen Darstellung zu finden.“

Was die Antwort auf die hierarchische Aktionsplanung (3b) auf Basis neuronaler Netze betrifft, so wurde dieses Problem 1990 mit meiner Arbeit über hierarchisches Reinforcement Learning (HRL) zumindest teilweise gelöst.

Beweis 2:

LeCun: Da beide Untermodule des Kostenmoduls differenzierbar sind, kann der Energiegradient durch andere Module, insbesondere das Weltmodul, das Leistungsmodul und das Wahrnehmungsmodul, rückwärts propagiert werden .

Schmidhuber: Genau das habe ich 1990 veröffentlicht und dabei das 1980 veröffentlichte Papier „System Identification with Feedforward Neural Networks“ zitiert.

Im Jahr 2000 veröffentlichte mein ehemaliger Postdoc Marcus Hutter sogar eine theoretisch optimale, allgemeine, nicht differenzierbare Methode zum Lernen von Weltmodellen und Controllern. (Siehe auch die mathematisch optimale selbstreferenzielle AGI namens Gödel-Maschine)

Beweis 3:

LeCun: Die Architektur des Kurzzeitgedächtnismoduls ähnelt möglicherweise dem Schlüsselwertspeichernetzwerk.

Schmidhuber: Allerdings hat er nicht erwähnt, dass ich 1991 das erste derartige „Key-Value-Memory-Netzwerk“ veröffentlicht habe, als ich die Sequenzverarbeitung „Fast Weight Controllers“ oder Fast Weight Programmers (FWPs) beschrieb. FWP verfügt über ein langsames neuronales Netzwerk, das durch Backpropagation lernt, die schnellen Gewichte eines anderen neuronalen Netzwerks schnell zu ändern.

Beweis 4:

LeCun: Die wichtigsten Originalbeiträge dieser Arbeit sind: (I) Eine ganzheitliche kognitive Architektur, in der alle Module differenzierbar sind und viele von ihnen differenzierbar sind. (II) H-JEPA: Modelle, die nicht generative hierarchische Architekturen der Welt vorhersagen, die Darstellungen auf mehreren Abstraktionsebenen und mehreren Zeitskalen lernen. (III) Eine Reihe nicht kontrastiver selbstüberwachter Lernparadigmen, die Darstellungen erzeugen, die gleichzeitig informativ und vorhersehbar sind. (IV) Verwenden Sie H-JEPA als Grundlage für ein prädiktives Weltmodell für hierarchische Planung unter Unsicherheit.

In diesem Zusammenhang hat Schmidhuber auch die vier von LeCun aufgeführten Module einzeln Korrektur gelesen und Punkte angegeben, die sich mit seiner Arbeit überschneiden.

Am Ende des Artikels erklärte er, dass der Zweck dieses Artikels nicht darin besteht, die veröffentlichten Arbeiten oder die von ihren Autoren reflektierten Ideen anzugreifen. Der entscheidende Punkt ist, dass diese Ideen nicht so „originell“ sind, wie sie in LeCuns Artikel geschrieben stehen.

Er sagte, dass viele dieser Ideen mit den Bemühungen von mir und meinen Kollegen vorgeschlagen wurden, und ich hoffe, dass die Leser dies selbst beurteilen können meine Kommentare.

Vom Vater von LSTM bis...

Tatsächlich ist dies nicht das erste Mal, dass dieser Mann behauptet, dass andere seine Ergebnisse plagiiert haben.

Bereits im September letzten Jahres veröffentlichte er auf seinem Blog, dass die am häufigsten zitierten Ergebnisse von neuronalen Netzwerkpapieren nun auf der Arbeit in meinem Labor basieren:

„Unnötig zu sagen, LSTM, es gibt noch andere. Die berühmte Pionierarbeit von heute, Wie ResNet, AlexNet, GAN und Transformer sind alle mit meiner Arbeit verbunden. Die erste Version einiger Arbeiten wurde von mir erstellt, aber jetzt folgen diese Leute nicht der Kampfethik und ihre Zitate sind unregelmäßig aktuelle Wahrnehmung der Zuschreibung dieser Ergebnisse. „Obwohl der Onkel sehr verärgert ist, muss ich sagen, dass Jürgen Schmidhuber über die Jahre etwas verärgert war.“ Sie sind beide führende Persönlichkeiten auf dem Gebiet der KI und haben viele bahnbrechende Erfolge erzielt, doch der Ruf und die Anerkennung, die sie erhalten haben, scheinen immer weit hinter den Erwartungen zurück zu bleiben.

Besonders im Jahr 2018, als die drei Giganten des Deep Learning: Yoshua Bengio, Geoffrey Hinton und Yann LeCun den Turing Award gewannen, fragten sich viele Internetnutzer: Warum wurde der Turing Award nicht an Jürgen Schmidhuber, den Vater von LSTM, verliehen? Er ist auch ein Meister auf dem Gebiet des Deep Learning.

Bereits im Jahr 2015 veröffentlichten drei große Köpfe, Bengio, Hinton und LeCun, gemeinsam eine Rezension zu Nature, und der Titel hieß direkt „Deep Learning“.

Der Artikel beginnt mit der traditionellen Technologie des maschinellen Lernens, fasst die Hauptarchitektur und -methoden des modernen maschinellen Lernens zusammen, beschreibt den Backpropagation-Algorithmus zum Training der mehrschichtigen Netzwerkarchitektur sowie die Geburt des Faltungs-Neuronalen Netzwerks, der verteilten Darstellung und der Sprachverarbeitung wie wiederkehrende neuronale Netze und ihre Anwendungen usw.

Knapp einen Monat später veröffentlichte Schmidhuber eine Kritik auf seinem Blog.

Schmidhuber sagte, dieser Artikel mache ihn sehr unglücklich, da der gesamte Artikel die eigenen Forschungsergebnisse der drei Autoren viele Male zitierte, ohne die früheren Beiträge anderer Pioniere des Deep Learning zu erwähnen.

Er glaubt, dass die „Drei Deep Learning Giants“, die den Turing Award gewonnen haben, zu einer Bande von Dieben geworden sind, die auf die Kreditwürdigkeit anderer aus sind und denken, sie seien eigennützig. Sie nutzen ihren Status in der Welt, um sich gegenseitig zu schmeicheln und unterdrücken ihre Vorgänger.

2016 lieferte sich Jürgen Schmidhuber im Tutorial der NIPS-Konferenz eine direkte Konfrontation mit „Vater von GAN“ Ian Goodfellow.

Als Goodfellow damals über den Vergleich von GAN mit anderen Modellen sprach, stand Schmidhuber auf und unterbrach ihn mit Fragen.

Schmidhubers Frage war sehr lang und dauerte etwa zwei Minuten. Der Hauptinhalt bestand darin, zu betonen, dass er PM 1992 vorgeschlagen hatte, und dann über viele seiner Prinzipien, Umsetzungsprozesse usw. und schließlich über das Bild zu sprechen Dakimi: Können Sie mir sagen, ob es Ähnlichkeiten zwischen Ihrem GAN und meinem PM gibt?

Goodfellow hat keine Schwäche gezeigt: Wir haben das von Ihnen erwähnte Problem schon oft in E-Mails kommuniziert, und ich habe Ihnen schon vor langer Zeit öffentlich geantwortet. Ich möchte bei dieser Gelegenheit nicht die Geduld des Publikums verschwenden.

Warte, warte...

Vielleicht lassen sich diese „Honigoperationen“ von Schmidhuber durch eine E-Mail von LeCun erklären:

„Jürgen ist zu besessen von jedermanns Anerkennung und sagt immer, dass er sie nicht versteht. Das hat er.“ Fast gewohnheitsmäßig steht er am Ende jeder Rede auf und sagt, dass er für die gerade präsentierten Ergebnisse verantwortlich sei

Das obige ist der detaillierte Inhalt vonLeCuns Zeitung wurde „Wäsche' vorgeworfen? Der Vater von LSTM schrieb wütend: Kopieren Sie meine Arbeit und markieren Sie sie als Original.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!