Kontinuierliche Umkehrungen! DeepMind wurde vom russischen Team befragt: Wie können wir beweisen, dass neuronale Netze die physische Welt verstehen?

In der wissenschaftlichen Gemeinschaft gab es kürzlich eine weitere Kontroverse. Der Protagonist der Geschichte ist ein wissenschaftlicher Artikel, der im Dezember 2021 vom Forschungszentrum DeepMind in London veröffentlicht wurde. Forscher fanden heraus, dass neuronale Netze verwendet werden können, um genauere Elektronik als zuvor zu trainieren und zu bauen . Dichte- und Interaktionsdiagramme können systematische Fehler in der traditionellen Funktionaltheorie effektiv beheben.

Link zum Papier: https://www.science.org/doi/epdf/10.1126/science.abj6511

Das im Artikel vorgeschlagene DM21-Modell simuliert komplexe Systeme wie Wasserstoffstränge genau , geladene DNA-Basenpaare und binäre Übergangszustände. Für das Gebiet der Quantenchemie kann man sagen, dass sie einen praktikablen technischen Weg zu genauen universellen Funktionen eröffnet hat.

DeepMind-Forscher haben außerdem den Code des DM21-Modells veröffentlicht, um die Reproduktion durch Kollegen zu erleichtern.

Repository-Link: https://github.com/deepmind/deepmind-research

Logischerweise sind das Papier und der Code öffentlich und werden in Top-Zeitschriften veröffentlicht. Die experimentellen Ergebnisse und die Forschungsergebnisse sind grundsätzlich zuverlässig .

Aber acht Monate später veröffentlichten auch acht Forscher aus Russland und Südkorea eine wissenschaftliche Rezension in Science. Sie glaubten, dass es in der ursprünglichen Forschung von DeepMind ein Problem gab, das heißt, dass sich der Trainingssatz und der Testsatz überschneiden könnten. Teil , der zu falschen experimentellen Schlussfolgerungen führt.

Link zum Papier: https://www.science.org/doi/epdf/10.1126/science.abq3385

Wenn der Verdacht wahr ist, dann ist dieser DeepMind-Artikel als Major bekannt Technologische Durchbruch in der chemischen Industrie s Papier, die durch neuronale Netze erzielten Verbesserungen könnten auf Datenlecks zurückzuführen sein.

DeepMind reagierte jedoch auch schnell am selben Tag, an dem die Rezension veröffentlicht wurde, und schrieb sofort eine Antwort, um seinen Einwand und seine scharfe Verurteilung zum Ausdruck zu bringen: Die von ihnen geäußerten Ansichten seien entweder falsch oder nicht im Einklang mit den Hauptschlussfolgerungen des Papiers ihre Kommentare. Irrelevant für die Beurteilung der Gesamtqualität von DM21.

Link zum Papier: https://www.science.org/doi/epdf/10.1126/science.abq4282

Der berühmte Physiker Feynman sagte einmal: Wissenschaftler wollen einfach genauso schnell sein Beweisen Sie so gut wie möglich, dass Sie falsch liegen, denn nur so kommen Sie voran.

Obwohl das Ergebnis dieser Diskussion noch nicht abgeschlossen ist und das russische Team keine weiteren Gegenartikel veröffentlicht hat, könnte der Vorfall tiefgreifendere Auswirkungen auf die Forschung auf dem Gebiet der künstlichen Intelligenz haben: Wie kann man das beweisen? wurde trainiert. Versteht das neuronale Netzwerkmodell die Aufgabe wirklich, anstatt sich nur das Muster zu merken? Forschungsfragen

Chemie ist (sicher) die zentrale Wissenschaft des 21. Jahrhunderts, und die Entwicklung neuer Materialien mit bestimmten Eigenschaften, wie etwa die Erzeugung sauberer Elektrizität oder die Entwicklung von Hochtemperatur-Supraleitern, erfordert die Simulation von Elektronen auf Computern.

Elektronen sind subatomare Teilchen, die steuern, wie sich Atome zu Molekülen verbinden. Sie sind auch für den Stromfluss in Festkörpern verantwortlich. Das Verständnis der Position von Elektronen innerhalb eines Moleküls kann einen großen Beitrag zur Erklärung seiner Struktur, Eigenschaften und Eigenschaften leisten Reaktivität.

1926 schlug Schrödinger die Schrödinger-Gleichung vor, die das Quantenverhalten der Wellenfunktion korrekt beschreiben kann. Die Verwendung dieser Gleichung zur Vorhersage von Elektronen in einem Molekül reicht jedoch nicht aus, da sich alle Elektronen gegenseitig abstoßen und es notwendig ist, die Wahrscheinlichkeit der Position jedes Elektrons zu verfolgen, was selbst für eine kleine Anzahl von Elektronen eine sehr komplizierte Aufgabe ist.

Ein großer Durchbruch gelang in den 1960er Jahren, als Pierre Hohenberg und Walter Kohn erkannten, dass es nicht nötig war, jeden Einzelnen zu verfolgen Elektronen. Stattdessen reicht es aus, die Wahrscheinlichkeit zu kennen, dass sich ein Elektron an jeder Position befindet (d. h. die Elektronendichte), um alle Wechselwirkungen genau zu berechnen.

Nachdem er die obige Theorie bewiesen hatte, gewann Kohn den Nobelpreis für Chemie und schuf damit Dichtefunktionaltheorie (Dichtefunktionaltheorie, DFT)

Obwohl DFT die Existenz einer Abbildung beweist, ist die genaue Art der Abbildung zwischen Elektronendichte und Wechselwirkungsenergie, das sogenannte Dichtefunktional, seit mehr als 50 Jahren unbekannt Jahren muss eine Näherungslösung durchgeführt werden.

DFT ist im Wesentlichen eine Methode zur Lösung der Schrödinger-Gleichung, und ihre Genauigkeit hängt von ihrem Austauschkorrelationsteil ab. Obwohl die DFT ein gewisses Maß an Näherung erfordert, ist sie die einzige praktische Möglichkeit, zu untersuchen, wie und warum sich Materie auf mikroskopischer Ebene auf eine bestimmte Weise verhält, und ist daher zu einer der am weitesten verbreiteten Techniken in allen Bereichen der Wissenschaft geworden.

Im Laufe der Jahre haben Forscher mehr als 400 Näherungsfunktionen mit unterschiedlichem Genauigkeitsgrad vorgeschlagen, aber alle diese Näherungen weisen systematische Fehler auf, weil sie nicht in der Lage sind, das Genaue zu erfassen funktional Bestimmte wichtige mathematische Eigenschaften.

Wenn es darum geht, Näherungsfunktionen zu lernen, ist das nicht die Aufgabe neuronaler Netze?

DeepMind wird auf molekularen Daten und einem fiktiven System mit fraktionierter Ladung und Spin trainiert. Ein neuronales Netzwerk DM 21 (DeepMind 21) hat erfolgreich ein Funktional ohne systematische Fehler gelernt, ist in der Lage, Delokalisierungsfehler (Delokalisierungsfehler) und das Aufbrechen der Spinsymmetrie (Spin-Symmetrie-Bruch) zu vermeiden, und kann ein breites Spektrum chemischer Reaktionskategorien besser beschreiben.

Grundsätzlich ist jeder chemische und physikalische Prozess mit Ladungsbewegung anfällig für Delokalisierungsfehler. Der Prozess des Bindungsbruchs neigt dazu, die Spinsymmetrie zu brechen. Während Ladungsbewegungen und Bindungsbrüche im Mittelpunkt vieler wichtiger technischer Anwendungen stehen, können diese Probleme auch zu zahlreichen qualitativen Fehlern bei der Beschreibung der funktionellen Gruppen der einfachsten Moleküle wie Wasserstoff führen.

Das Modell wird unter Verwendung eines mehrschichtigen Perzeptrons (MLP) erstellt und die Eingabe ist das besetzte Kohn- Schein (KS) Lokale und nichtlokale Merkmale von Umlaufbahnen.

Die Zielfunktion enthält zwei: Eine ist der Regressionsverlust, der zum Erlernen der Austauschkorrelationsenergie selbst verwendet wird, und die andere dient dazu, sicherzustellen, dass die Funktionsableitung verwendet werden kann Nach dem Training wird das selbstkonsistente Feld (selbstkonsistentes Feld, SCF) als Gradienten-Regularisierungsterm berechnet.

Für den Regressionsverlust verwendeten die Forscher einen Datensatz mit fester Dichte, der die Reaktanten und Produkte von 2235 Reaktionen darstellt, und trainierten das Netzwerk anhand dieser Dichten auf Reaktionsenergien mit hoher Genauigkeit, mit 1161 Trainingsreaktionen, die die Atomisierung, Ionisierung, Elektronenaffinität und intermolekularen Bindungsenergien kleiner H-Kr-Moleküle darstellen, und 1074 Reaktionen, die die Schlüssel-H-Ar-Atome, FC- und FS-Dichte darstellen.

Das resultierende Modell DM21 ist nach dem Training in der Lage, auf allen Reaktionen des großen Hauptfamilien-Benchmarks selbstkonsistent zu laufen und so genauere Moleküldichten zu erzeugen.

Echtes SOTA oder Datenleck?

Wenn DeepMind DM21 trainiert, handelt es sich bei den verwendeten Daten um ein Teilladungssystem, beispielsweise ein Wasserstoffatom mit einem halben Elektron.

Um die Überlegenheit von DM21 zu beweisen, führten die Forscher Tests an einem Satz gestreckter Dimere durch, dem so genannten Bond-Breaking-Benchmark-Satz (BBB). Beispielsweise haben zwei weit voneinander entfernte Wasserstoffatome insgesamt ein Elektron.

Experimentelle Ergebnisse ergaben, dass das DM21-Funktional auf dem BBB-Testsatz eine hervorragende Leistung zeigte und alle bisher getesteten klassischen DFT-Funktionen und DM21m übertraf (dasselbe wie das DM21-Training, jedoch ohne Teilladungen im Trainingssatz).

Dann behauptete DeepMind in der Arbeit: DM21 hat die physikalischen Prinzipien hinter dem Teilladungssystem verstanden.

Aber wenn man genau hinschaut, wird man feststellen, dass in der BBB-Gruppe alle Dimere dem System in der Trainingsgruppe sehr ähnlich werden. Tatsächlich sind atomare Wechselwirkungen aufgrund der lokalisierten Natur elektroschwacher Wechselwirkungen nur über kurze Distanzen stark, jenseits dieser Distanzen verhalten sich die beiden Atome im Wesentlichen so, als würden sie nicht interagieren.

Michael Medvedev, Forschungsgruppenleiter am Zelinsky-Institut für Organische Chemie der Russischen Akademie der Wissenschaften, erklärt, dass neuronale Netze in gewisser Weise wie Menschen sind, da sie es vorziehen, die richtige Antwort aus dem falschen Grund zu bekommen . Es ist also nicht schwer, ein neuronales Netzwerk zu trainieren, aber es ist schwer zu beweisen, dass es die Gesetze der Physik gelernt hat und nicht nur die richtigen Antworten auswendig gelernt hat.

Daher ist der BBB-Testsatz kein geeigneter Testsatz: Er testet weder das DM21-Verständnis fraktionaler elektronischer Systeme, noch führt eine gründliche Analyse von vier anderen Beweisstücken für die DM21-Verarbeitung solcher Systeme zu schlüssigen Schlussfolgerungen: Nur die gute Genauigkeit des SIE4x4-Sets ist möglicherweise zuverlässig.

Russische Forscher glauben auch, dass die Verwendung von Teilladungssystemen im Trainingssatz nicht die einzige Neuheit in der Arbeit von DeepMind ist. Ihre Idee, durch Trainingssätze physikalische Beschränkungen in neuronale Netze einzuführen, und die Methode, durch Training korrekter chemischer Potentiale physikalische Bedeutungen zu verleihen, könnte in Zukunft bei der Konstruktion von DFT-Funktionen neuronaler Netze weit verbreitet sein.

DeepMind Response

Für Kommentar Die Behauptung des Papiers, dass die Fähigkeit von DM21, fraktionierte Ladungs- (FC) und fraktionierte Spin-(FS)-Bedingungen außerhalb des Trainingssatzes vorherzusagen, wird in dem Papier nicht demonstriert, das auf dem Trainingssatz mit dem basiert Der Bond-Breaking-Benchmark BBB weist eine Überlappung von etwa 50 % auf und es werden Schlussfolgerungen aus der Wirksamkeit und Genauigkeit anderer Verallgemeinerungsbeispiele gezogen.

DeepMind ist mit dieser Analyse nicht einverstanden und ist der Ansicht, dass die angesprochenen Punkte entweder falsch oder für die Hauptschlussfolgerungen des Papiers und die Bewertung der Gesamtqualität von DM21 irrelevant sind, da die BBB nicht für das gezeigte FC- und FS-Verhalten verantwortlich ist im Papier Nur Beispiel.

Die Überlappung zwischen dem Trainingssatz und dem Testsatz ist ein Forschungsthema, das beim maschinellen Lernen Aufmerksamkeit verdient: Gedächtnis bedeutet, dass ein Modell beim Testsatz bessere Leistungen erbringen kann, indem Beispiele im Trainingssatz kopiert werden.

Gerasimov glaubt, dass das Verhalten von DM21 auf der BBB (die Dimere mit endlichem Abstand enthält) gut durch die Replikation der Ausgabe von FC- und FS-Systemen erklärt werden kann (d. h. Atome passen zu Dimeren bei unendlichen Trennungsgrenzen).

Um zu beweisen, dass DM21 über den Trainingssatz hinaus verallgemeinert wird, betrachteten DeepMind-Forscher auch die prototypischen BHS-Beispiele von H2+ (kationisches Dimer) und H2 (neutrales Dimer) und kamen zu dem Schluss: Genau. Die Austauschkorrelationsfunktion ist nicht vorhanden -local; die Rückgabe eines konstanten gespeicherten Werts kann mit zunehmender Entfernung zu erheblichen Fehlern bei BBB-Vorhersagen führen.

Das obige ist der detaillierte Inhalt vonKontinuierliche Umkehrungen! DeepMind wurde vom russischen Team befragt: Wie können wir beweisen, dass neuronale Netze die physische Welt verstehen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!