DeepMind-Artikel in Nature veröffentlicht: Ein großes Modell findet eine neue Lösung für ein Problem, das Mathematiker seit Jahrzehnten beschäftigt

Als Top-Technologie im Bereich der künstlichen Intelligenz in diesem Jahr sind große Sprachmodelle (LLM) gut darin, Konzepte zu kombinieren und Menschen durch Lesen, Verstehen, Schreiben und Codieren bei der Lösung von Problemen zu helfen. Aber können sie völlig neues Wissen entdecken?

LLM für eine nachweislich korrekte Entdeckung zu nutzen, ist eine herausfordernde Aufgabe, da LLM nachweislich unter dem Problem der „Halluzination“ leidet, d hat eine neue Methode zur Suche nach Lösungen für Mathematik- und Informatikprobleme vorgeschlagen – FunSearch. FunSearch kombiniert ein vorab trainiertes LLM (das kreative Lösungen in Form von Computercode bereitstellt) mit einem automatischen „Auswerter“, um Halluzinationen und falsche Ideen zu verhindern. Durch das Hin- und Herwechseln zwischen diesen beiden Komponenten entwickelt sich die ursprüngliche Lösung zu „neuem Wissen“. Ein entsprechender Artikel wurde in der Zeitschrift Nature veröffentlicht.

... Machen Sie neue Entdeckungen.

FunSearch entdeckt neue Lösungen für das Cap-Set-Problem, ein dauerhaft ungelöstes Problem in der Mathematik. Darüber hinaus nutzt DeepMind diese Lösung auch, um effizientere Algorithmen zur Lösung des „Boxing“-Problems zu erforschen, das in vielen Bereichen weit verbreitet ist, beispielsweise bei der Verbesserung der Effizienz von Rechenzentren. Den praktischen Wert von FunSearch demonstrieren

Das Forschungsteam glaubt, dass FunSearch ein besonders leistungsfähiges wissenschaftliches Werkzeug werden wird, da die von ihm ausgegebenen Programme offenbaren, wie ihre Lösungen aufgebaut sind, und nicht nur, was die Lösungen sind. Dies wird weitere Erkenntnisse der Wissenschaftler anregen und einen positiven Kreislauf wissenschaftlicher Verbesserungen und Entdeckungen schaffen.

Fördern Sie die Entdeckung durch die Entwicklung von Sprachmodellen

FunSearch verwendet einen von LLM unterstützten evolutionären Algorithmus, um die Ideen und Ideen mit der höchsten Punktzahl zu fördern und voranzutreiben. Diese Ideen und Ideen können als Computerprogramme ausgedrückt werden, sodass sie automatisch ausgeführt und ausgewertet werden können.

Zunächst muss der Benutzer die Beschreibung des Problems in Form von Code schreiben. Diese Beschreibung sollte den Prozess der Evaluierung des Programms und des Seed-Programms umfassen, das zur Initialisierung des Programmpools verwendet wird.

FunSearch ist ein iterativer Prozess. In jeder Iteration wählt das System einige Programme aus dem aktuellen Programmpool aus und übergibt sie an LLM. LLM baut auf dieser Grundlage auf und generiert neue Programme, die dann automatisch evaluiert werden. Die besten Programme werden wieder zur bestehenden Bibliothek hinzugefügt, wodurch ein Zyklus der Selbstverbesserung entsteht. FunSearch verwendet Googles PaLM 2, ist aber auch mit anderen Code-trainierten Methoden kompatibel

LLM ruft das beste generierte Programm aus einer Programmdatenbank ab und wird gebeten, ein besseres Programm zu generieren.

Wie wir alle wissen, ist die Erforschung neuer mathematischer Erkenntnisse und Algorithmen in verschiedenen Bereichen eine sehr anspruchsvolle Aufgabe, die oft über die Fähigkeiten der derzeit fortschrittlichsten Systeme der künstlichen Intelligenz hinausgeht. Um FunSearch dieser Aufgabe gewachsen zu machen, führte das Forschungsteam mehrere Schlüsselkomponenten ein. FunSearch beginnt nicht bei Null, sondern geht von einem gesunden Menschenverstand für das Problem aus und verwendet einen evolutionären Prozess, um sich darauf zu konzentrieren, die kritischsten Ideen zu finden, um neue Entdeckungen zu erzielen.

Darüber hinaus verwendet der evolutionäre Prozess von FunSearch eine Strategie zur Erhöhung der Vielfalt von Ideen, um Stagnation zu vermeiden. Um schließlich die Systemeffizienz zu steigern, wird der Evolutionsprozess parallel durchgeführt.

Neuland in der Mathematik betreten

DeepMind sagte, das erste, was sie lösen wollten, sei das Cap-Set-Problem, ein offenes Problem, das Mathematiker in verschiedenen Forschungsbereichen seit Jahrzehnten verwirrt. Der berühmte Mathematiker Terence Tao beschrieb es einmal als sein liebstes offenes Problem. DeepMind entschied sich für die Zusammenarbeit mit Jordan Ellenberg, einem Mathematikprofessor an der University of Wisconsin-Madison, der einen wichtigen Durchbruch beim Cap-Set-Problem erzielte.

Ein wichtiges Problem besteht darin, die größte Menge von Punkten (sogenannte „Cap-Menge“) in einem hochdimensionalen Gitter zu finden, sodass keine drei Punkte darin kollinear sind. Die Bedeutung dieses Problems besteht darin, dass es als Modell für andere Probleme der extremen Kombinatorik dienen kann. Die Extremkombinatorik untersucht die minimale oder maximale Größe, die Sammlungen haben können, bei denen es sich um Zahlen, Grafiken oder andere Objekte handeln kann. Brute-Force-Lösungen werden dieses Problem nicht lösen – die Anzahl der zu berücksichtigenden Möglichkeiten wird schnell die Anzahl der Atome im Universum übersteigen

Die programmgesteuert generierten Lösungen von FunSearch haben in einigen Fällen die größten jemals erstellten Cap-Sets entdeckt. Dies stellt den größten Anstieg der Cap-Set-Größe in den letzten 20 Jahren dar. Darüber hinaus übertrifft FunSearch modernste Computerlöser, da das Ausmaß des Problems ihre derzeitigen Fähigkeiten bei weitem übersteigt.

Interaktives Diagramm, das die Entwicklung vom Seed-Programm (oben) zur neuen Highscoring-Funktion (unten) zeigt. Jeder Kreis stellt ein Programm dar und seine Größe ist proportional zur ihm zugewiesenen Punktzahl. In der Abbildung sind nur die Vorgesetzten des untersten Programms dargestellt. Die entsprechende von FunSearch für jeden Knoten generierte Funktion wird rechts angezeigt.

Diese Ergebnisse zeigen, dass die FunSearch-Technologie es Menschen ermöglichen kann, bei schwierigen kombinatorischen Problemen, bei denen es schwierig ist, Intuition aufzubauen, über etablierte Ergebnisse hinauszugehen. DeepMind geht davon aus, dass dieser Ansatz bei neuen Entdeckungen zu ähnlichen theoretischen Problemen der Kombinatorik eine Rolle spielen und in Zukunft neue Möglichkeiten für Bereiche wie die Kommunikationstheorie eröffnen wird.

FunSearch bevorzugt prägnante, für den Menschen verständliche Programme

Während die Entdeckung neuer mathematischer Erkenntnisse an sich schon von Bedeutung ist, weist die FunSearch-Methode auch andere Vorteile gegenüber herkömmlichen Computersuchtechniken auf. Denn FunSearch ist keine Blackbox, die nur Lösungen für Probleme generiert. Stattdessen werden Programme generiert, die beschreiben, wie zu diesen Lösungen gelangt ist. Diese Art von „Show-your-working“ ist in der Regel die Art und Weise, wie Wissenschaftler arbeiten und neue Entdeckungen oder Phänomene erklären, indem sie die Prozesse beschreiben, die zu ihnen geführt haben.

FunSearch bevorzugt Lösungen mit geringerer Kolmogorov-Komplexität, die hochkompakte Programme darstellen. Die Kolmogorov-Komplexität bezieht sich auf die Länge des kürzesten Computerprogramms, das zur Ausgabe einer Lösung erforderlich ist. Durch den Einsatz kurzer Programme kann FunSearch sehr große Objekte beschreiben und so sehr komplexe Probleme bearbeiten. Darüber hinaus erleichtert dies den Forschern das Verständnis der von FunSearch generierten Programmausgabe. Ellenberg sagte: „FunSearch bietet einen völlig neuen Mechanismus zur Entwicklung von Angriffsstrategien. Die durch FunSearch generierten Lösungen sind konzeptionell umfangreicher als eine bloße Liste von Zahlen. Ich habe durch das Studium etwas gelernt

Noch wichtiger ist diese Interpretierbarkeit von FunSearch.“ Das Programm kann Forschern umsetzbare Erkenntnisse liefern. Beispielsweise bemerkte DeepMind bei der Verwendung von FunSearch interessante Symmetrien im Code einiger seiner hoch bewerteten Ergebnisse. Dies gab DeepMind ein neues Verständnis des Problems, das sie nutzten, um das Problem zu verbessern, das FunSearch eingeführt hatte, um eine bessere Lösung zu finden. DeepMind glaubt, dass dies ein hervorragendes Beispiel für die menschliche Zusammenarbeit mit FunSearch bei vielen Problemen in der Mathematik ist.

Links: Durch die Untersuchung des von FunSearch generierten Codes gewann DeepMind weitere umsetzbare Erkenntnisse (hervorgehoben). Rechts: Die ursprüngliche „akzeptable“ Menge, die mit dem (kürzeren) Programm links erstellt wurde.

Ein bekanntes Rechenproblem lösen

Inspiriert durch den Erfolg des theoretischen Cap-Set-Problems beschloss DeepMind, FunSearch auf eine wichtige praktische Herausforderung in der Informatik anzuwenden – das Bin-Packing-Problem. Das Verpackungsproblem besteht darin, Artikel unterschiedlicher Größe in möglichst wenigen Kartons zu verpacken. Es ist der Kern vieler realer Probleme, vom Versand von Containern mit Gegenständen bis hin zur Verteilung der Rechenarbeit in Rechenzentren, bei denen die Kosten minimiert werden müssen.

Typischerweise werden bei der Lösung von Online-Binning-Problemen heuristische Algorithmenregeln verwendet, die auf menschlicher Erfahrung basieren. Allerdings ist die Entwicklung eines Regelwerks für jede spezifische Situation (je nach Größe, Zeit oder Kapazität) eine große Herausforderung. Obwohl es sich stark vom Cap-Set-Problem unterscheidet, ist es mit FunSearch sehr einfach, dieses Problem zu lösen. FunSearch bietet ein automatisch angepasstes Programm, das sich je nach Situation an die Daten anpassen kann und im Vergleich zu vorhandenen Heuristiken weniger Boxen verwenden kann, um die gleiche Anzahl von Elementen zu laden Best-Fit-Heuristik (links) und die von FunSearch entdeckte Heuristik (rechts).

Komplexe kombinatorische Probleme wie Online-Binning können mit anderen Methoden der künstlichen Intelligenz, wie neuronalen Netzen und Reinforcement Learning, gelöst werden. Diese Methoden haben sich ebenfalls als wirksam erwiesen, erfordern jedoch möglicherweise auch erhebliche Ressourcen für die Bereitstellung. Andererseits gibt FunSearch Code aus, der einfach zu überprüfen und bereitzustellen ist, was bedeutet, dass seine Lösungen das Potenzial haben, auf eine Vielzahl realer Industriesysteme angewendet zu werden, was schnell Vorteile bringt.

DeepMind: Die Verwendung großer Modelle zur Bewältigung wissenschaftlicher Herausforderungen wird zur gängigen Praxis werden.

FunSearch beweist, dass die Leistungsfähigkeit dieser Modelle nicht nur zur Generierung neuer mathematischer Entdeckungen, sondern auch zur Generierung neuer mathematischer Entdeckungen genutzt werden kann, wenn die Halluzination von LLMs verhindert werden kann um wichtige potenzielle Lösungen für reale Probleme aufzudecken.

DeepMind glaubt, dass für viele Probleme in Wissenschaft und Industrie – sowohl langjährige als auch neue – die Verwendung von LLM-gesteuerten Methoden zur Generierung effizienter und maßgeschneiderter Algorithmen gängige Praxis werden wird.

Eigentlich ist das erst der Anfang. Während LLM weiterhin Fortschritte macht, wird sich FunSearch weiter verbessern. DeepMind sagte, dass man auch daran arbeiten werde, seine Fähigkeiten zu erweitern, um eine Vielzahl dringender wissenschaftlicher und technischer Herausforderungen in der Gesellschaft anzugehen.

Das obige ist der detaillierte Inhalt vonDeepMind-Artikel in Nature veröffentlicht: Ein großes Modell findet eine neue Lösung für ein Problem, das Mathematiker seit Jahrzehnten beschäftigt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!