KI-Neugier tötet nicht nur die Katze! Der neue Reinforcement-Learning-Algorithmus des MIT, diesmal ist der Agent „schwierig und leicht, alles zu ertragen'

​Jeder kennt ein uraltes Problem.

Es ist Freitagabend und Sie versuchen, ein Restaurant zum Essen auszuwählen, haben aber keine Reservierung. Sollten Sie in Ihrem Lieblingsrestaurant, in dem es viele Menschen gibt, in der Schlange stehen oder ein neues Restaurant ausprobieren, in der Hoffnung, noch leckerere Überraschungen zu entdecken?

Letzteres kann zwar zu Überraschungen führen, aber diese Art von neugierigem Verhalten birgt Risiken: Das Essen in dem neuen Restaurant, das Sie probieren, ist möglicherweise noch schlechter.

Neugier ist die treibende Kraft für KI, die Welt zu erkunden, und es gibt unzählige Beispiele – autonome Navigation, Entscheidungsfindung von Robotern, optimierte Erkennungsergebnisse usw.

In manchen Fällen nutzen Maschinen „Reinforcement Learning“, um ein Ziel zu erreichen. Dabei lernt der KI-Agent immer wieder aus guten Verhaltensweisen, die belohnt werden, und aus schlechten Verhaltensweisen, die bestraft werden.

Genau wie das Dilemma, mit dem Menschen bei der Auswahl eines Restaurants konfrontiert sind, versuchen diese Agenten, die Zeit zum Entdecken besserer Maßnahmen (Exploration) und die Zeit zum Ergreifen von Maßnahmen, die in der Vergangenheit zu hohen Erträgen geführt haben (Ausbeutung), in Einklang zu bringen.

Eine zu starke Neugier lenkt den Agenten ab und hindert ihn daran, eine günstige Entscheidung zu treffen, während eine zu schwache Neugier dazu führt, dass der Agent nie in der Lage sein wird, eine günstige Entscheidung zu treffen.

Um KI-Agenten „genau die richtige“ Neugier zu vermitteln, haben Forscher des Computer Science and AI Laboratory (CSAIL) des MIT einen Algorithmus entwickelt, der das Problem überwindet, dass KI zu „neugierig“ ist und von den anstehenden Problemen überwältigt wird. Probleme mit der Aufgabenablenkung.

Der von ihnen entwickelte Algorithmus erhöht bei Bedarf automatisch die Neugier und verringert sie, wenn der Agent ausreichend Aufsicht aus der Umgebung erhält und bereits weiß, was zu tun ist.

Link zum Papier: https://williamd4112.github.io/pubs/neurips22_eipo.pdf

Nach Tests in mehr als 60 Videospielen ist dieser Algorithmus in der Lage, Erkundungsaufgaben mit unterschiedlichen Schwierigkeitsgraden erfolgreich zu bewältigen, während frühere Algorithmen können nur einzeln im Schwierigkeitsgrad „leicht“ oder „schwer“ gelöst werden. Dies bedeutet, dass KI-Agenten weniger Daten verwenden können, um Entscheidungsregeln zu lernen und Anreize zu maximieren.

„Wenn Sie den Kompromiss zwischen Exploration und Ausbeutung gut verstehen, können Sie die richtigen Entscheidungsregeln schneller erlernen, während für alles andere viele Daten erforderlich sind, was dazu führen kann, dass die erzielten Ergebnisse nicht optimal sind. Medizinische Lösungen.“ „Die Website-Gewinne sind rückläufig und Roboter lernen nicht, die richtigen Dinge zu tun“, sagte Pulkit Agrawal, einer der Studienleiter und Professor am MIT und Direktor des Improbable AI Lab.

Neugier tötet nicht nur die Katze!

Es scheint schwierig, die psychologischen Grundlagen der Neugier aus psychologischer Sicht zu erklären. Wir haben noch kein tiefes Verständnis für die zugrunde liegenden neurologischen Prinzipien dieses herausforderungssuchenden Verhaltens.

Mit Reinforcement Learning wird dieser Prozess emotional „beschnitten“ und das Problem auf seine grundlegendste Ebene reduziert, die technische Umsetzung ist jedoch recht komplex.

Im Wesentlichen sollte ein Agent nur dann neugierig sein, wenn es nicht genügend Aufsicht gibt, um verschiedene Dinge auszuprobieren, und wenn es Aufsicht gibt, muss er seine Neugier anpassen und reduzieren.

Ein großer Teil der Testspielaufgaben besteht aus kleinen Agenten, die auf der Suche nach Belohnungen durch die Umgebung laufen und eine lange Liste von Aktionen ausführen, um ein bestimmtes Ziel zu erreichen. Dies scheint ein logischer Testrahmen für die Algorithmen der Forscher zu sein.

In Experimenten mit Spielen wie „Mario Kart“ und „Montezumas Rache“ teilten Forscher die oben genannten Spiele in zwei verschiedene Kategorien ein:

Eine spärlich überwachte Umgebung, in der der Agent weniger Anleitung erhält. Eins ist weniger, was a ist „schweres“ Erkundungsspiel; das andere ist eine intensiver betreute Umgebung, bei der es sich um ein „einfaches“ Erkundungsspiel handelt.

Angenommen, in Mario Kart entfernen Sie einfach alle Belohnungen und Sie wissen nicht, wann ein Feind Sie tötet. Für das Einsammeln einer Münze oder den Sprung über ein Rohr erhältst du keine Belohnung. Dem Agenten wird erst am Ende mitgeteilt, wie er sich verhalten hat. Dies ist ein kaum überwachtes Umfeld, was eine schwierige Aufgabe darstellt. Algorithmen, die die Neugier wecken, leisten bei dieser Art von Aufgabe sehr gute Dienste.

Und wenn sich der Agent in einer dicht überwachten Umgebung befindet, das heißt, es gibt Belohnungen für das Springen durch Rohre, das Sammeln von Münzen und das Töten von Feinden, dann ist der Algorithmus mit der besten Leistung ein Algorithmus ohne Neugier, da er oft belohnt wird und Befolgen Sie einfach den Prozess und Sie werden ohne zusätzliche Erkundung viel gewinnen.

Wenn Sie einen Algorithmus verwenden, der die Neugier weckt, wird die Lerngeschwindigkeit sehr langsam sein.

Weil ein neugieriger Agent möglicherweise auf verschiedene Weise versucht, schnell zu rennen, umherzuwandern und jede Ecke des Spiels zu besuchen. Diese Dinge machen Spaß, aber sie helfen dem Agenten nicht, im Spiel erfolgreich zu sein und Belohnungen zu erhalten.

Wie oben erwähnt, werden beim verstärkenden Lernen Algorithmen, die Neugier wecken und Neugier hemmen, im Allgemeinen verwendet, um spärlich überwachten (schwierigen) bzw. überwachten intensiven (einfachen) Aufgaben zu entsprechen, und können nicht gemischt werden.

Dieses Mal funktioniert der neue Algorithmus des MIT-Teams immer gut, egal in welcher Umgebung.

Zukünftige Arbeiten könnten die Rückkehr zu einer Suche beinhalten, die Psychologen seit Jahren begeistert und beunruhigt: ein angemessenes Maß für Neugier – niemand weiß wirklich, wie man Neugier mathematisch richtig definiert.

Zhang Weihong, Doktorand am MIT CSAIL, sagte:

Optimieren Sie den Algorithmus für das Problem, an dem Sie interessiert sind, indem Sie den Explorationsalgorithmus verbessern. Wir brauchen Neugier, um herausfordernde Probleme zu lösen, aber bei manchen Problemen kann Neugier die Leistung beeinträchtigen. Unser Algorithmus eliminiert den Ausgleichsaufwand für die Anpassung von Exploration und Exploitation.

Bei Problemen, deren Lösung früher eine Woche dauerte, kann der neue Algorithmus in wenigen Stunden zufriedenstellende Ergebnisse erzielen.

Er ist Co-Autor eines neuen Artikels zu dieser Arbeit mit Eric Chen, 22, einem CSAIL M.E. am MIT.

Deepak Pathak, ein Lehrer an der Carnegie Mellon University, sagte:

„Intrinsische Belohnungsmechanismen wie Neugier sind die Grundlage dafür, dass Agenten nützliche und vielfältige Verhaltensweisen entdecken, aber dies sollte nicht die Grundlage für eine bestimmte Aufgabe sein.“ ist ein wichtiges Thema in der KI, und dieser Artikel bietet eine Möglichkeit, diesen Kompromiss auszugleichen. Es wird interessant sein zu sehen, wie sich dieser Ansatz von Spielen auf reale Roboteragenten übertragen lässt. Eine interessante Sache und außerordentlicher Professor für Philosophie an der University of California, Berkeley, wies darauf hin, dass eine der größten Herausforderungen in der aktuellen KI- und Kognitionswissenschaft darin besteht, „Erforschung und Nutzung“ in Einklang zu bringen Belohnungen.

「Dieser Artikel verwendet beeindruckende neue Technologien, um diese Arbeit zu automatisieren, und entwirft einen Agenten, der die Neugier auf die Welt und den Wunsch nach Belohnungen systematisch in Einklang bringen kann, sodass KI-Agenten sich auf Dinge wie „Es ist ein wichtiger Schritt in die Richtung, echte Kinder zu machen“ zu konzentrieren so schlau wie möglich zu sein“, sagte er.

Referenzen:

https://techxplore.com/news/2022-11-bad-ai-curious.html

https://www.csail.mit.edu/news/ensuring-ai-works- right -Dosis-Neugier

Das obige ist der detaillierte Inhalt vonKI-Neugier tötet nicht nur die Katze! Der neue Reinforcement-Learning-Algorithmus des MIT, diesmal ist der Agent „schwierig und leicht, alles zu ertragen'. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!