Hat KI auch Amnesie? Exklusives Interview mit einem 41-jährigen britischen Professor: Lösung des katastrophalen Vergessens

​Wie kann man kontinuierliches Lernen erreichen und die KI kontinuierlich verbessern?

Kürzlich sagte Christopher Kanan, ein 41-jähriger Informatiker von der University of Rochester, in einem exklusiven Interview, dass er Algorithmen entwickelt, die es der KI ermöglichen, im Laufe der Zeit kontinuierlich zu lernen – genau wie wir Menschen.

Katastrophales Vergessen

Wie wir alle wissen, kann KI Aufgaben „im Rahmen der Prüfung“ nach dem Training sehr gut erledigen, diese Algorithmen können die Wissensbasis jedoch nicht wie Menschen kontinuierlich mit neuen Informationen aktualisieren.

Um auch nur eine neue Sache zu lernen, muss der Algorithmus von Grund auf trainiert werden, auf den Preis, dass er fast alles vergisst, was er zuvor gelernt hat. Das Problem, das dies mit sich bringt, ist „katastrophales Vergessen“. Genau wie wenn Sie eine neue Freundin treffen, können Sie ihren Namen nur erfahren, indem Sie Ihr Gehirn neu starten.

Der Grund dafür liegt in der Art und Weise, wie neuronale Netze neue Dinge lernen. Das Erlernen dieser Algorithmen erfordert eine Änderung der Stärke der Verbindungen zwischen Neuronen. Dies stellt jedoch auch Wissen aus der Vergangenheit dar, sodass eine zu starke Änderung der Verbindungen zum Vergessen führt.

Biologische neuronale Netze haben über Hunderte von Millionen Jahren Strategien entwickelt, um sicherzustellen, dass wichtige Informationen stabil bleiben. Den heutigen künstlichen neuronalen Netzen fällt es jedoch schwer, eine gute Balance zwischen altem und neuem Wissen zu finden. Wenn Netzwerke neue Daten sehen, können ihre Verbindungen leicht überschrieben werden, was dazu führen kann, dass frühere Informationen plötzlich und schwerwiegend nicht mehr erkannt werden können.

1. Welchen Einfluss hatte Ihr Philosophiestudium auf Ihre Denkweise über Forschung?

Die Philosophie lehrt Sie: „Wie kann man vernünftig argumentieren“ und „Wie kann man die Argumente anderer Leute analysieren?“

Mein Labor ist von dieser Frage inspiriert: Wenn wir X nicht können, wie können wir Y tun? ?

Wir werden mit der Zeit lernen, das neuronale Netzwerk jedoch nicht, sein Wissensumfang ist festgelegt. Wenn Menschen also in Zukunft allgemeine künstliche Intelligenz erschaffen wollen, ist dies ein grundlegendes Problem, das gelöst werden muss.

Kanans Forschungsnotizen

2 Welche Fortschritte gibt es derzeit bei der Lösung des katastrophalen Vergessens in der Wissenschaft?

Die derzeit erfolgreichste Methode heißt Replay. Sie kann vergangenes Wissen speichern und es dann während des Trainingsprozesses mit einem neuen Datensatz wiedergeben, sodass die ursprünglichen Informationen nicht verloren gehen.

Diese Methode ist vom Gedächtniskonsolidierungsprozess in unserem Gehirn inspiriert. Während des Schlafs werden die Inhalte des Tageslernens neu kodiert und wiedergegeben, wenn Neuronen aktiviert werden.

Mit anderen Worten: Neues Lernen kann das bisherige Wissen des Algorithmus nicht vollständig auslöschen.

Es gibt drei Möglichkeiten, dies zu erreichen.

• Der gebräuchlichste Ansatz ist die „echte Wiedergabe“, bei der Forscher eine Teilmenge der Originaleingabe speichern – zum Beispiel Rohbilder für eine Objekterkennungsaufgabe – und diese gespeicherten früheren Bilder dann mit gelernten neuen Bildern mischen.
• Die zweite Methode besteht darin, eine komprimierte Darstellung des Bildes wiederzugeben.
• Die dritte, weniger verbreitete Methode ist „Wiederholung generieren“.

Hier generiert das künstliche neuronale Netzwerk tatsächlich eine synthetische Version vergangener Erfahrungen und mischt dann dieses synthetische Beispiel mit neuen Beispielen. Mein Labor konzentriert sich auf die beiden letztgenannten Ansätze.

3. Wenn wir das katastrophale Vergessen vollständig lösen können, bedeutet das, dass KI im Laufe der Zeit neue Dinge lernen kann?

Nicht ganz. Ich denke, das offene Problem im Bereich des kontinuierlichen Lernens ist nicht das katastrophale Vergessen.

Was mich wirklich interessiert, ist:

Wie kann vergangenes Lernen das zukünftige Lernen effizienter machen? Wie korrigiert zukünftiges Lernen vergangenes Lernen? Dies sind Dinge, die nur sehr wenige Menschen messen, und ich denke, dass dies ein Schlüsselelement für die Weiterentwicklung des Fachgebiets ist, denn eigentlich geht es nicht nur darum, etwas zu vergessen, sondern darum, ein besserer Lerner zu werden.

Christopher Kanan sagte:

In unseren Köpfen passiert definitiv viel mehr als moderne neuronale Netze. Wir müssen die richtigen experimentellen und algorithmischen Setups einrichten, um zu messen, ob vergangenes Lernen dem zukünftigen Lernen hilft. Und das größte Problem besteht derzeit darin, dass wir keine guten Datensätze haben, um kontinuierliches Lernen zu untersuchen. Wir nehmen im Grunde genommen vorhandene Datensätze, die beim traditionellen maschinellen Lernen verwendet werden, und entwickeln sie von Grund auf weiter.

Im Allgemeinen besteht der normale Ablauf des maschinellen Lernens darin, dass wir einen Trainingssatz und einen Testsatz haben – wir trainieren auf dem Trainingssatz und testen auf dem Testsatz.

Aber kontinuierliches Lernen verstößt gegen diese Regeln. Es ermöglicht, dass sich das Trainingsset mit dem Lernen des Trainers weiterentwickelt, daher brauchen wir eine sehr gute Umgebung für kontinuierliches Lernen.

4. Wie sollte eine ideale Umgebung für kontinuierliches Lernen aussehen?

Es ist einfacher zu sagen, was es nicht ist, als was es ist.

Ich kann Ihnen sagen, welche Eigenschaften es haben könnte. Nehmen wir also vorerst an, dass der KI-Algorithmus keine verkörperte Intelligenz in der Simulation darstellt. Und dann lernen wir zumindest im Idealfall aus Videos oder so etwas wie einem multimodalen Videostream und wollen mehr als nur statische Bilder klassifizieren.

Dazu gibt es viele offene Fragen. Ich war vor ein paar Jahren bei einem Workshop zum kontinuierlichen Lernen und einige Leute wie ich sagten: „Wir müssen aufhören, einen Datensatz namens MNIST zu verwenden, das ist zu einfach.“ Und dann sagte jemand: „Na ja, dann gehen wir zu Inkremental.“ Lernen in StarCraft

Ich mache das jetzt aus verschiedenen Gründen, aber ich glaube nicht, dass es ausreicht, um das Problem wirklich zu lösen. Schließlich gibt es im Leben viel mehr als nur das Erlernen von StarCraft.

5. Wie versucht Ihr Labor, Algorithmen zu entwerfen, die mit der Zeit lernen?

Mein ehemaliger Student Tyler Hayes und ich haben eine kontinuierliche Lernstudie zum analogen Denken ins Leben gerufen. Dieser Artikel wurde auch in CVPR 2021 veröffentlicht.

Papierlink: https://openaccess.thecvf.com/content/CVPR2021W/CLVision/html/Hayes_Selective_Replay_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_CVPRW_2021_paper.html

Wir glauben, dass dies eine gute Möglichkeit ist, das Konzept des Transferlernens zu studieren weil wir mehr Um komplexere Probleme zu lösen, sind heute anspruchsvolle Fähigkeiten erforderlich.

Konkret haben wir Daten zum Rückwärtstransfer gemessen, das heißt, wie viel Lernen in der Vergangenheit Ihnen in der Zukunft hilft und umgekehrt.

Wir haben gute Hinweise auf einen Transfer gefunden, der viel wichtiger ist als einfache Aufgaben wie die Objekterkennung.

6. Glauben Sie, dass künstliche Intelligenz wirklich wie Menschen lernen wird?

Ich denke, das werden sie. Es gibt viele äußerst talentierte Menschen, die auf diesem Gebiet auf dieses Ziel hinarbeiten.

Aber was wir brauchen, ist Kreativität. Viele Studien in der Community des maschinellen Lernens basieren auf früheren Forschungsergebnissen und weisen einige kleine Verbesserungen auf, und es gibt nicht viele wirklich transformative Studien.

Aber dieser Tag wird definitiv kommen, es ist nur eine Frage der Zeit.

Christopher Kanan

Christopher Kanan ist außerordentlicher Professor für Informatik an der University of Rochester. Die Hauptarbeitsrichtung ist die Grundlagenforschung zu Deep Learning, einschließlich kontinuierlichem Lernen, Voreingenommenheit in der künstlichen Intelligenz, medizinischem Computersehen und sprachgesteuertem Szenenverständnis.

Kanan hat in den Bereichen kontinuierliches Online-Lernen, visuelle Beantwortung von Fragen, Computerpathologie, semantische Segmentierung, Objekterkennung, Objekterkennung, aktives Sehen, Objektverfolgung usw. gearbeitet. Neben maschinellem Lernen verfügt er über umfassende Kenntnisse in den Bereichen Eye-Tracking, Primatensehen und theoretische Neurowissenschaften.

Zuvor war er außerordentlicher Professor am Carlson Center for Imaging Sciences am Rochester Institute of Technology (RIT). Während seiner Amtszeit gründete er zusammen mit seinen Kollegen das Center for Human Conscious Artificial Intelligence (CHAI) und war vier Jahre lang stellvertretender Direktor. Darüber hinaus war Kanan Gastprofessor an der Cornell University of Technology und unterrichtete vier Jahre lang jedes Jahr etwa 100 Doktoranden in Deep-Learning-Kursen.

Christopher Kanan wuchs in einer kleinen Stadt im ländlichen Oklahoma auf.

Im Jahr 1996 begann er, künstliche Intelligenz zu erforschen. Als er noch in der High School war, baute Kanan viele selbstgebaute „Bots“, um Online-Multiplayer-Computerspiele zu spielen.

Im Jahr 2002 wurde Kanan an der Oklahoma State University (OSU) mit den Schwerpunkten Philosophie und Informatik aufgenommen und erhielt 2004 seinen Bachelor-Abschluss.

Im Jahr 2006 erhielt er einen Master-Abschluss in Informatik von der University of Southern California (USC) mit Schwerpunkt auf künstlicher Intelligenz und Neurowissenschaften und arbeitete mit Michael Arbib zusammen, einem Pionier der Computational Neuroscience und neuronalen Netze. Im Jahr 2013 erhielt er seinen Doktortitel in Informatik von der University of California, San Diego (UCSD). Nach seinem Abschluss ging Kanan zum California Institute of Technology, um dort als Postdoktorand zu forschen.

Referenz: https://www.quantamagazine.org/the-computer-scientist-trying-to-teach-ai-to-learn-like-we-do-20220802/​

Das obige ist der detaillierte Inhalt vonHat KI auch Amnesie? Exklusives Interview mit einem 41-jährigen britischen Professor: Lösung des katastrophalen Vergessens. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!