CREATOR erstellt und verwendet Werkzeuge, um die „Selbstentwicklung' von LLM zu verwirklichen.

Seit der Antike gilt der Einsatz von Werkzeugen als wesentlicher Unterschied zwischen Menschen und anderen Lebewesen und gilt auch als grundlegende Manifestation von Intelligenz. Heutzutage beschränkt sich künstliche Intelligenz nicht mehr auf den einfachen Einsatz von Werkzeugen. Sie können bereits auf der Grundlage von Problemen eigene Werkzeuge entwickeln, um Lösungen zu finden. In Bezug auf das Denken bedeutet dies, dass die aktuellen großen Modelle in der Lage waren, abstraktes Denken und Erkennen auf höherer Ebene zu beherrschen und es mit konkretem Denken zu verbinden, um Probleme gemeinsam zu lösen, und in Bezug auf die Fähigkeiten bedeutet dies auch das Aufkommen der Werkzeugerstellung Das Modell war in der Lage, sich durch „Lernen“ zu transformieren und das, was Sie wissen, zu nutzen, um unendliche Möglichkeiten für die Zukunft zu „schaffen“.

• Link zum Papier: https://arxiv.org/pdf/2305.14318.pdf

Forschungshintergrund

In den letzten Jahren wurden große Sprachmodelle (Large Language Models) entwickelt Es wurden erhebliche Forschungsfortschritte erzielt, darunter GPT-3, Codex, PaLM, LLaMA, ChatGPT und das kürzlich veröffentlichte GPT-4 usw. Diese Modelle zeichnen sich durch kontextbezogenes Lernen, Codegenerierung und eine Vielzahl anderer Aufgaben zur Verarbeitung natürlicher Sprache aus und erweitern das Potenzial der Modelle weiter in Richtung allgemeiner künstlicher Intelligenz.

Obwohl große Modelle in diesen Bereichen große Erfolge erzielt haben, weisen sie immer noch viele Mängel auf, darunter die Unfähigkeit, die neuesten Echtzeitinformationen zu erkennen oder zu beantworten, die Schwierigkeit, bei umfangreichen Datenberechnungen eine hohe Genauigkeit zu erreichen usw Schwierigkeiten bei der Beantwortung von Fragen. Die Denkfähigkeit ist instabil, wenn die Logik komplex ist usw. Als Reaktion auf diese Mängel haben Forscher damit begonnen, die Möglichkeit zur Nutzung externer Ressourcen in die aktuelle Modellarchitektur einzuführen, beispielsweise durch die Einführung von Taschenrechnern, Frage- und Antwortsystemen, Wikipedia und anderen externen Wissensquellen, um die Modellfunktionen zu verbessern. Diese Forschungsreihe legte den Grundstein für die Werkzeuglernfähigkeiten (Tool Learning) des Modells.

Allerdings ist die Zahl der

externen Tools, die in der aktuellen Forschung eingesetzt werden, noch begrenzt, während die potenziellen neuen Aufgabentypen nahezu endlos sind. Daher ist es bei neuen Problemtypen schwierig, vorhandene Werkzeuge zu finden, die zur Lösung der Probleme geeignet sind. Darüber hinaus erfordern Modelle, selbst wenn wirksame, ausnutzbare Tools bereitgestellt werden, eine umfassende Suche, Zuordnung und problemspezifische Planung in der Toolkit-Dokumentation. Dies wird eine große kognitive Belastung für das Modell bedeuten und höhere Lernkosten erfordern .

Daher schlug das Forschungsteam ein neues Forschungsparadigma vor:

Werkzeugerstellung. Es handelt sich nicht mehr nur um die Möglichkeit, große Modelle zur Verwendung von Werkzeugen zu verwenden, sondern es wurde ein neues Werkzeugerstellungsmodul hinzugefügt, das es dem Modell ermöglicht, Werkzeuge zu erstellen und Lösungen für die Probleme zu finden, mit denen es konfrontiert ist.

Der Einsatz großer Tools zur Modellerstellung kann

die Allgegenwärtigkeit, Wiederverwendbarkeit und Vielfalt von Tools über die Einschränkungen einer bestimmten API hinaus erhöhen. Das Design des Werkzeugerstellungsmoduls kann auch die kognitive Belastung großer Modelle reduzieren und sie für abstraktes Denken (Erstellung verallgemeinerbarer und universeller Werkzeuge) und konkretes Denken (Entscheidungen auf der Grundlage von Werkzeugimplementierungsdetails und Werkzeugnutzungsdokumentation) entkoppeln. Fähigkeit . Gleichzeitig verwendet das Modell unter diesem Framework Code als Medium für die Werkzeugerstellung, wodurch das Modell anfälliger für Fehler wird und auf der Grundlage von Problemen bei der Werkzeugerstellung und -verwendung zurückverfolgt und korrigiert werden kann.

Im Vergleich zur Werkzeugnutzung ist das Werkzeugerstellungsparadigma flexibler und lässt sich besser an verschiedene Szenarien anpassen Es ist hauptsächlich in die folgenden vier Phasen unterteilt:

• Erstellung: Nutzen Sie die abstrakte Denkfähigkeit großer Modelle, um Probleme zu lösen, und erstellen Sie die erforderlichen Tools und deren Gebrauchsanweisungen durch Code.
• Entscheidung: Nutzen Sie die konkrete Argumentationsfähigkeit großer Modelle, um Probleme zu lösen, und entscheiden Sie, wie Sie Werkzeuge zur Lösung aktueller Probleme einsetzen.
• Ausführung: Führen Sie die Entscheidung basierend auf dem erstellten Tool und Entscheidungsinhalt aus und erfassen Sie die Ausgabeinformationen während des Ausführungsprozesses.
• Korrektur: Nutzen Sie die Fähigkeit des großen Modells, über Fehlerursachen nachzudenken und sich selbst zu reparieren, um während der Ausführungsphase festgestellte Probleme zu beheben.

Der Prozessrahmen des großen Modells für die Werkzeugerstellung und Entscheidungsfindung

Das große Modell erstellt zunächst die entsprechend dem Problem benötigten Werkzeuge und die zugehörigen Gebrauchsanweisungen , Probleminhalt und Werkzeuginformationen Es werden auch an das größere Modell zurückgegeben, um über eine Lösung des Problems und die Verwendung der Werkzeuge zu entscheiden. Anschließend passt das Modell Tools und Entscheidungen basierend auf der Ausführung an, um das Problem besser zu erfüllen und nach Antworten zu suchen.

Das gesamte Tool-Erstellungs-Framework nutzt flexibel die unterschiedlichen Denkfähigkeiten großer Modelle: Abstraktes Denken, um Schlüsselinformationen des Problems zu extrahieren, konkretes Denken, um Entscheidungen auf der Grundlage von Aufgabenimplementierungsplänen zu treffen und Selbstheilendes Denken Lösungen basierend auf dem Problem zu finden . Die Entkopplung dieser Fähigkeiten hilft großen Modellen, Fehler zu vermeiden, die durch Verwirrung in der gewöhnlichen Denkkette (Chain-of-Thought, CoT) verursacht werden, und verbessert effektiv die Anpassungsfähigkeit und Leistung großer Modelle an Aufgaben.

Experimentelle Evaluierung von CREATOR

Der Autor verglich das CREATOR-Framework mit der aktuellen Common Reasoning Chain-Methode (CoT), der Program Reasoning Chain-Methode (Program-of-Thought, PoT) und der einfachen Werkzeugverwendung ohne Erstellung (Tool Use). . Um die Wirksamkeit der Trennung von abstraktem Denken und konkretem Denken im Framework zu überprüfen, führte der Autor gleichzeitig Tool Create - Whole als Basis ein. Diese Methode kombiniert die Erstellungsphase und die Entscheidungsphase im CREATOR-Framework 1. Keine Entkopplung der Denkfähigkeiten mehr.

Creation Challenge Datensatzprobleme, Standardwerkzeuge und Entscheidungsbeispiele

Beim MATH-Datensatz ist die Leistung des CREATOR-Frameworks höher als bei anderen Inferenzmethoden und einfache Werkzeuge verwenden

Bei der Auswahl der Datensätze wählte der Autor die Datensätze MATH und TabMWP als Hauptüberprüfung. Ersteres umfasst schwierige mathematische Probleme in amerikanischen Mathematikwettbewerben, während letzteres Probleme mit umfangreichen Datentabellen kombiniert. Beide testen die Problembegründungs- und Lösungsfähigkeiten des Modells in verschiedenen Szenarien. Darüber hinaus stellte der Autor einen neu erstellten Creation Challenge-Datensatz vor, in dem die Probleme nicht direkt durch vorhandene Tools oder Codepakete gelöst werden können, wodurch die Fähigkeit des Modells zum Erstellen von Tools getestet wurde.

Der CREATOR-Framework-Effekt ist auch beim TabMWP-Datensatz und der Creation Challenge deutlich stärker

Aus den experimentellen Ergebnissen geht hervor, dass die Argumentationsergebnisse des CREATOR-Frameworks deutlich besser sind als alle Basislinien, insbesondere im Vergleich zu Standard-Argumentationsmethoden und Programm-Argumentationsmethoden wurden bessere Ergebnisse erzielt. Gleichzeitig beweisen Experimente auch, dass die Entkopplung abstrakter und konkreter Argumentationsfähigkeiten effektiv dazu beitragen kann, die Genauigkeit des Modells zu verbessern. Im Testset „Creation Challenge“ hat der Autor außerdem bestätigt, dass das Modell das Problem besser lösen kann, wenn Hinweise darauf vorhanden sind, welche Werkzeuge erstellt werden sollen. Daher sind Anregungen und die Entkopplung des Denkens auch zu wichtigen Einflussfaktoren bei der Werkzeugerstellung geworden.

Genauigkeitsstatistik verschiedener Methoden zur Aufgabenschwierigkeit

Der Effekt wird durch die Teilnahme an der Korrekturstufe verbessert

Ausnahme: Darüber hinaus überprüfte der Autor auch die Änderungskurven verschiedener Methoden für die Aufgabenschwierigkeit sowie den Zusammenhang zwischen den Teilnahmerunden in der Korrekturphase und der Verbesserung großer Modelleffekte. Die Ergebnisse zeigen, dass das CREATOR-Framework angesichts schwieriger Probleme eine bessere Robustheit aufrechterhalten kann und die Teilnahme an der Korrekturphase nicht nur das CREATOR-Framework, sondern sogar die PoT-Argumentationsmethode erheblich verbessern kann, bestätigt, dass in The Rationality and Wirksamkeit der Einführung der Korrekturstufe in das Experiment.

Andere Vorteile der Werkzeugerstellung

Neben dem Hauptexperiment konzentrierte sich der Autor des Artikels auch auf die Untersuchung anderer Vorteile der Werkzeugerstellung und der unterschiedlichen Ausprägungen der aktuellen Möglichkeiten zur Werkzeugerstellung für große Modelle. Da es sich um ein Erstellungswerkzeug handelt, muss einer seiner Vorteile als Werkzeug seine Wiederverwendbarkeit sein. Dieser Idee folgte der Autor auch, um die Verbesserung von Aufgabeneffekten durch die Wiederverwendung von Werkzeugen weiter zu demonstrieren.

Der Autor hat 300 Fragen entworfen und diese in 100 Dreiergruppen unterteilt. Obwohl die drei Fragen in jeder Gruppe unterschiedliche Szenarien haben, beziehen sie sich alle auf dasselbe Kernwissen (Kernwissen), also ähnliche Fragen. Der Autor hat überprüft, ob die Verwendung eines Tools, das für ein Problem in allen Szenarien einer Reihe von Problemen erstellt wurde, die Genauigkeit effektiv lösen und verbessern kann.

Bei der Migration von Werkzeugen, die von großen Modellen erstellt wurden, zu anderen Problemen kann die Genauigkeit effektiv verbessert werden

Experimentelle Statistiken zeigen, dass die vom Modell erstellten korrekten und verwendbaren Werkzeuge migriert werden können zu anderen ähnlichen Problemszenarien. Es kann die Genauigkeit der Problemlösung effektiv verbessern. Dies zeigt, dass die von großen Modellen erstellten Werkzeuge eine gute Wiederverwendbarkeit und eine gute Universalität für ähnliche Probleme aufweisen.

Darüber hinaus zeigt der Autor anhand großer Modelle auch drei Dimensionen der Werkzeugerstellung:

Kapselung vorhandener Werkzeuge zur Erreichung unterschiedlicher Zwecke, Kombination verschiedener Werkzeuge zur Erreichung von Zielfunktionen und hierarchische Werkzeugerstellung. Diese drei Dimensionen von niedrig nach hoch veranschaulichen die Fähigkeiten der aktuellen Werkzeuge zur Erstellung großer Modelle. Diese Fähigkeiten helfen auch großen Modellen, sich effizienter an verschiedene Szenarien anzupassen. „Drei Dimensionen der Werkzeugerstellung für große Modelle“ , ein weiterer großer Durchbruch bei der Erforschung der Grenzen der Modellfähigkeiten. Ich glaube, dass weitere Forschungen in Zukunft darauf basieren werden, das Potenzial des Modells bei der Verwendung und Erstellung von Werkzeugen weiterhin beweisen und verbessern und uns weitere Überraschungen bringen werden. Hauptautor des Artikels

Qian Cheng, Student im dritten Studienjahr an der Tsinghua-Universität, Mitglied des THUNLP-Labors und Mentor Liu Zhiyuan. Aktuelle Forschungsrichtungen umfassen das Vortraining großer Modelle, die effiziente Feinabstimmung großer Modelle und das Lernen von Werkzeugen. Er erhielt das Comprehensive Computer Science Outstanding Scholarship der Tsinghua University und veröffentlichte als Co-Autor Beiträge auf internationalen Konferenzen wie EMNLP und ACL.

Persönliche Homepage: https://qiancheng0.github.io/

Das obige ist der detaillierte Inhalt vonCREATOR erstellt und verwendet Werkzeuge, um die „Selbstentwicklung' von LLM zu verwirklichen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!