Die Leistung des entdeckten ADAS-basierten Agenten übertrifft die von Hand entworfenen Basislinien auf dem neuesten Stand der Technik deutlich.
Grundlegende Modelle (FM) wie GPT und Claude werden zu einer starken Unterstützung für Allzweckagenten und werden zunehmend für eine Vielzahl von Argumentations- und Planungsaufgaben eingesetzt.
Bei der Lösung von Problemen sind die erforderlichen Agenten jedoch in der Regel zusammengesetzte Agentensysteme mit mehreren Komponenten und keine monolithischen Modellabfragen. Darüber hinaus benötigen Agenten häufig Zugriff auf externe Tools wie Suchmaschinen, Codeausführung und Datenbankabfragen, damit sie komplexe reale Aufgaben lösen können.
Daher wurden viele wirksame Bausteine für Agentensysteme vorgeschlagen, wie z. B. Gedankenkettenplanung und Argumentation, Gedächtnisstrukturen, Werkzeugnutzung und Selbstreflexion. Obwohl diese Agenten in einer Vielzahl von Anwendungen bemerkenswerte Erfolge erzielt haben, erfordert die Entwicklung dieser Bausteine und deren Kombination zu komplexen Agentensystemen häufig eine domänenspezifische manuelle Abstimmung und erhebliche Anstrengungen von Forschern und Ingenieuren.
Die Geschichte des maschinellen Lernens zeigt uns jedoch, dass von Hand entworfene Lösungen irgendwann durch Lösungen ersetzt werden, die durch Modelle erlernt werden.
In diesem Artikel haben Forscher der University of British Columbia und der gemeinnützigen Forschungseinrichtung für künstliche Intelligenz Vector Institute ein neues Forschungsgebiet formuliert, nämlich das automatisierte Design von Agentensystemen (ADAS), und einen einfachen, aber effektiven ADAS-Algorithmus vorgeschlagen namens Meta Agent Search, um zu beweisen, dass Agenten durch Codeprogrammierung neuartige und leistungsstarke Agentendesigns erfinden können.
Diese Forschung zielt darauf ab, automatisch leistungsstarke Agentensystementwürfe zu erstellen, einschließlich der Entwicklung neuer Bausteine und deren Kombination auf neue Weise.
Experimente zeigen, dass die Leistung von Agenten, die auf der Grundlage von ADAS entdeckt wurden, die von Hand entworfenen Basislinien auf dem neuesten Stand der Technik deutlich übertrifft. Beispielsweise verbesserte der in diesem Artikel entwickelte Agent den F1-Score um 13,6/100 (im Vergleich zum Ausgangswert) bei der Leseverständnisaufgabe von DROP und verbesserte die Genauigkeit um 14,4 % bei der Mathematikaufgabe von MGSM. Darüber hinaus verbessert sich nach der domänenübergreifenden Übertragung ihre Genauigkeit bei GSM8K- und GSM-Hard-Matheaufgaben um 25,9 % bzw. 13,2 % gegenüber dem Ausgangswert.
Im Vergleich zu manuell entworfenen Lösungen schneidet der Algorithmus in diesem Artikel gut ab, was das Potenzial von ADAS beim Entwurf automatisierter Agentensysteme verdeutlicht. Darüber hinaus zeigen Experimente, dass die entdeckten Agenten nicht nur bei der Übertragung über ähnliche Domänen hinweg gut funktionieren, sondern auch bei der Übertragung über verschiedene Domänen hinweg, beispielsweise von der Mathematik zum Leseverständnis.
Papieradresse: https://arxiv.org/pdf/2408.08435
Projektadresse: https://github.com/ShengranHu/ADAS
Papierhomepage: https:// www.shengranhu.com/ADAS/
Titel des Papiers: Automated Design of Agentic Systems
Neues Forschungsgebiet: Automated Design of Agentic Systems (ADAS)
Diese Studie schlägt ein neues Forschungsfeld vor – Automatisiert Design of Agentic Systems (ADAS) und beschreibt die drei Schlüsselkomponenten des ADAS-Algorithmus – Suchraum, Suchalgorithmus und Bewertungsfunktion. ADAS verwendet Suchalgorithmen, um Agentensysteme im gesamten Suchraum zu entdecken.
Suchraum: Der Suchraum definiert, welche Agentensysteme in ADAS charakterisiert und entdeckt werden können. Beispielsweise ändert eine Arbeit wie PromptBreeder (Fernando et al., 2024) nur die Textaufforderungen des Agenten, während andere Komponenten (z. B. Kontrollfluss) unverändert bleiben. Daher ist es im Suchraum unmöglich, einen Agenten mit einem anderen Kontrollfluss als dem vordefinierten Kontrollfluss zu charakterisieren.
Suchalgorithmus: Der Suchalgorithmus definiert, wie der ADAS-Algorithmus den Suchraum erkundet. Da Suchräume oft sehr groß oder sogar unbegrenzt sind, sollte der Kompromiss zwischen Exploration und Exploitation in Betracht gezogen werden (Sutton & Barto, 2018). Im Idealfall kann dieser Algorithmus leistungsstarke Agentensysteme schnell erkennen und gleichzeitig vermeiden, in lokale Optima zu geraten. Bestehende Methoden umfassen die Verwendung von Reinforcement Learning (Zhuge et al., 2024) oder FM, das iterativ neue Lösungen generiert (Fernando et al., 2024) als Suchalgorithmen.
Bewertungsfunktion: Abhängig von der Anwendung des ADAS-Algorithmus müssen möglicherweise unterschiedliche Optimierungsziele berücksichtigt werden, beispielsweise die Leistung, die Kosten, die Latenz oder die Sicherheit des Agenten. Die Bewertungsfunktion definiert, wie diese Metriken für einen Kandidatenagenten ausgewertet werden. Um beispielsweise die Leistung eines Agenten anhand unsichtbarer Daten zu bewerten, besteht ein einfacher Ansatz darin, die Genauigkeit anhand von Aufgabenvalidierungsdaten zu berechnen.
Das Kernkonzept des in dieser Studie vorgeschlagenen einfachen, aber effektiven ADAS-Algorithmus – der Meta-Agenten-Suche – besteht darin, den Meta-Agenten anzuweisen, iterativ interessante neue Agenten zu erstellen, sie zu bewerten, sie dem Agenten-Repository hinzuzufügen und diese zu verwenden. Das Repository hilft Der Meta-Agent erstellt in nachfolgenden Iterationen neue und interessantere Agenten. Ähnlich wie bestehende offene Algorithmen, die das Konzept des menschlichen Interesses ausnutzen, ermutigt diese Forschung Meta-Agenten-Agenten, interessante und wertvolle Agenten zu erforschen.
Die Kernidee der Meta-Agenten-Suche besteht darin, FM als Suchalgorithmus zu verwenden, um basierend auf einem wachsenden Agenten-Repository iterativ interessante neue Agenten zu programmieren. Die Studie definiert ein einfaches Framework (innerhalb von 100 Codezeilen) für den Meta-Agenten und stellt ihm eine grundlegende Funktionalität wie Abfrage-FM oder Formatierungshinweise zur Verfügung.
Daher muss der Meta-Agent nur eine „Weiterleitung“-Funktion schreiben, um ein neues Agentensystem zu definieren, ähnlich wie es in FunSearch geschieht (Romera-Paredes et al., 2024). Diese Funktion empfängt Aufgabeninformationen und gibt die Antwort des Agenten auf die Aufgabe aus.
Wie in Abbildung 1 dargestellt, besteht die Kernidee der Meta-Agent-Suche darin, den Meta-Agenten iterativ neue Agenten im Code programmieren zu lassen. Meta-Agent-Programm Die Haupteingabeaufforderung für ein neues Agentenprogramm wird unten angezeigt, wobei die Variablen in der Eingabeaufforderung hervorgehoben sind.
Experimente
Alle experimentellen Ergebnisse zeigen, dass der in diesem Artikel entdeckte Wirkstoff die von Hand entwickelten Basiswirkstoffe auf dem neuesten Stand der Technik deutlich übertrifft. Bemerkenswert ist, dass sich der in dieser Studie gefundene Agent bei der DROP-Leseverständnisaufgabe um 13,6/100 (F1-Score) gegenüber dem Ausgangswert und bei der MGSM-Matheaufgabe um 14,4 % (Genauigkeit) verbesserte. Darüber hinaus verbesserte der von den Forschern gefundene Agent seine Leistung bei der ARC-Aufgabe um 14 % (Genauigkeit) im Vergleich zum Ausgangswert nach der Migration von GPT-3.5 auf GPT-4 und bei der Migration von MGSM-Mathematikaufgaben auf GSM8K und GSM-Hard Nach der ausgehaltenen Mathematikaufgabe erhöhte sich die Genauigkeit um 25,9 % bzw. 13,2 %.
Fallstudie: ARC-Herausforderung
Wie in Abbildung 3a dargestellt, kann die Meta-Agentensuche effizient und schrittweise Agenten finden, die die neuesten handgefertigten Agenten übertreffen. Wichtige Durchbrüche werden im Textfeld hervorgehoben.
Darüber hinaus zeigt Abbildung 3b den am besten entdeckten Agenten, bei dem ein komplexer Feedback-Mechanismus eingesetzt wurde, um die Antwort effizienter zu verfeinern. Ein genauerer Blick auf den Fortschritt der Suche zeigt, dass dieser komplexe Rückkopplungsmechanismus nicht plötzlich auftrat.
Begründungs- und Problemlösungsdomänen
Ergebnisse über mehrere Domänen hinweg zeigen, dass die Meta-Agentensuche Agenten finden kann, die eine bessere Leistung als von SOTA handgefertigte Agenten erzielen (Tabelle 1).
Generalisierung und Übertragbarkeit
Die Forscher demonstrierten außerdem die Übertragbarkeit und Generalisierbarkeit des entdeckten Wirkstoffs.
Wie in Tabelle 2 gezeigt, stellten die Forscher fest, dass der gesuchte Agent immer besser war als der von Hand entworfene Agent und die Lücke groß war. Es ist erwähnenswert, dass die Forscher herausgefunden haben, dass das leistungsstärkste Modell von Anthropic, Claude-Sonnet, unter allen getesteten Modellen am besten abschneidet, sodass Agenten, die auf diesem Modell basieren, eine Genauigkeit von fast 50 % bei ARC erreichen können.
Wie in Tabelle 3 gezeigt, stellten die Forscher fest, dass die Leistung der Meta-Agent-Suche im Vergleich zur Basislinie ähnliche Vorteile aufweist. Es ist erwähnenswert, dass die Genauigkeit unseres Agenten auf GSM8K und GSM-Hard im Vergleich zum Ausgangswert um 25,9 % bzw. 13,2 % zunahm.
Noch überraschender war die Beobachtung, dass im mathematischen Bereich entdeckte Agenten auf nichtmathematische Bereiche übertragen werden können (Tabelle 4).
Das obige ist der detaillierte Inhalt vonDer Einsatz von KI zur automatischen Gestaltung von Agenten verbessert die Mathematikergebnisse um 25,9 % und übertrifft damit die manuelle Gestaltung bei weitem. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
