Verwendung von DSPy (COPRO) zur Verfeinerung von Eingabeaufforderungsanweisungen

Ich habe kürzlich DSPy mit phi3 getestet, mit dem Ziel, COPRO zu verwenden, um die Eingabeaufforderungen zu verfeinern und die beste Punktzahl zu erzielen. Ich habe absichtlich keine Behauptungen verwendet.

Das hat mir gefallen:

Ich habe den CoLA-Datensatz verwendet, der Sätze aus 23 linguistischen Veröffentlichungen enthält, die hinsichtlich der Grammatik mit Anmerkungen versehen sind. Ich wollte Ausgaben mit „nur der Bezeichnung“ (keine Erklärungen oder zusätzlichen Wörter). DSPy generierte Anweisungen, die gut funktionierten und die grammatikalische Korrektheit gewährleisteten:

Originalanweisung: Überprüfen Sie, ob der Satz korrekt ist (1) oder nicht (0)

Optimierte Anweisung: Stellen Sie fest, ob der gegebene Satz den Standardregeln der englischen Grammatik entspricht, indem Sie eine „1“ für grammatikalisch korrekt und eine „0“ für falsch ausgeben.

Sowohl BootstrapFewShot als auch Signature Optimizer sind großartige Ausgangspunkte.

Was könnte verbessert werden:

DSPy gibt an: „Sobald das Training abgeschlossen ist, stehen Ihnen bessere Anweisungen und Präfixe zur Verfügung, die Sie manuell in der Signatur bearbeiten können.“ Ich glaube jedoch, dass das Tool nach der Kompilierung bereit sein sollte, Vorhersagen zu treffen. Der Befehlsoptimierer benötigt mehr Flexibilität für einfachere Optimierungen, beispielsweise eine bessere Kompatibilität mit anderen Sprachen. Alternativ wäre es von Vorteil, ein Programm für den Signaturoptimierer zu erstellen, um Eingabeaufforderungen nach Bedarf anzupassen.

Es ist ein cooles Konzept, aber ich denke, als Rahmenwerk muss es noch verbessert werden. Kontaktieren Sie mich, wenn Sie ein interessantes Projekt/gemeinsame Interessen haben.

Gihub-Repo

Das obige ist der detaillierte Inhalt vonVerwendung von DSPy (COPRO) zur Verfeinerung von Eingabeaufforderungsanweisungen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!