Die GPT-4-Codierungsfähigkeit wurde um 21 % verbessert! Die neue Methode des MIT ermöglicht es LLM, das Reflektieren zu lernen, Netizen: Es ist die gleiche Art und Weise, wie Menschen denken

Dies ist die Methode in der neuesten Veröffentlichung der Northeastern University und des MIT: Reflexion.

Dieser Artikel wurde mit Genehmigung von AI New Media Qubit (öffentliche Konto-ID: QbitAI) nachgedruckt. Bitte wenden Sie sich für einen Nachdruck an die Quelle.

GPT-4 entwickelt sich weiter!

Mit einer einfachen Methode können große Sprachmodelle wie GPT-4 lernen, sich selbst zu reflektieren, und die Leistung kann direkt um 30 % verbessert werden.

Vorher gab das große Sprachmodell falsche Antworten. Sie entschuldigten sich oft wortlos und machten dann weiter zufällige Vermutungen.

Mit der Hinzufügung neuer Methoden wird GPT-4 nicht nur darüber nachdenken, wo es schief gelaufen ist, sondern auch Verbesserungsstrategien aufzeigen.

Zum Beispiel wird automatisch analysiert, warum es „in einer Schleife feststeckt“:

Oder denken Sie über Ihre eigene fehlerhafte Suchstrategie nach:

Dies ist die Methode in der neuesten von der Northeastern University veröffentlichten Arbeit und MIT: Reflexion.

Nicht nur auf GPT-4 anwendbar, sondern auch auf andere große Sprachmodelle, sodass sie die einzigartige menschliche Reflexionsfähigkeit erlernen können.

Der Artikel wurde auf der Preprint-Plattform arxiv veröffentlicht.

Dies brachte die Internetnutzer direkt dazu zu sagen: „Die Geschwindigkeit der KI-Entwicklung hat unsere Anpassungsfähigkeit überschritten und wir werden zerstört.“

Einige Internetnutzer haben sogar eine „Jobwarnung“ an Entwickler gesendet:

Der Stundensatz für das Schreiben von Code mit dieser Methode ist günstiger als der für normale Entwickler.

Verwenden Sie den binären Belohnungsmechanismus, um Reflexion zu erreichen

Wie Internetnutzer sagten, ähnelt die Reflexionsfähigkeit, die GPT-4 durch Reflexion verliehen wird, dem menschlichen Denkprozess:

lässt sich in zwei Worten zusammenfassen: Feedback .

Dieser Feedback-Prozess kann in drei Hauptschritte unterteilt werden:

• 1. Bewertung: Testen der Genauigkeit der aktuell generierten Antworten
• 2. Generierung von Selbstreflexion: Fehlererkennung – Korrektur umsetzen
• 3. Führen Sie eine iterative Feedbackschleife durch

Im ersten Schritt des Bewertungsprozesses muss zunächst die Selbstbewertung des LLM (Large Language Model) durchgeführt werden.

Das heißt, LLM muss zunächst über die Antwort selbst nachdenken, wenn es kein externes Feedback gibt.

Wie mache ich Selbstreflexion?

Das Forschungsteam verwendet einen binären Belohnungsmechanismus, um den von LLM im aktuellen Zustand durchgeführten Operationen Werte zuzuweisen:

1 bedeutet, dass das generierte Ergebnis in Ordnung ist, und 0 bedeutet, dass das generierte Ergebnis nicht gut ist .

Der Grund, warum binär anstelle von beschreibenderen Belohnungsmechanismen wie mehrwertiger oder kontinuierlicher Ausgabe verwendet wird, hängt mit der Tatsache zusammen, dass keine externe Eingabe erfolgt.

Um Selbstreflexion ohne externes Feedback durchzuführen, muss die Antwort auf binäre Zustände beschränkt werden. Nur so kann das LLM gezwungen werden, sinnvolle Schlussfolgerungen zu ziehen.

Wenn nach der Selbstbewertung die Ausgabe des binären Belohnungsmechanismus 1 ist, wird das Selbstreflexionsgerät nicht aktiviert. Wenn sie 0 ist, schaltet das LLM den Reflexionsmodus ein.

Während des Reflexionsprozesses löst das Modell eine heuristische Funktion h aus (analog zum menschlichen Denkprozess spielt h die gleiche Rolle wie Überwachung).

Genau wie das menschliche Denken weist auch LLM jedoch Einschränkungen im Reflexionsprozess auf, die sich in den Ω und ε in der Funktion widerspiegeln können.

Ω gibt an, wie oft eine kontinuierliche Aktion wiederholt wird. Im Allgemeinen wird dieser Wert auf 3 gesetzt. Das bedeutet, dass bei dreimaliger Wiederholung eines Schritts während des Reflexionsprozesses direkt zum nächsten Schritt gesprungen wird.

Und ε stellt die maximale Anzahl von Operationen dar, die während des Reflexionsprozesses ausgeführt werden dürfen.

Da es Aufsicht gibt, muss auch Korrektur durchgeführt werden. Die Funktion des Korrekturprozesses ist wie folgt:

Dabei wird das Selbstreflexionsmodell durch „spezifische Domänen-Fehlertrajektorien“ und Ideale trainiert Reflexionspaare“ kommt und ermöglicht keinen Zugriff auf domänenspezifische Lösungen für ein bestimmtes Problem im Datensatz.

Auf diese Weise kann LLM im Reflexionsprozess zu mehr „innovativen“ Dingen kommen.

Nach der Reflexion stieg die Leistung um fast 30 %

Da LLMs wie GPT-4 Selbstreflexion durchführen können, was ist der spezifische Effekt?

Das Forschungsteam hat diesen Ansatz anhand der Benchmarks ALFWorld und HotpotQA bewertet.

Im HotpotQA-Test mit 100 Frage-Antwort-Paaren zeigte LLM mit der Reflexionsmethode enorme Vorteile. Nach mehreren Reflexionsrunden und wiederholten Fragen verbesserte sich die Leistung von LLM um fast 30 %.

Ohne Reflexion gab es nach Wiederholung der Fragen und Antworten keine Leistungsveränderung.

Im HotpotQA-Test mit 134 Fragen und Antworten ist ersichtlich, dass die Genauigkeit von LLM mit der Unterstützung von Reflexion nach mehreren Reflexionsrunden 97 % erreichte.

In einem anderen Blog zeigten Teammitglieder auch die Wirkung ihrer Methode auf GPT-4. Der Umfang des Tests bestand darin, Code zu schreiben.

Die Ergebnisse sind auch offensichtlich. Mithilfe von Reflexion wurde die Programmierfähigkeit von GPT-4 direkt um 21 % verbessert.

Sie können schon über GPT-4 „denken“, wie (huang) sehen (le) Sie (ma)?

​Papieradresse: https://arxiv.org/abs/2303.11366​

Das obige ist der detaillierte Inhalt vonDie GPT-4-Codierungsfähigkeit wurde um 21 % verbessert! Die neue Methode des MIT ermöglicht es LLM, das Reflektieren zu lernen, Netizen: Es ist die gleiche Art und Weise, wie Menschen denken. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!