Mit dem Aufkommen von ChatGPT und der darauf folgenden weit verbreiteten Diskussion sind obskure Akronyme wie RLHF, SFT, IFT, CoT usw. in den Fokus der Öffentlichkeit gerückt, alles aufgrund des Erfolgs von ChatGPT. Was sind diese obskuren Akronyme? Warum sind sie so wichtig? Der Autor dieses Artikels hat alle wichtigen Arbeiten zu diesen Themen überprüft, klassifiziert und zusammengefasst.
ChatGPT ist nicht der erste auf Sprachmodellen (LM) basierende Dialogagent. Tatsächlich haben viele Institutionen Sprachmodell-Dialogagenten vor OpenAI veröffentlicht, darunter Meta BlenderBot und Google LaMDA, DeepMinds Spatz und anthropischer Assistent. Einige Organisationen haben auch Pläne zum Aufbau von Open-Source-Chatbots angekündigt und ihre Roadmaps veröffentlicht (z. B. Open-Assistant von LAION). Es muss andere Organisationen geben, die dasselbe tun, nur nicht angekündigt.
Die folgende Tabelle vergleicht die oben genannten KI-Chatbots anhand ihrer öffentlich zugänglichen oder nicht öffentlich zugänglichen Trainingsdaten, Modellarchitektur und Bewertungsdetails. Für ChatGPT liegen keine relevanten Daten vor. Die hier verwendeten Informationen sind InstructGPT, ein optimiertes Modell von OpenAI, das als Grundlage von ChatGPT gilt.
Obwohl es viele Unterschiede bei Trainingsdaten, Modellen und Feinabstimmung gibt Diese Chatbots haben auch etwas gemeinsam: Sie befolgen Anweisungen, d. h. sie reagieren entsprechend den Anweisungen des Benutzers. Bitten Sie ChatGPT beispielsweise, ein Gedicht über Nudges zu schreiben. Vom prädiktiven Text zum Befolgen von Anweisungen Im Allgemeinen reichen die Ziele der grundlegenden Sprachmodellierung nicht aus, damit das Modell den Anweisungen des Benutzers effizient folgen kann. Modellersteller verwenden außerdem Instruction Fine-Tuning (IFT), das grundlegende Modelle für verschiedene Aufgaben verfeinern kann und auch auf klassische NLP-Aufgaben wie Sentimentanalyse, Textklassifizierung und Zusammenfassung angewendet werden kann.
IFT besteht hauptsächlich aus drei Teilen: Anweisungen, Eingabe und Ausgabe. Die Eingabe ist optional und einige Aufgaben erfordern nur Anweisungen, wie das ChatGPT-Beispiel oben. Eingabe und Ausgabe bilden eine Instanz. Eine bestimmte Anweisung kann mehrere Ein- und Ausgänge haben. Ein relevantes Beispiel ist wie folgt ([Wang et al., '22]). Für die Daten von IFT werden typischerweise von Menschen eine Sammlung von Anweisungen und ein Bootstrapping-Sprachmodell verwendet. Beim Bootstrapping generiert LM neue Anweisungen, Eingaben und Ausgaben basierend auf Eingabeaufforderungen ohne Stichproben. In jeder Runde wird das Modell mit Beispielen versehen, die von Menschen ausgewählt wurden, die das Modell schreiben und generieren. Der Beitrag von Menschen und Modellen zu einem Datensatz kann als Spektrum ausgedrückt werden, wie in der folgenden Abbildung dargestellt. 
Einer ist ein IFT-Datensatz, der von einem reinen Modell wie Unnatural generiert wurde Anweisungen, die andere ist eine Gemeinschaftsarbeit, manuell erstellte Anweisungen wie Super Natural Instructions. Wählen Sie zwischendurch einen hochwertigen Seed-Datensatz und dann einen Bootstrap, z. B. Self-instruct. Eine andere Möglichkeit, Datensätze für IFT zu sammeln, besteht darin, vorhandene hochwertige Crowdsourcing-NLP-Datensätze für verschiedene Aufgaben (einschließlich Eingabeaufforderungen) zu verwenden und diese Datensätze als Anweisungen unter Verwendung einheitlicher Muster oder verschiedener Vorlagen zu verwenden. Zu den zugehörigen Arbeiten gehören T0, Natural-Anweisungsdatensatz, FLAN LM und OPT -IML.
Anweisungen sicher befolgen
LM Die Verwendung fein abgestimmter Anweisungen führt möglicherweise nicht immer zu nützlichen und sicheren Reaktionen. Beispiele für dieses Verhalten sind ungültige Antworten (Täuschungen), das ständige Geben ungültiger Antworten wie „Tut mir leid, ich verstehe nicht“ oder das unsichere Reagieren auf Benutzereingaben zu sensiblen Themen. 
Um dieses Problem zu lösen, verwenden Modellentwickler Supervised Fine-Tuning (SFT), um das zugrunde liegende Sprachmodell anhand hochwertiger, vom Menschen gekennzeichneter Daten zu verfeinern, um effektive und sichere Antworten zu erzielen.
SFT und IFT sind eng miteinander verbunden. Die Befehlsoptimierung kann als Teilmenge der überwachten Feinabstimmung betrachtet werden. In der neueren Literatur wird die SFT-Phase im Allgemeinen für Sicherheitsthemen und nicht für anweisungsspezifische Themen verwendet, die auf IFT folgen. Diese Klassifizierung und Beschreibung wird in Zukunft klarere Anwendungsfälle und Methoden haben.
Auch Googles LaMDA basiert auf einem sicher annotierten Konversationsdatensatz, der auf einer Reihe von Regeln basiert. Diese Regeln werden in der Regel vom Modellersteller vordefiniert und erlassen und decken ein breites Spektrum an Themen wie Schädlichkeit, Diskriminierung und Fehlinformationen ab.
Modell-Feinabstimmung
Andererseits nutzen InstructGPT von OpenAI, Sparrow von DeepMind und ConstitutionalAI von Anthropic alle die RLHF-Technologie (Reinforcement Learning from Human Feedback). In RLHF werden Modellantworten basierend auf menschlichem Feedback (z. B. Auswahl einer besseren Antwort) eingestuft. Anschließend wird das Modell mit diesen annotierten Antworten trainiert, um skalare Belohnungen an den RL-Optimierer zurückzugeben, und schließlich wird ein Konversationsagent durch Verstärkungslernen zum Simulieren trainiert Präferenzmodell.
Chain-of-thought (CoT) ist ein Sonderfall der Instruktionsdemonstration, die Ergebnisse generiert, indem sie dem Gesprächsagenten Schritt-für-Schritt-Argumentation entlockt. Mit CoT verfeinerte Modelle verwenden einen Datensatz mit von Menschen kommentierten Anweisungen mit schrittweiser Inferenz. Wie im Beispiel unten gezeigt, stellen orange Markierungen Anweisungen dar, rosa Markierungen stellen Eingaben und Ausgaben dar und blaue Markierungen stellen CoT-Argumentation dar.
Mit CoT verfeinerte Modelle schneiden besser bei Aufgaben ab, die gesunden Menschenverstand, Arithmetik und symbolisches Denken erfordern. Es hat sich auch gezeigt, dass die Feinabstimmung mit CoT sehr effektiv ist, um Harmlosigkeit zu erreichen (manchmal besser als RLHF), und das Modell scheut nicht davor zurück, „Leider kann ich diese Frage nicht beantworten“-Antworten zu generieren.
Zusammenfassung der wichtigsten Punkte
Die Hauptpunkte dieses Artikels sind wie folgt zusammengefasst:
1. Im Vergleich zu den Daten vor dem Training ist nur ein sehr kleiner Teil der Daten vorhanden zur Feinabstimmung der Anweisungen erforderlich.
2. Die überwachte Feinabstimmung nutzt manuelle Anmerkungen, um die Modellausgabe sicherer und hilfreicher zu machen.
3. Die CoT-Feinabstimmung verbessert die Leistung von Modellen bei Schritt-für-Schritt-Denkaufgaben und reduziert deren ungültige Antworten oder Vermeidung bei sensiblen Themen.
Gedanken zur weiteren Arbeit an Dialogagenten
Abschließend gab der Autor einige eigene Gedanken zur zukünftigen Entwicklung von Dialogagenten ab.
1. Wie wichtig ist RL beim Lernen aus menschlichem Feedback? Kann durch Training mit hochwertigen Daten in IFT oder SFT die gleiche Leistung wie bei RLHF erzielt werden?
2. Wie sicher ist die Verwendung von SFT+RLHF in Sparrow im Vergleich zur Verwendung von SFT in LaMDA?
3. Welches Vorschulungsniveau ist für IFT, SFT, CoT und RLHF erforderlich? Was ist ein Kompromiss? Welches Basismodell sollte am besten verwendet werden?
4. Viele der in diesem Artikel vorgestellten Modelle sind sorgfältig entworfen, und Ingenieure sammeln gezielt Muster, die zu Fehlern führen, und verbessern zukünftige Schulungen (Eingabeaufforderungen und Methoden) basierend auf den behandelten Problemen. Wie können die Wirkungen dieser Methoden systematisch dokumentiert und reproduziert werden?
Das obige ist der detaillierte Inhalt vonDiese Technologien werden von ChatGPT und seinen potenziellen Konkurrenten verwendet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
