Feinabstimmungsmodelle (LLMs) sind für die Optimierung ihrer Leistung in bestimmten Aufgaben von wesentlicher Bedeutung. OpenAI bietet einen robusten Rahmen für Feinabstimmung GPT-Modelle, mit dem Unternehmen das Verhalten von AI anhand der domänenspezifischen Anforderungen an die Annäherung an domänenspezifische Anforderungen anpassen können. Dieser Prozess spielt eine entscheidende Rolle bei der LLM-Anpassung und ermöglicht es, Modelle genauere, relevantere und kontextbezogene Antworten zu generieren. Sie können auch in der Softwareentwicklung für die Erzeugung und das Debuggen von Code sowie für die Rechtshilfe für die Überprüfung der Vertragsrechnung und die Analyse der Rechtsprechung verwendet werden. In diesem Leitfaden werden wir mithilfe der OpenAI-Plattform den Feinabstimmungsprozess durchlaufen und die Leistung des Feinabstimmungsmodells in realen Anwendungen bewerten.
| Model | Pricing | Pricing with Batch API | Training Pricing |
| gpt-4o-2024-08-06 | .750 / 1M input tokens.000 / 1M output tokens | .875 / 1M input tokens.500 / 1M output tokens | .000 / 1M training tokens |
| gpt-4o-mini-2024-07-18 | .300 / 1M input tokens.200 / 1M output tokens | .150 / 1M input tokens.600 / 1M output tokens | .000 / 1M training tokens |
| gpt-3.5-turbo | .000 / 1M training tokens.000 / 1M output tokens | .500 / 1M input tokens.000 / 1M output tokens | .000 / 1M training tokens |
Weitere Informationen finden Sie auf dieser Seite: https://openai.com/api/pricing/
Einstimmung mit einem Modell können Benutzer Modelle für bestimmte Anwendungsfälle anpassen und ihre Genauigkeit, Relevanz und Anpassungsfähigkeit verbessern. In diesem Leitfaden konzentrieren wir uns auf personalisiertere, genauere und kontextbezogene Antworten auf den Kundendienstinteraktionen.
Durch Feinabstimmung eines Modells über echte Kundenfragen und -interaktionen können die Unternehmen die Reaktionsqualität verbessern, Missverständnisse reduzieren und die allgemeine Benutzerzufriedenheit verbessern.
Lesen Sie auch: Anfängerleitfaden zur Finetuning Großsprachenmodelle (LLMs)
Lassen Sie uns nun sehen, wie wir ein Modell mit der OpenAI -Plattform trainieren können. Wir werden dies in 4 Schritten tun:
Beginnen wir!
Um das Modell zu optimieren, benötigen wir zunächst einen hochwertigen Datensatz, der auf unseren Anwendungsfall zugeschnitten ist. Für diesen Feinabstimmungsprozess habe ich den Datensatz von Sugging Face, einer beliebten Plattform für KI -Datensätze und -modelle, heruntergeladen. Sie finden eine breite Palette von Datensätzen, die für die Feinabstimmung geeignet sind, indem Sie umarmende Gesichtsdatensätze besuchen. Suchen Sie einfach nach einem relevanten Datensatz, laden Sie ihn herunter und werden nach Bedarf vorverarbeitet, um sicherzustellen, dass sie mit Ihren spezifischen Anforderungen übereinstimmen.
Die Kundendienstdaten für den Feinabstimmungsprozess stammen aus dem Umarmungsdatensätzen. Sie können hier von hier aus zugreifen.
llms benötigen Daten, um eine bestimmte Einstellung in einem bestimmten Format zu finden. Hier ist ein Beispielformat für GPT-4O, GPT-4O-Mini und GPT-3,5-Turbo.
{"messages": [{"role": "system", "content": "This is an AI assistant for answering FAQs."}, {"role": "user", "content": "What are your customer support hours?"}, {"role": "assistant", "content": "Our customer support is available 1 24/7. How else may I assist you?"}]}Jetzt werden wir im nächsten Schritt überprüfen, wie unsere Daten aussehen, und die erforderlichen Anpassungen vornehmen, wenn sie sich nicht in der erforderlichen Form befinden.
Jetzt werden wir die Daten und die Vorverarbeitung in das erforderliche Format importieren.
, um dies zu tun, werden wir folgende Schritte befolgen:
1. Jetzt laden wir die Daten im Jupyter -Notizbuch und ändern sie so dem erforderlichen Format.
import pandas as pd
splits = {'train': 'data/train-00000-of-00001.parquet', 'test': 'data/test-00000-of-00001.parquet'}
df_train = pd.read_parquet("hf://datasets/charles828/vertex-ai-customer-support-training-dataset/" + splits["train"]) 
Hier haben wir 6 verschiedene Spalten. Wir brauchen jedoch nur zwei - „Anweisungen“ und „Antwort“, da dies die Spalten sind, die Kundenfragen und die relativen Antworten enthält.
Jetzt können wir die obige CSV-Datei verwenden, um eine JSONL-Datei nach Bedarf für die Feinabstimmung zu erstellen.
import json
messages = pd.read_csv("training_data")
with open("query_dataset.jsonl", "w", encoding='utf-8') as jsonl_file:
for _, row in messages.iterrows():
user_content = row['instruction']
assintant_content = row['response']
jsonl_entry = {
"messages":[
{"role": "system", "content": "You are an assistant who writes in a clear, informative, and engaging style."},
{"role": "user", "content": user_content},
{"role": "assistant", "content": assintant_content}
]
}
jsonl_file.write(json.dumps(jsonl_entry) + '\n')Wie oben gezeigt, können wir den Datenrahmen durchführen, um die JSONL -Datei zu erstellen.
Hier speichern wir unsere Daten in einem JSONL -Dateiformat, das sich geringfügig von JSON unterscheidet.
json speichert Daten als hierarchische Struktur (Objekte und Arrays) in einer einzelnen Datei, wodurch sie für strukturierte Daten mit Verschachtelung geeignet sind. Unten finden Sie ein Beispiel für das JSON -Dateiformat.
{"messages": [{"role": "system", "content": "This is an AI assistant for answering FAQs."}, {"role": "user", "content": "What are your customer support hours?"}, {"role": "assistant", "content": "Our customer support is available 1 24/7. How else may I assist you?"}]}JSONL besteht aus mehreren JSON -Objekten, die jeweils auf einer separaten Zeile ohne Arrays oder verschachtelte Strukturen sind. Dieses Format ist effizienter für das Streaming, die Verarbeitung großer Datensätze und die Handhabung von Datenzeilen nach Line.Below ist ein Beispiel für das JSONL -Dateiformat .
Schritt 4: Feinabstimmung auf der OpenAI-Plattformimport pandas as pd
splits = {'train': 'data/train-00000-of-00001.parquet', 'test': 'data/test-00000-of-00001.parquet'}
df_train = pd.read_parquet("hf://datasets/charles828/vertex-ai-customer-support-training-dataset/" + splits["train"])1. Gehen Sie zu dieser Website und melden Sie sich an, wenn Sie sich noch nicht angemeldet haben. Wenn Sie sich angemeldet haben, klicken Sie auf „More“, um mehr über den Feinabstimmungsvorgang zu erfahren.
2. Klicken Sie auf "Erstellen" und ein kleines Fenster wird angezeigt.
Hier ist eine Aufschlüsselung der Hyperparameter im obigen Bild:
Stapelgröße:
Dies bezieht sich auf die Anzahl der Schulungsbeispiele (Datenpunkte), die in einem Pass (oder Schritt) verwendet werden, bevor die Gewichte des Modells aktualisiert werden. Anstatt alle Daten gleichzeitig zu verarbeiten, verarbeitet das Modell gleichzeitig kleine Stücke (Chargen). Eine kleinere Chargengröße dauert mehr Zeit, kann aber bessere Modelle erzeugen. Hier müssen Sie das richtige Gleichgewicht finden. Während ein größerer stabiler, aber viel schneller sein mag.
Multiplikator für Lernrate:Dies ist ein Faktor, der anpasst, wie stark sich die Gewichte des Modells nach jedem Update ändern. Wenn es hoch ist, könnte das Modell schneller lernen, aber die beste Lösung überschreiten. Wenn es niedrig ist, wird das Modell langsamer lernen, aber genauer sein.
Anzahl der Epochen:Eine „Epoche“ ist ein vollständiger Durchgang im gesamten Trainingsdatensatz. Die Anzahl der Epochen zeigt, wie oft das Modell aus dem gesamten Datensatz lernt. Mehr Epochen ermöglichen das Modell normalerweise, besser zu lernen, aber zu viele können zu Überanpassungen führen. 3. Wählen Sie die Methode als "beaufsichtigt" und das "Basismodell" Ihrer Wahl aus. Ich habe GPT-4O ausgewählt.
4. Laden Sie die JSON -Datei für die Trainingsdaten hoch.
5. Fügen Sie ein "Suffix" hinzu, das für die Aufgabe relevant ist, bei der Sie das Modell fein abstellen möchten.
6. Wählen Sie die Hyperparameter oder überlassen Sie sie den Standardwerten.
7. Klicken Sie nun auf "Erstellen" und die Feinabstimmung beginnt.
8. Sobald die Feinabstimmung abgeschlossen ist, wird er wie folgt angezeigt:
9. Jetzt können wir das feinstimmige Modell mit dem bereits bestehenden Modell vergleichen, indem wir in der unteren rechten Ecke auf den Spielplatz klicken.
Dauer und Kosten für Feinabstimmungen hängen von der Datensatzgröße und der Modellkomplexität ab. Ein kleinerer Datensatz, wie 100 Proben, kostet erheblich weniger, kann das Modell möglicherweise nicht ausreichend einstellen, während größere Datensätze sowohl Zeit als auch Geld mehr Ressourcen benötigen. In meinem Fall hatte der Datensatz ungefähr 24.000 Proben, sodass die Feinabstimmung ungefähr 7 bis 8 Stunden dauerte und ungefähr 700 US-Dollar kostete.
Vorsicht
Angesichts der hohen Kosten wird empfohlen, mit einem kleineren Datensatz für Ersttests vor dem Skalieren zu beginnen. Sicherstellen, dass der Datensatz gut strukturiert und relevant ist, kann dazu beitragen, sowohl die Leistung als auch die Kosteneffizienz zu optimieren.
Jetzt, da wir das Modell fein abgestimmt haben, werden wir seine Leistung mit dem Basis-GPT-4O vergleichen und Antworten aus beiden Modellen analysieren, um festzustellen, ob sich die Genauigkeit, Klarheit, Verständnis und Relevanz verbessert. Dies hilft uns, festzustellen, ob das fein abgestimmte Modell unsere spezifischen Anforderungen entspricht und in den beabsichtigten Aufgaben besser abschneidet. Für die Kürze zeige ich Ihnen Beispielergebnisse von 3 Eingabeaufforderungen bilden sowohl das feinstürfende als auch das Standard-GPT-4O-Modell.
Abfrage: „Helfen Sie mir, die neue Lieferadresse einzureichen“
Antwort durch finatuned GPT-4O-Modell:
Antwort von GPT-4O:
Das fein abgestimmte Modell liefert im Vergleich zum Standard-GPT-4O eine detailliertere und benutzerzentriertere Antwort. Während GPT-4O eine funktionale Schritt-für-Schritt-Anleitung bietet, verbessert das fein abgestimmte Modell die Klarheit, indem sie explizit zwischen Hinzufügen und Bearbeiten einer Adresse unterscheidet. Es ist ansprechender und beruhigender für den Benutzer und bietet proaktive Unterstützung. Dies zeigt die überlegene Fähigkeit des fein abgestimmten Modells, sich an den Best Practices für den Kundenservice auszurichten. Das fein abgestimmte Modell ist daher eine stärkere Wahl für Aufgaben, die benutzerfreundliche, strukturierte und unterstützende Antworten erforderlich sind.
Abfrage: „Ich brauche Unterstützung, um das Kontokategoriekonto zu ändern“
Antwort durch finatuned GPT-4O-Modell:
Antwort von GPT-4O:
Das fein abgestimmte Modell verbessert das Engagement und die Klarheit des Benutzers im Vergleich zum Basismodell erheblich. Während GPT-4O eine strukturierte und dennoch generische Reaktion liefert, nimmt die fein abgestimmte Version einen gesprächigeren und unterstützenderen Ton an, wodurch sich die Interaktionen natürlicher anfühlen.
Abfrage: „Ich weiß nicht, wie ich meine persönlichen Informationen aktualisieren kann“
Antwort durch finatuned GPT-4O-Modell:
Antwort von GPT-4O:
Das fein abgestimmte Modell übertrifft den Standard-GPT-4O, indem sie eine präzisere und strukturiertere Reaktion liefert. Während GPT-4O eine funktionale Antwort bietet, verbessert das fein abgestimmte Modell die Klarheit, indem sie explizit wichtige Unterscheidungen angeht und Informationen in kohärenterer Weise präsentiert. Zusätzlich passt es sich besser an den Kontext an und gewährleistet eine relevantere und raffiniertere Antwort.
| Feature | Fine-Tuned GPT-4o | GPT-4o (Base Model) |
| Empathy & Engagement | High – offers reassurance, warmth, and a personalized touch | Low – neutral and formal tone, lacks emotional depth |
| User Support & Understanding | Strong – makes users feel supported and valued | Moderate – provides clear guidance but lacks emotional connection |
| Tone & Personalization | Warm and engaging | Professional and neutral |
| Efficiency in Information Delivery | Clear instructions with added emotional intelligence | Highly efficient but lacks warmth |
| Overall User Experience | More engaging, comfortable, and memorable | Functional but impersonal and transactional |
| Impact on Interaction Quality | Enhances both effectiveness and emotional resonance | Focuses on delivering information without emotional engagement |
In diesem Fall fein abfragt die Modelle, um besser auf den Kunden zu reagieren, ihre Effektivität. Es macht Interaktionen persönlicher, freundlicher und unterstützender, was zu stärkeren Verbindungen und höherer Benutzerzufriedenheit führt. Während Basismodelle klare und genaue Informationen liefern, können sie sich roboter und weniger ansprechend fühlen. Die Feinabstimmung der Modelle über die praktische Webplattform von OpenAI ist eine großartige Möglichkeit, maßgeschneiderte großsprachige Modelle für domänenspezifische Aufgaben zu erstellen.
a. Feinabstimmung ist der Prozess der Anpassung eines vorgebliebenen KI-Modells, um eine bestimmte Aufgabe auszuführen oder ein bestimmtes Verhalten zu zeigen, indem es es weiter in einem kleineren, aufgabenspezifischen Datensatz trainiert. Auf diese Weise kann das Modell die Nuancen der Aufgabe besser verstehen und genauere oder maßgeschneiderte Ergebnisse erzielen.
Q2. Wie verbessert die Feinabstimmung die Leistung eines KI-Modells?a. Die Feinabstimmung verbessert die Leistung eines Modells, indem er es lehrt, die spezifischen Anforderungen einer Aufgabe besser zu erfüllen, z. B. das Hinzufügen von Empathie in Kundeninteraktionen. Es hilft dem Modell, personalisiertere, kontextbewusste Reaktionen zu liefern und die Interaktionen menschlicher und ansprechender zu machen.
Q3. Sind fein abgestimmte Modelle teurer zu bedienen?a. Feinabstimmungsmodelle können zusätzliche Ressourcen und Schulungen erfordern, die die Kosten erhöhen können. Die Vorteile eines effektiveren, benutzerfreundlicheren Modells überwiegen jedoch häufig die anfängliche Investition, insbesondere für Aufgaben, die Kundeninteraktion oder komplexe Problemlösung beinhalten.
Q4. Kann ich ein Modell alleine gut abschneiden?a. Ja, wenn Sie über die erforderlichen Daten und technischen Fachkenntnisse verfügen, können Sie ein Modell mit maschinellem Lernrahmen wie Umarmung von Gesicht, OpenAI oder anderen fein stimmen. Es erfordert jedoch typischerweise ein starkes Verständnis der KI, Datenvorbereitung und Schulungsprozesse.
Q5. Wie lange dauert es, ein Modell zu optimieren?a. Die Zeit, die für die Feinabstimmung eines Modells erforderlich ist, hängt von der Größe des Datensatzes, der Komplexität der Aufgabe und den verfügbaren Rechenressourcen ab. Für größere Modelle mit riesigen Datensätzen kann es zwischen einigen Stunden und mehreren Tagen oder mehr dauern.
Das obige ist der detaillierte Inhalt vonFeinabstimmung eines Modells auf der OpenAI-Plattform für den Kundensupport. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Python konfiguriert Umgebungsvariablen
Der Unterschied zwischen Server und Cloud-Host
odm
So öffnen Sie das AI-Format in Windows
In Word gibt es eine zusätzliche leere Seite, die ich nicht löschen kann.
So verwenden Sie die Achsenfunktion in Matlab
Windows kann nicht gestartet werden
Was sind die CSS3-Gradienteneigenschaften?
![[Web-Frontend] Node.js-Schnellstart](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
