Wählen Sie GPT-3.5 oder optimieren Sie Open-Source-Modelle wie Llama 2? Nach einem umfassenden Vergleich lautet die Antwort

Es ist bekannt, dass die Feinabstimmung von GPT-3.5 sehr teuer ist. In diesem Artikel wird anhand von Experimenten überprüft, ob manuell fein abgestimmte Modelle die Leistung von GPT-3.5 zu einem Bruchteil der Kosten erreichen können. Interessanterweise tut dieser Artikel genau das. Beim Vergleich der Ergebnisse von

zu SQL-Aufgaben und Funktionsdarstellungsaufgaben wurde in diesem Artikel Folgendes festgestellt:

• GPT-3.5 ist bei beiden Datensätzen (einer Teilmenge des Spider-Datensatzes und des Viggo-Funktionsdarstellungsdatensatzes) besser ) als nach Code Llama 34B, der von Lora verfeinert wurde, schnitt etwas besser ab.
• GPT-3.5 ist vier- bis sechsmal teurer in der Schulung und teurer in der Bereitstellung.

Eine der Schlussfolgerungen dieses Experiments ist, dass die Feinabstimmung von GPT-3.5 für die erste Verifizierungsarbeit geeignet ist, danach jedoch ein Modell wie Llama 2 die beste Wahl sein könnte:

• Wenn Sie überprüfen möchten, ob die Feinabstimmung der richtige Weg zur Lösung einer bestimmten Aufgabe/eines bestimmten Datensatzes ist, oder wenn Sie eine vollständig verwaltete Umgebung wünschen, dann optimieren Sie GPT-3.5.
• Wenn Sie Geld sparen, maximale Leistung aus Ihrem Datensatz herausholen, mehr Flexibilität beim Training und der Bereitstellung der Infrastruktur haben oder einige private Daten behalten möchten, dann optimieren Sie etwas wie Llama 2, ein Open-Source-Modell.

Als nächstes wollen wir sehen, wie dieser Artikel umgesetzt wird.

Das Bild unten zeigt die Leistung von Code Llama 34B und GPT-3.5, die auf Konvergenz bei SQL-Aufgaben und funktionalen Darstellungsaufgaben trainiert wurden. Die Ergebnisse zeigen, dass GPT-3.5 bei beiden Aufgaben eine bessere Genauigkeit erreicht.

In Bezug auf die Hardwarenutzung wurde im Experiment eine A40-GPU verwendet, die etwa 0,475 US-Dollar pro Stunde kostet.

Darüber hinaus wurden im Experiment zwei Datensätze ausgewählt, die sich sehr gut für die Feinabstimmung eignen, eine Teilmenge des Spider-Datensatzes und des Viggo-Funktionsdarstellungsdatensatzes.

Um einen fairen Vergleich mit dem GPT-3.5-Modell zu ermöglichen, führte das Experiment eine minimale Feinabstimmung der Hyperparameter an Llama durch.

Die beiden wichtigsten Optionen in den Experimenten dieses Artikels sind die Verwendung der Code-Llama-34B- und Lora-Feinabstimmung anstelle der vollständigen Parameter-Feinabstimmung.

Das Experiment folgte weitgehend den Regeln für die Feinabstimmung von Lora Hyperparameter. Die LORA-Adapterkonfiguration lautet wie folgt:

SQL-Eingabeaufforderung lautet wie folgt:

SQL-Eingabeaufforderung Teilweise Anzeige. Vollständige Tipps finden Sie im Originalblog. Das Experiment hat nicht den gesamten Spider-Datensatz verwendet. Create-Context-Datensatz und der Spider-Datensatz. Der für das Modell bereitgestellte Kontext ist ein SQL-Erstellungsbefehl wie folgt:

department : Department_ID [ INT ] primary_key Name [ TEXT ] Creation [ TEXT ] Ranking [ INT ] Budget_in_Billions [ INT ] Num_Employees [ INT ] head : head_ID [ INT ] primary_key name [ TEXT ] born_state [ TEXT ] age [ INT ] management : department_ID [ INT ] primary_key management.department_ID = department.Department_ID head_ID [ INT ] management.head_ID = head.head_ID temporary_acting [ TEXT ]

Code und Daten für die SQL-Aufgabe: https://github.com/samlhuillier/spider-sql-finetune

Funktionsdarstellung Tipps Die Das Beispiel lautet wie folgt:

Der Tipp zur funktionalen Darstellung wird teilweise angezeigt. Den vollständigen Tipp finden Sie im Originalblog.

Die Ausgabe lautet wie folgt:

CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)

In der Evaluierungsphase , die beiden Experimente wurden schnell abgeschlossen. Konvergiert:

funktionale Darstellung Aufgabencode und Datenadresse: https://github.com/samlhuillier/viggo-finetune

Weitere Informationen finden Sie im Originalblog .

Das obige ist der detaillierte Inhalt vonWählen Sie GPT-3.5 oder optimieren Sie Open-Source-Modelle wie Llama 2? Nach einem umfassenden Vergleich lautet die Antwort. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!