Feinabstimmungs-PHI-3.5 im E-Commerce-Klassifizierungsdatensatz

Microsofts Phi-3,5-Familie von großer Sprachmodellen (LLMs) tritt neben Meta AI in die Wettbewerbsarena ein. Dieses Tutorial beschreibt ein phi-3.5-Modell für die E-Commerce-Produktklassifizierung unter Verwendung von Textbeschreibungen. Wir werden das Modellladen, Feinabstimmung mit LORA (Anpassung mit niedriger Rang), das Zusammenführen der angepassten Gewichte mit dem Basismodell und Bereitstellung auf dem Umarmungsgesicht für Cloud-Zugänglichkeit abdecken.

Dieses Tutorial untersucht die Phi-3,5-Modellfamilie von Microsoft und umfasst den PHI-3,5-Mini, Phi-3,5-Vision und das MIE-von Experten (MOE), Phi-3,5-MOE.

phi-3,5-mini zeichnet sich in mehrsprachiger Unterstützung mit einer Kontextlänge von 128K aus und liefert die Leistung mit größeren Modellen vergleichbar. Die PHI-3,5-Vision ist ein leichtes multimodales Modell, das im Multi-Rahmen-Bildverständnis geschickt ist. Phi-3,5-MOE mit 16 Experten und 6,6 Milliarden Parametern bietet hohe Leistung und robuste Sicherheitsfunktionen.

Das Tutorial konzentriert

Zugriff auf und verwenden Sie phi-3,5-mini-in-struktur

Dieser Abschnitt führt Sie durch das Laden des Modells und die Durchführung von Inferenz auf der Kaggle -Plattform.

Beginnen Sie mit einer T4x2-GPU-fähigen Kaggle-Sitzung.

2. Installieren Sie die erforderlichen Python -Pakete:

   und transformers. accelerate

3. Laden Sie das Modell und den Tokenizer mit der Bibliothek

   . Anschließend wird eine Text-Generationspipeline erstellt. transformers

4. Inferenz wird mit einer Stichprobenabfrage demonstriert ("Was ist das höchste Gebäude der Welt?"). Die Antwort des Modells ist genau und detailliert.

5. benutzerdefinierte Eingabeaufforderung Beispiele zeigen die Fähigkeit des Modells, Kundeninteraktionen in einer Call Center -Einstellung zu klassifizieren und betrügerische Aktivitäten effektiv zu identifizieren.

6. Für die Unterstützung beim Kaggle -Setup finden Sie das bereitgestellte Kaggle -Notizbuch.

feinabstimmig phi-3,5-mini-instruktur für die E-Commerce-Klassifizierung

In diesem Abschnitt wird beschrieben

Einrichten eines Kaggle -Notizbuchs mit GPU -Beschleunigung, Umarmung und Gewichten und Verzerrungen API -Tasten konfiguriert.

Installieren Sie die erforderlichen Pakete:

,
2. , bitsandbytes, transformers und accelerate. Gewichte und Verzerrungen Die Integration ist ebenfalls konfiguriert. peft trl

3. Laden und Vorverarbeitung des E-Commerce-Datensatzes (Produktbeschreibungen und Kategorien). Der Datensatz ist gemischt und eine Untergruppe wird für schnelleres Training verwendet.

4. Laden Sie das 4-Bit-quantisierte Modell und den Tokenizer.

5. Das Modell wird vor Feinabstimmung bewertet, um eine Basisleistung zu ermitteln.

6. lora ist so konfiguriert, dass sie nur spezifische Modellschichten feinstimmen und die Trainingseffizienz verbessern. Hyperparameter sind für den Trainingsprozess festgelegt.

7. Ein beaufsichtigter Fine-Tuning-Trainer (SFT) wird initialisiert.

8. Das Modell wird mit der Funktion

   trainiert. Der Trainingsverlust wird über Gewichte und Verzerrungen überwacht. trainer.train()

Die Bewertung nach der Ausbildung zeigt eine signifikante Genauigkeitsverbesserung.

10. Das fein abgestimmte Modell und Tokenizer werden gespeichert.

11. für einfachere Feinabstimmungsalternativen finden Sie in den vorgeschlagenen Tutorials.

Zusammenführen und exportieren Sie das fein abgestimmte Modell

In diesem Abschnitt wird das Verschmelzung der Lora mit dem Basismodell erläutert und es zum Umarmungsgesicht drückt.

Ein neues Kaggle-Notizbuch wird erstellt, und das gespeicherte Notizbuch mit dem fein abgestimmten Modell wird als Eingabe hinzugefügt.

2. Die umarmende Gesichts -API -Schlüssel wird als Umgebungsvariable festgelegt. Die erforderlichen Pakete sind installiert.

3. Die Basis- und Feinabstimmungsmodelle sind geladen.

4. Die Lora wird mit dem Basismodell mit

   und PeftModel.from_pretrained(). model.merge_and_unload() verschmolzen

5. Das fusionierte Modell wird getestet, um die Funktionalität zu überprüfen.

6. Das fusionierte Modell und Tokenizer werden lokal gespeichert und dann in den umarmenden Gesichtszentrum gedrückt.

Für Unterstützung bei der Verschmelzung und Exportierung von Modell

Schlussfolgerung

Dieses Tutorial zeigte die Effizienz und Fähigkeiten der Phi-3,5-Modelle von Microsoft, insbesondere von pHi-3,5-mini-Einbrüchen, und zeigte eine signifikante Leistungsverbesserung durch Feinabstimmung und LORA-Anpassung. Der Prozess der Bereitstellung des fein abgestimmten Modells für das Umarmungsgesicht ist ebenfalls detailliert, wodurch das Modell für eine breitere Verwendung leicht zugänglich ist. Das Tutorial schließt mit dem Vorschlag weiterer LLM -Projektideen.

Das obige ist der detaillierte Inhalt vonFeinabstimmungs-PHI-3.5 im E-Commerce-Klassifizierungsdatensatz. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!