So führen Sie Alpaka-Lora auf Ihrem Gerät aus

Da generative KI weiterhin beliebt ist, haben Entwickler auf der ganzen Welt die Möglichkeit genutzt, aufregende Anwendungen mithilfe natürlicher Sprache aufzubauen. Vor kurzem war ein Tool namens ChatGPT besonders auffällig.

Chatgpt ist ein von OpenAI entwickelter Sprachmodell, das als KI-angetanter Chatbot fungiert, der menschlich ähnliche Gespräche in der Lage ist. Obwohl es ein sehr nützliches Werkzeug ist, ist es nicht ohne Probleme. ChatGPT ist keine Open Source, was bedeutet, dass der Quellcode unzugänglich ist und nicht geändert werden kann. Es ist auch äußerst ressourcenintensiv, was die Erstellung Ihrer eigenen Implementierung zu einer schlechten Lösung macht.

Diese Probleme haben eine Reihe von Alternativen zu ChatGPT hervorgebracht, wie z.

In diesem Tutorial konzentrieren wir uns auf Alpaka-Lora. Wir werden abdecken, was es ist, die Voraussetzungen, die erforderlich sind, um es auf Ihrem Gerät auszuführen, und die Schritte, um es auszuführen.

Was ist Alpaka Lora?

Anfang März 2023 veröffentlichte Eric J. Wang das Alpaca-Lora-Projekt. Dies ist ein Code-enthaltender Projekt zur Reproduktion der Ergebnisse von StandFord Alpaca mithilfe von Parameter effizienter Fine-Tweak (PEFT).

Anpassung mit niedriger Rang (LORA) für Großsprachmodelle ist eine Methode, mit der große Modelltrainingsprozesse beschleunigt und gleichzeitig den Speicherverbrauch reduziert werden.

es funktioniert wie folgt:

• Das vorhandene Gewicht eingefroren. Stellen Sie sich das Modell als ein komplexes Netzwerk von miteinander verbundenen Knoten vor (das sind „Gewichte“). Normalerweise passen Sie alle diese Knoten während des Trainings an, um das Modell zu verbessern. "Lass uns diese nicht berühren; lass es uns so halten, wie es ist."
• Neues Gewicht hinzufügen. Lora fügt diesem Netzwerk einige neue, einfachere Verbindungen (neue Gewichte) hinzu.
• Zug nur neue Gewichte . Anstatt das gesamte komplexe Netzwerk abzustimmen, konzentrieren Sie sich auf die Verbesserung dieser neuen, einfacheren Verbindungen.

Auf diese Weise können Sie Zeit- und Computerspeicher sparen und gleichzeitig Ihr Modell in Aufgaben besser abschneiden.

Die Vorteile von Lora

Die Vorteile von Lora umfassen:

• Porability - Die Rang -Zersetzungsmatrix enthält viel weniger trainierbare Parameter als das ursprüngliche Modell.
• Barrierefreiheit -Es wurde gezeigt, dass LORA im Vergleich zur herkömmlichen Feinabstimmung die GPU-Speicherverwendung erheblich reduziert.

Alpaka: Open Source -Modell

Andererseits ist Alpaka ein Open-Source-Anweisungen, das auf dem großsprachigen Modell-Meta-AI (LAMA) ein feinstimmendes AI-Sprachmodell basiert. Es wurde von einem Forscherteam der Stanford University entwickelt, um Großsprachmodelle (LLMs) zugänglicher zu machen.

Dies führt zu Alpaka-Lora.

Das Alpaca-Lora-Modell ist eine weniger ressourcenkonsumierende Version des Stanford Alpaca-Modells, das LORA verwendet, um den Trainingsprozess zu beschleunigen und gleichzeitig weniger Speicher zu verbrauchen.

Alpaka-Lora Voraussetzungen

Um das Alpaka-Lora-Modell lokal auszuführen, müssen Sie eine GPU haben. Es kann sich um eine GPU mit niedriger Spezifikation wie die NVIDIA T4 oder eine GPU der Verbraucher wie die 4090 handeln. Laut Eric J. Wang, dem Project Creator, braucht das Modell „Stunden, um auf einem RTX 4090 zu laufen“.

** Hinweis: Die Anweisungen in diesem Artikel folgen den Anweisungen von Eric J. Wang in der Alpaca-Lora-Codebasis. *

Methoden zum Ausführen von Alpaka-Lora in vier Schritten

Schritt 1: Erstellen Sie eine virtuelle Umgebung (optional)

Die virtuelle Umgebung ist ein isolierter Behälter zum Speichern von pythonbezogenen Abhängigkeiten, die von einem bestimmten Projekt erforderlich sind. Dies hilft dabei, die von verschiedenen Projekten erforderlichen Abhängigkeiten zu trennen und es einfacher zu machen, Projekte auszutauschen und Abhängigkeitskonflikte zu verringern.

Es ist nicht obligatorisch, das Alpaka-Lora-Modell zu verwenden, um das Alpaka-Lora-Modell auszuführen, es wird jedoch empfohlen.

Um eine virtuelle Umgebung an der Eingabeaufforderung im Windows -Betriebssystem zu erstellen, führen Sie den folgenden Befehl aus:

<code>py -m venv venv</code>

Dies schafft eine virtuelle Umgebung namens VenV in Ihrem aktuellen Arbeitsverzeichnis.

** Hinweis: Sie können das zweite Gebiet durch einen beliebigen Namen für Ihren bevorzugten Namen ersetzen. *

Sie müssen die virtuelle Umgebung aktivieren, bevor Sie Abhängigkeiten installieren. Führen Sie den folgenden Befehl aus, um Ihre virtuelle Umgebung zu aktivieren:

<code>venv\Scripts\activate.bat</code>

Wenn Sie die virtuelle Umgebung nicht mehr verwenden, führen Sie den folgenden Befehl aus, um sie zu deaktivieren:

<code>deactivate</code>

Jetzt können Sie Alpaka-Lora ausführen.

Schritt 2: Setzen Sie

Der erste Schritt beim Ausführen des Alpaca-Lora-Modells besteht darin, die Codebasis von GitHub zu klonen und die zur Ausführung erforderlichen Abhängigkeiten zu installieren.

Installieren Sie die GitHub -Code -Basis mit dem folgenden Befehl:

<code>git clone https://github.com/tloen/alpaca-lora.git</code>

Verwenden Sie dann den folgenden Befehl, um zu der von Ihnen gerade installierten Alpaca-Lora-Codebasis zu navigieren:

<code>cd alpaca-lora</code>

und führen Sie den folgenden Befehl aus, um die Abhängigkeiten zu installieren:

<code>pip install -r requirements.txt</code>

Schritt 3: Feinstimmen Sie das Modell (optional)

Die Alpaca-Lora-Code-Basis enthält eine Datei mit dem Namen fellune.py. fellune.py enthält einfache Anwendungen für eine effiziente Parameter-Feinabstimmung (PEFT), die unter anderem auf Lama-Modelle angewendet werden sollen.

Wenn Sie die Hyperparameter des Modells anpassen möchten, müssen Sie diese Datei ausführen, dies ist jedoch keine obligatorische Anforderung. Nach Angaben des Codebasis -Autors "Es ist keine Hyperparameterabstimmung erforderlich, erzeugt das LORA -Modell die Ausgabe, die mit dem Stanford Alpaca -Modell vergleichbar ist. Weitere Stimmen können eine bessere Leistung erzielen ..."

Folgendes ist ein Beispiel für die Verwendung der fellune.py -Datei:

<code>python -m finetune.py \
    --base_model 'decapoda-research/llama-7b-hf' \
    --data_path 'yahma/alpaca-cleaned' \
    --output_dir './lora-alpaca' \
    --batch_size 128 \
    --micro_batch_size 4 \
    --num_epochs 3 \
    --learning_rate 1e-4 \
    --cutoff_len 512 \
    --val_set_size 2000 \
    --lora_r 8 \
    --lora_alpha 16 \
    --lora_dropout 0.05 \
    --lora_target_modules '[q_proj,v_proj]' \
    --train_on_inputs \
    --group_by_length</code>

Schritt 4: Führen Sie das Modell/Inferenz

aus

Die Alpaca-Lora-Code-Basis verfügt auch über eine Datei namens generate.py. Ausführung generate.py wird Folgendes tun:

• Lesen Sie das Basismodell aus dem Umarmungsgesichtsmodell Center
• Modellgewichte von tloen/alpaca-lora-7b
lesen
startet eine Gradio -Schnittstelle, an der die Inferenz für die angegebene Eingabe durchgeführt wird.

Zum Zeitpunkt des Schreibens ist der neueste Alpaka-Lora-Adapter, der zum Trainieren von Modellen verwendet wird, Alpaca-Lora-7b. Dies geschah am 26. März 2023 mit dem folgenden Befehl:

<code>py -m venv venv</code>

Wenn Sie einen anderen Adapter verwenden möchten, können Sie dies tun, indem Sie die Datei generate.py mit einem Link zu Ihrem bevorzugten Adapterziel ausführen.

<code>venv\Scripts\activate.bat</code>

Zusammenfassung

Alpaca-Lora ist eine weniger ressourcenkonsumierende Version des Stanford Alpaca-Modells. Dies erreicht dies durch die Nutzung von Anpassungen mit niedrigem Rang (LORA) von großer Sprachmodellen, was den Trainingsprozess beschleunigt und gleichzeitig weniger Speicher verbraucht als das ursprüngliche Alpaka-Modell.

Erfahren Sie mehr über große Sprachmodelle (LLMs) und generative KI mit den folgenden Tutorials:

Einführung in Meta ai lama
wie man LLM mit Pytorch trainiert: Schritt-für-Schritt-Anleitung

Das obige ist der detaillierte Inhalt vonSo führen Sie Alpaka-Lora auf Ihrem Gerät aus. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!