Es gibt eine Reihe von Vorteilen, einen GPT/AI-Chatbot auf Ihrem eigenen Computer auszuführen, anstatt über das Internet darauf zuzugreifen. Wir zeigen, warum Sie das vielleicht möchten und wie Sie es am einfachsten unter Windows einrichten.
Während Online-KI-Chatbots wie ChatGPT mit Zugriff auf riesige Mengen an Trainingsdaten und aktuellen Informationen dominieren, gibt es einige Gründe, warum Sie vielleicht Ihren eigenen lokalen Chatbot auf Ihrem Windows-Computer ausführen möchten.
Das lokale Ausführen Ihrer eigenen KI-Tools ist kostenlos und unterliegt den Einschränkungen von Online-Tools: Es gibt keine Zensur, und Sie können beliebige Modelle für maschinelles Lernen laden, deren Antworten und Verhalten anpassen und jede Eingabeaufforderung bereitstellen, alles ohne Einschränkungen (und in absoluter Privatsphäre). Es ist auch eine gute Möglichkeit, zu verstehen, wie moderne KI-Tools (Large Language Model, LLM) unter der Haube funktionieren, insbesondere wenn Sie in die KI- oder Technologiebranche einsteigen möchten.
Sie können Modelle für fast alles finden, von Interaktionen mit fiktiven Charakteren über Programmierung bis hin zu Allgemeinwissen und vielen anderen Anwendungsfällen, die allgemeinere Online-Modelle möglicherweise nicht abdecken.
In diesem Tutorial wird text-generation-web-ui-docker verwendet, eine Open-Source-Schnittstelle für große Sprachmodelle, die die Installation und Verwendung von LLMs vereinfacht.
text-generation-web-ui-docker bündelt das Text-generation-web-ui-Projekt mit Docker, wodurch die Installation und Verwaltung aller komplexen Abhängigkeiten, die lokale KI-Tools normalerweise erfordern, entfällt, indem alles in einem separaten Container gespeichert wird dein System. Das Einzige, was Sie zum Ausführen Ihres lokalen Chatbots benötigen, ist ein Windows-PC, der Docker unterstützt und das Windows-Subsystem für Linux (WSL) verwendet. Für maximale Kompatibilität benötigen Sie außerdem eine relativ aktuelle GPU, idealerweise eine von NVIDIA.
Docker-Container ähneln virtuellen Maschinen darin, dass sie ein ganzes laufendes System enthalten, aber sie sind viel leichter und perfekt für die Verteilung von Anwendungen und allen ihren Anforderungen in einem einzigen , einfach zu installierendes Paket. Um text-generation-web-ui-docker in Docker auszuführen, laden Sie Docker herunter und installieren Sie es auf Ihrem Windows-System.
Docker kann unter Windows auf zwei Arten ausgeführt werden: WSL- oder Hyper-V-Modus. WSL wird für die meisten Benutzer empfohlen, daher müssen Sie es möglicherweise vor der Installation von Docker aktivieren.
Es wird außerdem empfohlen, die Windows-Terminal-App zu installieren, da diese eine praktische Schnittstelle für WSL, PowerShell und die Windows-Befehlszeile bietet.
Um text-generation-web-ui-docker herunterzuladen, besuchen Sie dessen GitHub-Seite. Sie können eine „.zip“-Datei mit allen benötigten Dateien herunterladen, indem Sie auf die grüne Schaltfläche „Code“ und dann im Dropdown-Menü auf „Zip herunterladen“ klicken.
Der Screenshot unten zeigt Ihnen, wo Sie dies auf der GitHub-Seite finden.
Brad Morton / How-To Geek Extrahieren Sie die heruntergeladene ZIP-Datei in einen eigenen Ordner und öffnen Sie dann den Ordner mit den entpackten Dateien. Machen Sie sich nicht zu viele Gedanken über den Inhalt dieses Ordners: Er enthält alle beweglichen Teile für Ihren KI-Chatbot, aber Docker übernimmt die Einrichtung für Sie.
Bevor Sie text-generation-web-ui-docker starten, müssen Sie sicherstellen, dass es für Ihre PC-Hardware konfiguriert ist. Bearbeiten Sie die Datei docker-compose.yml, um die Variante anzugeben, die zu Ihrer Hardware passt: default-nvidia oder default-cpu (wenn Sie keine kompatible GPU haben).
Brad Morton / How-To Geek Klicken Sie dann, immer noch im Ordner mit den heruntergeladenen und extrahierten Dateien, mit der rechten Maustaste auf eine leere Stelle und klicken Sie auf „Im Terminal öffnen“, um das Verzeichnis in einem neuen PowerShell-Fenster zu öffnen.
Brad Morton / How-To Geek Stellen Sie sicher, dass Docker Desktop ausgeführt wird, bevor Sie den folgenden Docker-Befehl in das Terminalfenster eingeben:
docker compose up -d
Dieser Befehl führt Folgendes aus:
Brad Morton / How-To Geek Wenn Sie diesen Befehl noch nicht ausgeführt haben und die Anwendung heruntergeladen (abgerufen) werden muss, müssen Sie möglicherweise eine Tasse Tee kochen, da dies eine Weile dauern kann. Sobald die Ausführung des Befehls erfolgreich abgeschlossen wurde, sehen Sie, dass der Docker-Container text-generation-web-ui-docker erstellt und gestartet wurde.
Brad Morton / How-To Geek Der laufende Container wird auch im Docker Desktop angezeigt, wo Sie ihn anhalten, starten und verwalten können.
Brad Morton / How-To Geek Sobald text-generation-web-ui-docker in Docker eingerichtet und ausgeführt wird, können Sie darauf zugreifen, indem Sie die Adresse http eingeben: //localhost:7860 in die Adressleiste Ihres Browsers ein. Localhost ist die Adresse, die Ihr Computer verwendet, um auf die von ihm ausgeführten Dienste zuzugreifen. Jedem dieser Dienste ist eine eindeutige Portnummer zugewiesen (in diesem Fall 7860). Sie können sehen, welche Ports ein laufender Docker-Container auf localhost verfügbar gemacht hat, indem Sie ihn im Docker-Desktop öffnen.
Dies ist eine ältere Version von GPT, als Sie erhalten, wenn Sie ChatGPT im Internet verwenden. Folglich wird es nicht so intelligent oder intuitiv sein, wie Sie vielleicht erwarten, aber es ist anpassbar und privat.
Navigieren Sie in der Weboberfläche zur Registerkarte „Modell“, geben Sie openai-community/gpt2 in das Feld „Modell oder LoRA herunterladen“ ein und klicken Sie dann auf die Schaltfläche „Herunterladen“. Das könnte ein paar Minuten dauern.
Brad Morton / How-To Geek Klicken Sie oben links auf das Symbol „Aktualisieren“ und wählen Sie dann die neu heruntergeladene openai-community/gpt2 aus dem angrenzenden Dropdown-Menü „Modell“ aus. Klicken Sie abschließend auf die Schaltfläche „Laden“ und warten Sie einige Minuten, bis eine Erfolgsmeldung angezeigt wird.
Brad Morton / How-To Geek Dieses Modell funktioniert sofort und erfordert keine Anmeldung. Wenn Sie sich mit KI beschäftigen und mit verschiedenen Modellen und KI-Tools experimentieren möchten, finden Sie mehr auf HuggingFace.
Dies ähnelt nicht ganz den KI-Chatbots, die Sie online verwenden und die bereits für den allgemeinen Gebrauch eingerichtet sind und viele Situationen abdecken. Sie müssen dem Modell mitteilen, wie es sich verhalten soll, bevor Sie mit ihm interagieren, andernfalls wird die Ausgabe etwas ... aus dem Ruder laufen.
Brad Morton / How-To Geek Hoo Junge, obwohl er die richtige Antwort hat, muss dieser KI-Chatbot noch ein wenig verfeinert werden.
Es gibt eine Menge, die man optimieren kann, und es kann etwas umständlich sein Erstens, aber mit Übung und Erfahrung können Sie einen Chatbot erstellen, der speziell auf Ihre eigene Nutzung zugeschnitten ist und Ihre Daten zu 100 % auf Ihrem eigenen Computer speichert, was sich hervorragend für geschäftliche und andere vertrauliche Anwendungsfälle eignet. Um zu erfahren, wie Sie Ihren lokalen GPT-Chatbot konfigurieren und trainieren, sehen Sie sich die Dokumentation zu text-generation-web-ui und die OpenAI GP2-Dokumente auf HuggingFace an.
Wenn Sie Bilder mithilfe von KI von Ihrem Windows-PC aus generieren möchten, können Sie Fooocus verwenden, um einfachere und unmittelbarere Ergebnisse zu erzielen.
Das obige ist der detaillierte Inhalt vonIch führe einen benutzerdefinierten GPT-Chatbot in Windows aus: Hier erfahren Sie, warum und wie es geht. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Funktionsfunktionsverwendung
So zeigen Sie gespeicherte Prozeduren in MySQL an
So überprüfen Sie gelöschte Anrufaufzeichnungen
Der Unterschied zwischen insertbefore und before
Welche Sprache wird im Allgemeinen zum Schreiben von vscode verwendet?
So konvertieren Sie NEF in das JPG-Format
Ranking der zehn besten digitalen Währungsbörsen
Was ist der Kern eines Datenbanksystems?
