Wie fahre ich in 1 Minute LLMs vor Ort aus?

Großsprachige Modelle (LLMs) wie GPT und LLAMA haben die Art und Weise, wie wir mit Sprachaufgaben umgehen, revolutioniert, von der Erstellung intelligenter Chatbots bis hin zur Generierung komplexer Code -Snippets, alles ist möglich. Cloud -Plattformen wie das Umarmieren von Gesicht vereinfachen die Verwendung dieser Modelle. In einigen Fällen ist es jedoch eine intelligentere Wahl, LLM lokal auf Ihrem eigenen Computer auszuführen. Warum? Da es eine größere Privatsphäre bietet, die Anpassung an Ihre spezifischen Anforderungen ermöglicht und die Kosten erheblich senken kann. Wenn Sie LLM lokal ausführen, können Sie die volle Kontrolle über die Leistung zu Ihren eigenen Bedingungen nutzen.

Mal sehen, wie man LLM mit Ollama auf Ihrem System läuft und das Gesicht in nur wenigen einfachen Schritten umarmt!

Das folgende Video erläutert den Prozess Schritt für Schritt:

Wie man LLM in einer Minute vor Ort läuft [Anfängerfreundlich]

Verwenden Sie Ollama und umarmen Gesichtsvideo -Link

- Dylan (@dylan ebert ) 6. Januar 2025

Schritte zum lokalen Ausführen von LLM

Schritt 1: Ollama herunterladen

Suchen Sie zunächst nach "Ollama" in Ihrem Browser, laden Sie es herunter und installieren Sie es in Ihrem System.

Schritt 2: Finden Sie die beste Open -Source -LLM

Suchen Sie als nächstes nach dem "Umarmenden Gesichtsranking", um eine Liste der besten Open -Source -Sprachmodelle zu finden.

Schritt 3: Filtern Sie das Modell basierend auf Ihrem Gerät

Sobald Sie die Liste sehen, wenden Sie Filter an, um das beste Modell für Ihr Setup zu finden. Zum Beispiel:

• Wählen Sie ein Haus in der Verbraucherqualität.
• Wählen Sie nur offizielle Anbieter aus, um inoffizielle oder nicht überprüfte Modelle zu vermeiden.
• Wenn Ihr Laptop mit einer Low-End-GPU ausgestattet ist, wählen Sie ein Modell für Kantengeräte.

Klicken Sie auf das oberste Modell wie Qwen/Qwen2.5-35b . Klicken Sie in der oberen rechten Ecke des Bildschirms auf "Verwenden Sie dieses Modell". Sie können hier jedoch nicht Ollama als Option finden.

Dies liegt daran, dass Ollama ein spezielles Format namens GGUF verwendet, das eine kleinere, schnellere und quantitative Version des Modells ist.

(Hinweis: Die Quantisierung verringert die Qualität geringfügig, macht sie jedoch besser für die lokale Verwendung geeignet.)

Holen Sie sich das Modell im GGUF -Format:

• Gehen Sie in den Abschnitt „quantitisiert“ in den Ranglisten - hier stehen ungefähr 80 Modelle zur Verfügung. Sortieren Sie diese Modelle nach den meisten Downloads.

Suchen Sie nach Modellen mit "GGUF" in ihren Namen wie Bartowski . Dies ist eine gute Wahl.

• Wählen Sie dieses Modell aus und klicken Sie auf "Verwenden Sie dieses Modell mit Ollama".
• Für quantitative Einstellungen wählen Sie eine Dateigröße, die 1-2 GB kleiner als Ihr GPU-RAM ist, oder wählen Sie die empfohlene Option wie q5_k_m.

Schritt 5: Laden Sie das Modell herunter und beginnen Sie mit der Verwendung

Kopieren Sie die für das Modell Ihrer Wahl bereitgestellten Befehle und fügen Sie sie in Ihr Terminal ein. Drücken Sie die Taste "eingeben" und warten Sie, bis der Download abgeschlossen ist.

Sobald der Download abgeschlossen ist, können Sie mit dem Modell mit jedem anderen LLM mit dem Modell chatten. Einfach und lustig!

Das war's! Sie führen jetzt leistungsstarke LLM lokal auf Ihrem Gerät aus. Bitte sagen Sie mir, ob diese Schritte im Kommentarbereich unten für Sie funktionieren.

Das obige ist der detaillierte Inhalt vonWie fahre ich in 1 Minute LLMs vor Ort aus?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!