Lokales Ausführen und Erstellen eigener LLMs mit der Node.js-API unter Verwendung von Ollama

In diesem Leitfaden erfahren Sie, wie Sie Large Language Models (LLMs) auf Ihrem lokalen Computer ausführen und Ihr eigenes LLM erstellen. Außerdem erfahren Sie, wie Sie mithilfe der ollama-js-Bibliothek in Node.js eine API für Ihr benutzerdefiniertes Modell erstellen.

Schritt 1: Ollama installieren

Ollama ist aufgrund seiner Einfachheit und Kompatibilität mit nicht GPU-intensiven Maschinen eine ideale Wahl für die lokale Ausführung von LLMs. Beginnen Sie mit der Installation von Ollama von der offiziellen Website:

Ollama-Offizielle Website

Schritt 2: Auswahl Ihres bevorzugten LLM-Modells

Nach der Installation von Ollama können Sie aus einer Vielzahl verfügbarer LLM-Modelle wählen. Die Liste der verfügbaren Modelle finden Sie im GitHub-Repository:

Ollama GitHub Repository

Schritt 3: Lokales Ausführen des Modells

Um das Modell lokal auszuführen, verwenden Sie den folgenden Befehl in Ihrem Terminal. Beachten Sie, dass die erste Ausführung möglicherweise länger dauert, da Ollama das Modell herunterlädt und lokal speichert. Nachfolgende Läufe werden schneller sein, da auf das Modell lokal zugegriffen wird.

ollama run {model_name}

Schritt 4: Erstellen Sie Ihr eigenes LLM

Um Ihr benutzerdefiniertes LLM zu erstellen, müssen Sie eine Modelldatei erstellen. Nachfolgend finden Sie ein Beispiel für die Definition Ihres Modells:

FROM <name_of_your_downloaded_model>

# Define your parameters here
PARAMETER temperature 0.5

SYSTEM """
You are an English teaching assistant named Mr. Kamal Kishor. You help with note-making, solving English grammar assignments, and reading comprehensions.
"""

Speichern Sie dies als Modelldatei. Um das Modell aus dieser Datei zu erstellen, führen Sie den folgenden Befehl in Ihrem Terminal aus:

ollama create mrkamalkishor -f ./modelfile

Nachdem Sie das Modell erstellt haben, können Sie lokal mit ihm interagieren, indem Sie Folgendes verwenden:

ollama run mrkamalkishor

Schritt 5: Erstellen einer Node.js-API für das benutzerdefinierte Modell

Für diesen Schritt verwenden wir die ollama-js-Bibliothek, um eine API in Node.js zu erstellen.

1. Installieren Sie die Ollama-Bibliothek in Ihrem Node.js-Projekt:

npm install ollama

1. Erstellen Sie Ihren API-Endpunkt:

import express from 'express';
import ollama from 'ollama';

const app = express();
const router = express.Router();

app.use(express.json());

router.post('/ask-query', async (req, res) => {
  const { query } = req.body;

  try {
    const response = await ollama.chat({
      model: 'mrkamalkishor',
      messages: [{ role: 'user', content: query }],
    });

    res.json({ reply: response.message.content });
  } catch (error) {
    res.status(500).send({ error: 'Error interacting with the model' });
  }
});

app.use('/api', router);

const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
  console.log(`Server is running on port ${PORT}`);
});

Dieser Code richtet einen Express.js-Server mit einem Endpunkt für die Interaktion mit Ihrem benutzerdefinierten Modell ein. Wenn eine POST-Anfrage an /ask-query mit einem JSON-Body gestellt wird, der die Anfrage des Benutzers enthält, antwortet der Server mit der Ausgabe des Modells.

Zusammenfassung

Indem Sie diese Schritte befolgen, können Sie Ollama installieren, LLMs lokal auswählen und ausführen, Ihr benutzerdefiniertes LLM erstellen und eine Node.js-API einrichten, um damit zu interagieren. Mit diesem Setup können Sie leistungsstarke Sprachmodelle auf Ihrem lokalen Computer nutzen, ohne dass GPU-intensive Hardware erforderlich ist.

Das obige ist der detaillierte Inhalt vonLokales Ausführen und Erstellen eigener LLMs mit der Node.js-API unter Verwendung von Ollama. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!