Exécuter et créer vos propres LLM localement avec l'API Node.js à l'aide d'Ollama

Dans ce guide, vous apprendrez comment exécuter des modèles linguistiques étendus (LLM) sur votre ordinateur local et créer votre propre LLM. Nous expliquerons également comment créer une API pour votre modèle personnalisé à l'aide de la bibliothèque ollama-js dans Node.js.

Étape 1 : Installation d'Ollama

Ollama est un choix idéal pour exécuter des LLM localement en raison de sa simplicité et de sa compatibilité avec les machines non gourmandes en GPU. Commencez par installer Ollama depuis le site officiel :

Site officiel d'Ollama

Étape 2 : Sélection de votre modèle LLM préféré

Après avoir installé Ollama, vous pouvez choisir parmi une variété de modèles LLM disponibles. Vous pouvez retrouver la liste des modèles disponibles sur leur dépôt GitHub :

Référentiel Ollama GitHub

Étape 3 : Exécuter le modèle localement

Pour exécuter le modèle localement, utilisez la commande suivante dans votre terminal. Notez que la première exécution peut prendre plus de temps car Ollama télécharge et stocke le modèle localement. Les exécutions suivantes seront plus rapides puisque le modèle est accessible localement.

ollama run {model_name}

Étape 4 : Créer votre propre LLM

Pour créer votre LLM personnalisé, vous devez créer un fichier modèle. Vous trouverez ci-dessous un exemple de la façon de définir votre modèle :

FROM <name_of_your_downloaded_model>

# Define your parameters here
PARAMETER temperature 0.5

SYSTEM """
You are an English teaching assistant named Mr. Kamal Kishor. You help with note-making, solving English grammar assignments, and reading comprehensions.
"""

Enregistrez-le en tant que fichier modèle. Pour créer le modèle à partir de ce fichier, exécutez la commande suivante dans votre terminal :

ollama create mrkamalkishor -f ./modelfile

Après avoir créé le modèle, vous pouvez interagir avec lui localement en utilisant :

ollama run mrkamalkishor

Étape 5 : Création d'une API Node.js pour le modèle personnalisé

Pour cette étape, nous utiliserons la bibliothèque ollama-js pour créer une API dans Node.js.

1. Installez la bibliothèque Ollama dans votre projet Node.js :

npm install ollama

1. Créez votre point de terminaison API :

import express from 'express';
import ollama from 'ollama';

const app = express();
const router = express.Router();

app.use(express.json());

router.post('/ask-query', async (req, res) => {
  const { query } = req.body;

  try {
    const response = await ollama.chat({
      model: 'mrkamalkishor',
      messages: [{ role: 'user', content: query }],
    });

    res.json({ reply: response.message.content });
  } catch (error) {
    res.status(500).send({ error: 'Error interacting with the model' });
  }
});

app.use('/api', router);

const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
  console.log(`Server is running on port ${PORT}`);
});

Ce code configure un serveur Express.js avec un point de terminaison pour interagir avec votre modèle personnalisé. Lorsqu'une requête POST est adressée à /ask-query avec un corps JSON contenant la requête de l'utilisateur, le serveur répond avec la sortie du modèle.

Résumé

En suivant ces étapes, vous pouvez installer Ollama, choisir et exécuter des LLM localement, créer votre LLM personnalisé et configurer une API Node.js pour interagir avec lui. Cette configuration vous permet d'exploiter des modèles de langage puissants sur votre ordinateur local sans nécessiter de matériel gourmand en GPU.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!