使用 Ollama 通过 Node.js API 在本地运行和创建您自己的 LLM-js教程-PHP中文网

使用 Ollama 通过 Node.js API 在本地运行和创建您自己的 LLM

WBOY

发布： 2024-07-19 12:15:11

原创

512 人浏览过

Running and Creating Your Own LLMs Locally with Node.js API using Ollama

在本指南中，您将学习如何在本地计算机上运行大型语言模型 (LLM) 并创建您自己的 LLM。我们还将介绍如何使用 Node.js 中的 ollama-js 库为您的自定义模型创建 API。

第1步：安装Ollama

Ollama 是本地运行 LLM 的理想选择，因为它简单且与非 GPU 密集型机器兼容。首先从官方网站安装Ollama：

Ollama 官方网站

第 2 步：选择您喜欢的 LLM 模式

安装 Ollama 后，您可以从多种可用的 LLM 模型中进行选择。您可以在其 GitHub 存储库上找到可用模型的列表：

Ollama GitHub 存储库

第 3 步：在本地运行模型

要在本地运行模型，请在终端中使用以下命令。请注意，第一次运行可能需要更长的时间，因为 Ollama 在本地下载并存储模型。由于模型是在本地访问的，后续运行会更快。

ollama run {model_name}

登录后复制

第四步：创建自己的法学硕士

要创建自定义 LLM，您需要创建一个模型文件。以下是如何定义模型的示例：

FROM <name_of_your_downloaded_model>

# Define your parameters here
PARAMETER temperature 0.5

SYSTEM """
You are an English teaching assistant named Mr. Kamal Kishor. You help with note-making, solving English grammar assignments, and reading comprehensions.
"""

登录后复制

将其保存为模型文件。要从此文件创建模型，请在终端中运行以下命令：

ollama create mrkamalkishor -f ./modelfile

登录后复制

创建模型后，您可以使用以下方式在本地与其交互：

ollama run mrkamalkishor

登录后复制

步骤 5：为自定义模型创建 Node.js API

在这一步中，我们将使用 ollama-js 库在 Node.js 中创建 API。

在 Node.js 项目中安装 Ollama 库：

npm install ollama

登录后复制

创建您的 API 端点：

import express from 'express';
import ollama from 'ollama';

const app = express();
const router = express.Router();

app.use(express.json());

router.post('/ask-query', async (req, res) => {
  const { query } = req.body;

  try {
    const response = await ollama.chat({
      model: 'mrkamalkishor',
      messages: [{ role: 'user', content: query }],
    });

    res.json({ reply: response.message.content });
  } catch (error) {
    res.status(500).send({ error: 'Error interacting with the model' });
  }
});

app.use('/api', router);

const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
  console.log(`Server is running on port ${PORT}`);
});

登录后复制

此代码设置了一个带有端点的 Express.js 服务器，以与您的自定义模型进行交互。当使用包含用户查询的 JSON 正文向 /ask-query 发出 POST 请求时，服务器会使用模型的输出进行响应。