如何在1分鐘內在本地運行LLM？

大型语言模型（LLM），例如GPT和Llama，彻底改变了我们处理语言任务的方式，从创建智能聊天机器人到生成复杂的代码片段，无所不能。Hugging Face等云平台简化了这些模型的使用，但在某些情况下，在您自己的计算机上本地运行LLM是更明智的选择。为什么？因为它提供了更高的隐私性，允许根据您的特定需求进行定制，并且可以显著降低成本。本地运行LLM让您完全掌控，使您能够按照自己的条件利用其强大功能。

让我们看看如何使用Ollama和Hugging Face只需几个简单的步骤就能在您的系统上运行LLM！

以下视频逐步解释了该过程：

如何在一分钟内本地运行LLM【初学者友好型】

使用Ollama ? 和Hugging Face ? 视频链接

— dylan (@dylanebert) 2025年1月6日

本地运行LLM的步骤

步骤1：下载Ollama

首先，在您的浏览器上搜索“Ollama”，下载并安装到您的系统上。

步骤2：查找最佳开源LLM

接下来，搜索“Hugging Face LLM排行榜”以查找顶级开源语言模型列表。

步骤3：根据您的设备筛选模型

看到列表后，应用过滤器以查找最适合您设置的模型。例如：

• 选择家用消费级设备。
• 仅选择官方提供商，以避免非官方或未经验证的模型。
• 如果您的笔记本电脑配备低端GPU，请选择专为边缘设备设计的模型。

点击排名靠前的模型，例如Qwen/Qwen2.5-35B。在屏幕右上角，点击“使用此模型”。但是，您在这里找不到Ollama作为选项。

这是因为Ollama使用一种称为gguf的特殊格式，它是模型的更小、更快且量化的版本。

（注意：量化会稍微降低质量，但使其更适合本地使用。）

获取gguf格式的模型：

• 前往排行榜上的“量化”部分——这里大约有80个模型可用。按下载次数最多对这些模型进行排序。

查找名称中包含“gguf”的模型，例如Bartowski。这是一个不错的选择。

• 选择此模型并点击“使用此模型与Ollama”。
• 对于量化设置，选择一个文件大小，该大小比您的GPU RAM小1-2GB，或选择推荐的选项，例如Q5_K_M。

步骤5：下载并开始使用模型

复制为您选择的模型提供的命令，并将其粘贴到您的终端中。按“Enter”键并等待下载完成。

下载完成后，您可以像使用任何其他LLM一样开始与模型聊天。简单又有趣！

就是这样！您现在正在您的设备上本地运行强大的LLM。请在下面的评论部分告诉我这些步骤是否对您有效。

以上是如何在1分鐘內在本地運行LLM？的詳細內容。更多資訊請關注PHP中文網其他相關文章！