Windows on Ollama：本地運行大型語言模型（LLM）的新利器

#

近期，OpenAI Translator 和 NextChat 都開始支援 Ollama 在本地運行的大型語言模型了，這對「新手上路」的愛好者來說，又多了一種新玩法。

而 Ollama on Windows（預覽版）的推出，完全顛覆了在 Windows 裝置上進行 AI 開發的方式，它為 AI 領域的探索者和普通的「試水玩家」指引了一條明確的道路。

什麼是 Ollama？

#Ollama 是一款開創性的人工智慧（AI）和機器學習（ML）工具平台，它大大簡化了 AI 模型的開發和使用過程。

在科技社群裡，AI 模式的硬體配置和環境建構一直是個棘手的問題，而 Ollama 正是為了解決這樣的關鍵需求而出現的：

• 它不僅提供了一系列工具，更重要的是，這些工具使用起來非常直觀且高效，不管你是AI 領域的專業人士還是初涉此道的新手，都能在Ollama 上找到對應的支持。
• 不只方便使用，Ollama 也讓先進的 AI 模型和運算資源的取得不再侷限於少數人。對 AI 和 ML 社群而言，Ollama 的誕生具有里程碑意義，它推動了 AI 技術的普及，讓更多的人能夠嘗試實踐自己的 AI 創意。

為什麼 Ollama 能夠脫穎而出？

#在眾多 AI 工具中，Ollama 憑藉以下幾個關鍵優勢脫穎而出，這些特性不僅彰顯了其獨特性，更解決了 AI 開發者和愛好者們最常遇到的難題：

• 自動硬體加速：Ollama 能自動辨識並充分利用 Windows 系統中的最優硬體資源。無論你是配備了 NVIDIA GPU，或是 CPU 支援 AVX、AVX2 這樣先進的指令集，Ollama 都能實現針對性最佳化，確保 AI 模型更有效率地運作。有了它，就不用再頭痛於複雜的硬體配置問題了，你可以將更多的時間和精力都集中在專案本身。
• 無需虛擬化：在進行 AI 開發時，過去常常需要搭建虛擬機器或配置複雜的軟體環境。而 Ollama 讓這一切不再成為阻礙，直接就能開始 AI 專案的開發，整個流程變得簡單又快速。對於想嘗試 AI 技術的個人或組織來說，這種便利性降低了許多門檻。
• 接入完整的 Ollama 模型庫：Ollama 為用戶提供了豐富的 AI 模型庫，包括像 LLaVA 這樣的先進圖像識別模型和 Google 最新推出的 Gemma 模型等。擁有這樣一個全面的「武器庫」，我們可以輕鬆嘗試應用各種開源模型，而不用自己費時費力地去搜尋整合。無論你想進行文字分析、影像處理，或是其他 AI 任務，Ollama 的模型庫都能提供強而有力的支援。
• Ollama 的常駐 API：在軟體互聯的今天，將 AI 功能整合到自己的應用中極具價值。 Ollama 的常駐 API 大大簡化了這個過程，它會在後台默默運行，隨時準備將強大的 AI 功能與你的專案無縫對接，而無需額外的複雜設定。有了它，Ollama 豐富的 AI 能力會隨時待命，能自然地融入你的開發流程，進一步提升工作效率。

Ollama 透過這些精心設計的功能特性，不僅解決了 AI 開發中的常見難題，還讓更多的人能夠輕鬆地接觸和應用先進的 AI 技術，大大擴展了 AI 的應用前景。

在 Windows 上使用 Ollama

歡迎邁入 AI 和 ML 的新時代！接下來，我們將帶你完成上手的每一步，還會提供一些實用的程式碼和指令範例，確保你一路暢通。

步驟 1：下載與安裝

#1造訪 Ollama Windows Preview 頁面，下載OllamaSetup.exe安裝程式。

2雙擊文件，點選「Install」開始安裝。

3安裝完成之後，就可以開始在 Windows 上使用 Ollama 了，是不是非常簡單。

步驟 2：啟動 Ollama 並取得模型

要啟動 Ollama 並從模型庫中取得開源 AI 模型，請依照下列步驟操作：

1在「開始」功能表中點擊 Ollama 圖標，運行後會在工作列托盤中駐留一個圖標。

2右鍵點選工作列圖標，選擇「View log」開啟命令列視窗。

3執行以下命令來運行 Ollama，並載入模型：

ollama run [modelname]

執行上述指令後，Ollama 將開始初始化，並自動從 Ollama 模型庫中拉取並載入所選模型。一旦準備就緒，就可以向它發送指令，它會利用所選模型來進行理解和回應。

記得將modelname名稱換成要執行的模型名稱，常用的有：

模型	參數	大小	安裝指令	發布組織
Llama 2	7B	3.8GB	ollama run llama2	Meta
Code Llama	7B	3.8GB	ollama run codellama	Meta
Llama 2 13B	13B	7.3GB	ollama run llama2:13b	#Meta
Llama 2 70B	70B	39GB	ollama run llama2:70b	#Meta
Mistral	7B	4.1GB	ollama run mistral	Mistral AI
mixtral	8x7b	26GB	ollama run mixtral:8x7b	#Mistral AI
Phi-2	2.7B	1.7GB	ollama run phi	Microsoft Research
LLaVA	7B	4.5GB	ollama run llava	Microsoft Research Columbia University Wisconsin
Gemma 2B	2B	1.4GB	ollama run gemma:2b	#Google
Gemma 7B	7B	4.8GB	ollama run gemma:7b	#Google
Qwen 4B	4B	2.3GB	ollama run qwen:4b	Alibaba
Qwen 7B	7B	4.5GB	ollama run qwen:7b	Alibaba
Qwen 14B	14B	8.2GB	ollama run qwen:14b	#Alibaba

运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存。

步骤 3：使用模型

如前所述，Ollama 支持通过各种各样的开源模型来完成不同的任务，下面就来看看怎么使用。

• 基于文本的模型：加载好文本模型后，就可以直接在命令行里输入文字开始与模型「对话」。例如，阿里的 Qwen（通义千问）：

• 基于图像的模型：如果你想使用图像处理模型，如 LLaVA 1.6，可以使用以下命令来加载该模型：

ollama run llava1.6

Ollama 会使用你选择的模型来分析这张图片，并给你一些结果，比如图片的内容和分类，图片是否有修改，或者其他的分析等等（取决于所使用的模型）。

步骤 4：连接到 Ollama API

我们不可能只通过命令行来使用，将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里，或者在 OpenAI Translator 和 NextChat 这类的前端工具中进行调用。

以下是如何连接和使用 Ollama API 的步骤：

• 默认地址和端口：Ollama API 的默认地址是http://localhost:11434，可以在安装 Ollama 的系统中直接调用。
• 修改 API 的侦听地址和端口：如果要在网络中提供服务，可以修改 API 的侦听地址和端口。

1右击点击任务栏图标，选择「Quit Ollama」退出后台运行。

2使用Windows + R快捷键打开「运行」对话框，输出以下命令，然后按Ctrl + Shift + Enter以管理员权限启动「环境变量」。

C:Windowssystem32rundll32.exe sysdm.cpl, EditEnvironmentVariables

3要更改侦听地址和端口，可以添加以下环境变量：

• 变量名：OLLAMA_HOST
• 变量值（端口）：:8000

只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000端口。

要使用 IPv6，需要 Ollama 0.0.20 或更新版本。

4如果安装了多个模型，可以通过OLLAMA_MODELS变量名来指定默认模型。

5更改完之后，重新运行 Ollama。然后在浏览器中测试访问，验证更改是否成功。

6示例 API 调用： 要使用 Ollama API，可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl命令给 Gemma 模型发送文字提示的例子：

curl http://192.168.100.10:8000/api/generate -d '{
"model": "gemma:7b",
"prompt": "天空为什么是蓝色的？"
}'

返回响应的格式，目前只支持 Json 格式。

Ollama 的常用命令有：

# 查看 Ollama 版本
ollama -v

# 查看已安装的模型
ollama list

# 删除指定模型
ollama rm [modelname]

# 模型存储路径
# C:Users\.ollamamodels

按照上述步骤，并参考命令示例，你可以在 Windows 上尽情体验 Ollama 的强大功能。不管是在命令行中直接下达指令，通过 API 将 AI 模型集成到你的软件当中，还是通过前端套壳，Ollama 的大门都已经为你敞开。

Ollama on Windows 的最佳实践

要让 Ollama 在 Windows 上充分发挥最大潜力，需要注意以下几点最佳实践和技巧，这将帮助你优化性能并解决一些常见问题：

優化 Ollama 的效能：

• 檢查硬體配置： 確保你的設備符合 Ollama 建議的硬體要求，尤其是運行大型模型時。如果你有 NVIDIA GPU，還可以享受 Ollama 提供的自動硬體加速，大幅提升運算速度。
• 更新驅動程式： 將顯示卡驅動程式保持為最新版本，以確保與 Ollama 的相容性和最佳效能。
• 釋放系統資源：執行大型模型或執行複雜任務時，請關閉不必要的程序，釋放系統資源。
• 選擇合適模型：根據任務需求選擇合適的模型。大參數模型雖然可能更準確，但對算力的要求也更高。對於簡單任務，使用小參數模型更有效率。

Ollama 常見問題解答

#安裝問題

• 確保你的 Windows 系統是最新版本。
• 確保你擁有安裝軟體所需的權限。
• 嘗試以管理員身分執行安裝程式。

模型載入錯誤

• 檢查輸入的命令是否正確。
• 確認模型名稱與 Ollama 模型庫中的名稱相符。
• 檢查 Ollama 版本並進行更新。

Ollama API 連線問題

• 確保 Ollama 正在運行。
• 檢查偵聽位址和端口，特別是端口是否被其他應用佔用。

在本教學中，我們學習如何在 Windows 上安裝和使用 Ollama，包括安裝 Ollama、執行基礎命令、使用 Ollama 模型庫，以及透過 API 連接 Ollama。建議你深入研究 Ollama，並嘗試各種不同的模型。

Ollama 的潛力無限，借助它，你可以實現更多可能！

以上是Windows on Ollama：本地運行大型語言模型（LLM）的新利器的詳細內容。更多資訊請關注PHP中文網其他相關文章！