#
近期，OpenAI Translator 和 NextChat 都開始支援 Ollama 在本地運行的大型語言模型了，這對「新手上路」的愛好者來說，又多了一種新玩法。
而 Ollama on Windows（預覽版）的推出，完全顛覆了在 Windows 裝置上進行 AI 開發的方式，它為 AI 領域的探索者和普通的「試水玩家」指引了一條明確的道路。
什麼是 Ollama？
#Ollama 是一款開創性的人工智慧（AI）和機器學習（ML）工具平台，它大大簡化了 AI 模型的開發和使用過程。
在科技社群裡，AI 模式的硬體配置和環境建構一直是個棘手的問題，而 Ollama 正是為了解決這樣的關鍵需求而出現的：
- 它不僅提供了一系列工具，更重要的是，這些工具使用起來非常直觀且高效，不管你是AI 領域的專業人士還是初涉此道的新手，都能在Ollama 上找到對應的支持。
- 不只方便使用，Ollama 也讓先進的 AI 模型和運算資源的取得不再侷限於少數人。對 AI 和 ML 社群而言，Ollama 的誕生具有里程碑意義，它推動了 AI 技術的普及，讓更多的人能夠嘗試實踐自己的 AI 創意。
為什麼 Ollama 能夠脫穎而出？
#在眾多 AI 工具中，Ollama 憑藉以下幾個關鍵優勢脫穎而出，這些特性不僅彰顯了其獨特性，更解決了 AI 開發者和愛好者們最常遇到的難題：
- 自動硬體加速：Ollama 能自動辨識並充分利用 Windows 系統中的最優硬體資源。無論你是配備了 NVIDIA GPU，或是 CPU 支援 AVX、AVX2 這樣先進的指令集，Ollama 都能實現針對性最佳化，確保 AI 模型更有效率地運作。有了它，就不用再頭痛於複雜的硬體配置問題了，你可以將更多的時間和精力都集中在專案本身。
- 無需虛擬化：在進行 AI 開發時，過去常常需要搭建虛擬機器或配置複雜的軟體環境。而 Ollama 讓這一切不再成為阻礙，直接就能開始 AI 專案的開發，整個流程變得簡單又快速。對於想嘗試 AI 技術的個人或組織來說，這種便利性降低了許多門檻。
- 接入完整的 Ollama 模型庫：Ollama 為用戶提供了豐富的 AI 模型庫，包括像 LLaVA 這樣的先進圖像識別模型和 Google 最新推出的 Gemma 模型等。擁有這樣一個全面的「武器庫」，我們可以輕鬆嘗試應用各種開源模型，而不用自己費時費力地去搜尋整合。無論你想進行文字分析、影像處理，或是其他 AI 任務，Ollama 的模型庫都能提供強而有力的支援。
- Ollama 的常駐 API：在軟體互聯的今天，將 AI 功能整合到自己的應用中極具價值。 Ollama 的常駐 API 大大簡化了這個過程，它會在後台默默運行，隨時準備將強大的 AI 功能與你的專案無縫對接，而無需額外的複雜設定。有了它，Ollama 豐富的 AI 能力會隨時待命，能自然地融入你的開發流程，進一步提升工作效率。
Ollama 透過這些精心設計的功能特性，不僅解決了 AI 開發中的常見難題，還讓更多的人能夠輕鬆地接觸和應用先進的 AI 技術，大大擴展了 AI 的應用前景。
在 Windows 上使用 Ollama
歡迎邁入 AI 和 ML 的新時代！接下來，我們將帶你完成上手的每一步，還會提供一些實用的程式碼和指令範例，確保你一路暢通。
步驟 1：下載與安裝
#1造訪 Ollama Windows Preview 頁面，下載OllamaSetup.exe安裝程式。
2雙擊文件，點選「Install」開始安裝。
3安裝完成之後，就可以開始在 Windows 上使用 Ollama 了，是不是非常簡單。
步驟 2：啟動 Ollama 並取得模型
要啟動 Ollama 並從模型庫中取得開源 AI 模型，請依照下列步驟操作：
1在「開始」功能表中點擊 Ollama 圖標，運行後會在工作列托盤中駐留一個圖標。
2右鍵點選工作列圖標，選擇「View log」開啟命令列視窗。
3執行以下命令來運行 Ollama，並載入模型：
ollama run [modelname]
登入後複製
執行上述指令後，Ollama 將開始初始化，並自動從 Ollama 模型庫中拉取並載入所選模型。一旦準備就緒，就可以向它發送指令，它會利用所選模型來進行理解和回應。
記得將modelname名稱換成要執行的模型名稱，常用的有：
| 模型 |
參數 |
大小 |
安裝指令 |
發布組織 |
| Llama 2 |
7B |
3.8GB |
ollama run llama2 |
Meta |
| Code Llama |
7B |
3.8GB |
ollama run codellama |
Meta |
| Llama 2 13B |
13B |
7.3GB |
ollama run llama2:13b | #Meta |
| Llama 2 70B |
70B |
39GB |
ollama run llama2:70b | #Meta |
| Mistral |
7B |
4.1GB |
ollama run mistral |
Mistral AI |
| mixtral |
8x7b |
26GB |
ollama run mixtral:8x7b | #Mistral AI |
| Phi-2 |
2.7B |
1.7GB |
ollama run phi |
Microsoft Research |
| LLaVA |
7B |
4.5GB |
ollama run llava |
Microsoft Research
Columbia University
Wisconsin |
| Gemma 2B |
2B |
1.4GB |
ollama run gemma:2b | #Google |
| Gemma 7B |
7B |
4.8GB |
ollama run gemma:7b | #Google |
| Qwen 4B |
4B |
2.3GB |
ollama run qwen:4b |
Alibaba |
| Qwen 7B |
7B |
4.5GB |
ollama run qwen:7b |
Alibaba |
| Qwen 14B |
14B |
8.2GB |
ollama run qwen:14b | #Alibaba |
运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存。
步骤 3：使用模型
如前所述，Ollama 支持通过各种各样的开源模型来完成不同的任务，下面就来看看怎么使用。
- 基于文本的模型：加载好文本模型后，就可以直接在命令行里输入文字开始与模型「对话」。例如，阿里的 Qwen（通义千问）：
- 基于图像的模型：如果你想使用图像处理模型，如 LLaVA 1.6，可以使用以下命令来加载该模型：
ollama run llava1.6
登入後複製
Ollama 会使用你选择的模型来分析这张图片，并给你一些结果，比如图片的内容和分类，图片是否有修改，或者其他的分析等等（取决于所使用的模型）。
步骤 4：连接到 Ollama API
我们不可能只通过命令行来使用，将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里，或者在 OpenAI Translator 和 NextChat 这类的前端工具中进行调用。
以下是如何连接和使用 Ollama API 的步骤：
- 默认地址和端口：Ollama API 的默认地址是
http://localhost:11434，可以在安装 Ollama 的系统中直接调用。
- 修改 API 的侦听地址和端口：如果要在网络中提供服务，可以修改 API 的侦听地址和端口。
1右击点击任务栏图标，选择「Quit Ollama」退出后台运行。
2使用Windows + R快捷键打开「运行」对话框，输出以下命令，然后按Ctrl + Shift + Enter以管理员权限启动「环境变量」。
C:Windowssystem32rundll32.exe sysdm.cpl, EditEnvironmentVariables
登入後複製
3要更改侦听地址和端口，可以添加以下环境变量：
- 变量名：
OLLAMA_HOST
- 变量值（端口）：
:8000
只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000端口。
要使用 IPv6，需要 Ollama 0.0.20 或更新版本。
4如果安装了多个模型，可以通过OLLAMA_MODELS变量名来指定默认模型。
5更改完之后，重新运行 Ollama。然后在浏览器中测试访问，验证更改是否成功。
6示例 API 调用： 要使用 Ollama API，可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl命令给 Gemma 模型发送文字提示的例子：
curl http://192.168.100.10:8000/api/generate -d '{
"model": "gemma:7b",
"prompt": "天空为什么是蓝色的？"
}'
登入後複製
返回响应的格式，目前只支持 Json 格式。
Ollama 的常用命令有：
# 查看 Ollama 版本
ollama -v
# 查看已安装的模型
ollama list
# 删除指定模型
ollama rm [modelname]
# 模型存储路径
# C:Users\.ollamamodels
登入後複製
按照上述步骤，并参考命令示例，你可以在 Windows 上尽情体验 Ollama 的强大功能。不管是在命令行中直接下达指令，通过 API 将 AI 模型集成到你的软件当中，还是通过前端套壳，Ollama 的大门都已经为你敞开。
Ollama on Windows 的最佳实践
要让 Ollama 在 Windows 上充分发挥最大潜力，需要注意以下几点最佳实践和技巧，这将帮助你优化性能并解决一些常见问题：
優化 Ollama 的效能：
- 檢查硬體配置： 確保你的設備符合 Ollama 建議的硬體要求，尤其是運行大型模型時。如果你有 NVIDIA GPU，還可以享受 Ollama 提供的自動硬體加速，大幅提升運算速度。
- 更新驅動程式： 將顯示卡驅動程式保持為最新版本，以確保與 Ollama 的相容性和最佳效能。
- 釋放系統資源：執行大型模型或執行複雜任務時，請關閉不必要的程序，釋放系統資源。
- 選擇合適模型：根據任務需求選擇合適的模型。大參數模型雖然可能更準確，但對算力的要求也更高。對於簡單任務，使用小參數模型更有效率。
Ollama 常見問題解答
#安裝問題
- 確保你的 Windows 系統是最新版本。
- 確保你擁有安裝軟體所需的權限。
- 嘗試以管理員身分執行安裝程式。
模型載入錯誤
- 檢查輸入的命令是否正確。
- 確認模型名稱與 Ollama 模型庫中的名稱相符。
- 檢查 Ollama 版本並進行更新。
Ollama API 連線問題
- 確保 Ollama 正在運行。
- 檢查偵聽位址和端口，特別是端口是否被其他應用佔用。
在本教學中，我們學習如何在 Windows 上安裝和使用 Ollama，包括安裝 Ollama、執行基礎命令、使用 Ollama 模型庫，以及透過 API 連接 Ollama。建議你深入研究 Ollama，並嘗試各種不同的模型。
Ollama 的潛力無限，借助它，你可以實現更多可能！
以上是Windows on Ollama：本地運行大型語言模型（LLM）的新利器的詳細內容。更多資訊請關注PHP中文網其他相關文章！
