Windows pada Ollama: Alat baharu untuk menjalankan model bahasa besar (LLM) secara tempatan

Baru-baru ini, kedua-dua Penterjemah OpenAI dan NextChat telah mula menyokong model bahasa berskala besar yang dijalankan secara tempatan di Ollama, yang menambah cara bermain baharu untuk peminat "pemula".

Dan pelancaran Ollama pada Windows (versi pratonton) telah menumbangkan sepenuhnya cara pembangunan AI pada peranti Windows Ia telah membimbing laluan yang jelas untuk penjelajah dalam bidang AI dan "pemain ujian air" biasa.

Apakah itu Ollama?

Ollama ialah platform alat kecerdasan buatan (AI) dan pembelajaran mesin (ML) terobosan yang sangat memudahkan pembangunan dan penggunaan model AI.

Dalam komuniti teknikal, konfigurasi perkakasan dan pembinaan persekitaran model AI sentiasa menjadi masalah yang sukar, dan Ollama muncul untuk menyelesaikan keperluan kritikal seperti itu:

• Ia bukan sahaja menyediakan satu siri alatan, tetapi yang lebih penting, alatan ini sangat intuitif dan cekap untuk digunakan sama ada anda seorang profesional dalam bidang AI atau orang baru yang baru dalam bidang ini, anda boleh mendapatkan sokongan yang sepadan. Ollama.
• Lebih daripada kemudahan penggunaan, Ollama juga menjadikan akses kepada model AI lanjutan dan sumber pengkomputeran tidak lagi terhad kepada beberapa orang. Bagi komuniti AI dan ML, kelahiran Ollama adalah peristiwa penting Ia menggalakkan pempopularan teknologi AI dan membolehkan lebih ramai orang mencuba dan mempraktikkan idea AI mereka sendiri.

Kenapa Ollama menyerlah?

Di antara banyak alatan AI, Ollama menonjol dengan kelebihan utama berikut. Ciri ini bukan sahaja menyerlahkan keunikannya, tetapi juga menyelesaikan masalah paling biasa yang dihadapi oleh pembangun dan peminat AI:

.

• Pecutan perkakasan automatik: Ollama boleh mengenal pasti dan menggunakan sepenuhnya sumber perkakasan optimum dalam sistem Windows. Sama ada anda dilengkapi dengan GPU NVIDIA atau CPU yang menyokong set arahan lanjutan seperti AVX dan AVX2, Ollama boleh mencapai pengoptimuman disasarkan untuk memastikan model AI berjalan dengan lebih cekap. Dengan itu, anda tidak perlu lagi bimbang tentang isu konfigurasi perkakasan yang rumit, dan anda boleh menumpukan lebih banyak masa dan tenaga pada projek itu sendiri.
• Tiada virtualisasi diperlukan: Semasa membangunkan AI, selalunya diperlukan untuk membina mesin maya atau mengkonfigurasi persekitaran perisian yang kompleks. Dengan Ollama, semua ini bukan lagi halangan Anda boleh memulakan pembangunan projek AI secara langsung, menjadikan keseluruhan proses menjadi mudah dan pantas. Kemudahan ini merendahkan halangan kemasukan bagi individu atau organisasi yang ingin mencuba teknologi AI.
• Akses kepada perpustakaan model Ollama yang lengkap: Ollama menyediakan pengguna dengan perpustakaan model AI yang kaya, termasuk model pengecaman imej lanjutan seperti LLaVA dan model Gemma terbaharu Google. Dengan "senjata" yang begitu komprehensif, kami boleh mencuba dan menggunakan pelbagai model sumber terbuka dengan mudah tanpa perlu menghabiskan masa dan usaha mencari penyepaduan sendiri. Sama ada anda ingin melakukan analisis teks, pemprosesan imej atau tugas AI lain, perpustakaan model Ollama boleh memberikan sokongan yang kuat.
• API pemastautin Ollama: Dalam era interkoneksi perisian hari ini, menyepadukan fungsi AI ke dalam aplikasi anda sendiri adalah sangat berharga. API pemastautin Ollama sangat memudahkan proses ini, berjalan secara senyap di latar belakang, bersedia untuk menyambung dengan lancar keupayaan AI berkuasa ke projek anda tanpa memerlukan persediaan rumit tambahan. Dengan itu, keupayaan AI Ollama yang kaya akan tersedia pada bila-bila masa dan boleh disepadukan secara semula jadi ke dalam proses pembangunan anda untuk meningkatkan lagi kecekapan kerja.

Melalui ciri yang direka bentuk dengan teliti ini, Ollama bukan sahaja menyelesaikan masalah biasa dalam pembangunan AI, tetapi juga membolehkan lebih ramai orang mengakses dan menggunakan teknologi AI termaju dengan mudah, sekali gus memperluaskan prospek aplikasi AI.

Menggunakan Ollama pada Windows

Selamat datang ke era baharu AI dan ML! Seterusnya, kami akan membawa anda melalui setiap langkah untuk bermula, dan kami juga akan menyediakan beberapa contoh kod dan arahan praktikal untuk memastikan anda mempunyai perjalanan yang lancar.

Langkah 1: Muat turun dan Pasang

1Lawati halaman Pratonton Windows Ollama dan muat turun OllamaSetup.exepemasang.

2 Klik dua kali fail dan klik "Pasang" untuk memulakan pemasangan.

3Selepas pemasangan selesai, anda boleh mula menggunakan Ollama pada Windows Bukankah ia sangat mudah?

Langkah 2: Lancarkan Ollama dan dapatkan modelnya

Untuk melancarkan Ollama dan mendapatkan model AI sumber terbuka daripada perpustakaan model, ikut langkah berikut:

1 Klik ikon Ollama dalam menu "Mula" Selepas berjalan, ikon akan kekal dalam dulang bar tugas.

2 Klik kanan ikon bar tugas dan pilih "Lihat log" untuk membuka tetingkap baris arahan.

3Laksanakan arahan berikut untuk menjalankan Ollama dan memuatkan model:

ollama run [modelname]

Selepas melaksanakan arahan di atas, Ollama akan mula memulakan dan secara automatik menarik serta memuatkan model yang dipilih daripada perpustakaan model Ollama. Setelah siap, anda boleh menghantar arahan dan ia akan memahami dan bertindak balas menggunakan model yang dipilih.

Ingat untuk menggantikan nama modelname dengan nama model yang anda ingin jalankan ialah:

Model	Parameter	Saiz	Arahan pemasangan	Pertubuhan Penerbitan
Llama 2	7B	3.8GB	ollama run llama2	Meta
Kod Llama	7B	3.8GB	ollama run codellama	Meta
Llama 2 13B	13B	7.3GB	ollama run llama2:13b	Meta
Llama 2 70B	70B	39GB	ollama run llama2:70b	Meta
Mistral	7B	4.1GB	ollama run mistral	Mistral AI
campuran	8x7b	26GB	ollama run mixtral:8x7b	Mistral AI
Phi-2	2.7B	1.7GB	ollama run phi	Microsoft Research
LLaVA	7B	4.5GB	ollama run llava	Microsoft Research Columbia University Wisconsin
Gemma 2B	2B	1.4GB	ollama run gemma:2b	Google
Gemma 7B	7B	4.8GB	ollama run gemma:7b	Google
Qwen 4B	4B	2.3GB	ollama run qwen:4b	Alibaba
Qwen 7B	7B	4.5GB	ollama run qwen:7b	Alibaba
Qwen 14B	14B	8.2GB	ollama run qwen:14b	Alibaba

运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存。

步骤 3：使用模型

如前所述，Ollama 支持通过各种各样的开源模型来完成不同的任务，下面就来看看怎么使用。

• 基于文本的模型：加载好文本模型后，就可以直接在命令行里输入文字开始与模型「对话」。例如，阿里的 Qwen（通义千问）：

• 基于图像的模型：如果你想使用图像处理模型，如 LLaVA 1.6，可以使用以下命令来加载该模型：

ollama run llava1.6

Ollama 会使用你选择的模型来分析这张图片，并给你一些结果，比如图片的内容和分类，图片是否有修改，或者其他的分析等等（取决于所使用的模型）。

步骤 4：连接到 Ollama API

我们不可能只通过命令行来使用，将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里，或者在 OpenAI Translator 和 NextChat 这类的前端工具中进行调用。

以下是如何连接和使用 Ollama API 的步骤：

• 默认地址和端口：Ollama API 的默认地址是http://localhost:11434，可以在安装 Ollama 的系统中直接调用。
• 修改 API 的侦听地址和端口：如果要在网络中提供服务，可以修改 API 的侦听地址和端口。

1右击点击任务栏图标，选择「Quit Ollama」退出后台运行。

2使用Windows + R快捷键打开「运行」对话框，输出以下命令，然后按Ctrl + Shift + Enter以管理员权限启动「环境变量」。

C:Windowssystem32rundll32.exe sysdm.cpl, EditEnvironmentVariables

3要更改侦听地址和端口，可以添加以下环境变量：

• 变量名：OLLAMA_HOST
• 变量值（端口）：:8000

只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000端口。

要使用 IPv6，需要 Ollama 0.0.20 或更新版本。

4如果安装了多个模型，可以通过OLLAMA_MODELS变量名来指定默认模型。

5更改完之后，重新运行 Ollama。然后在浏览器中测试访问，验证更改是否成功。

6示例 API 调用： 要使用 Ollama API，可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl命令给 Gemma 模型发送文字提示的例子：

curl http://192.168.100.10:8000/api/generate -d '{
"model": "gemma:7b",
"prompt": "天空为什么是蓝色的？"
}'

返回响应的格式，目前只支持 Json 格式。

Ollama 的常用命令有：

# 查看 Ollama 版本
ollama -v

# 查看已安装的模型
ollama list

# 删除指定模型
ollama rm [modelname]

# 模型存储路径
# C:Users\.ollamamodels

按照上述步骤，并参考命令示例，你可以在 Windows 上尽情体验 Ollama 的强大功能。不管是在命令行中直接下达指令，通过 API 将 AI 模型集成到你的软件当中，还是通过前端套壳，Ollama 的大门都已经为你敞开。

Ollama on Windows 的最佳实践

要让 Ollama 在 Windows 上充分发挥最大潜力，需要注意以下几点最佳实践和技巧，这将帮助你优化性能并解决一些常见问题：

Optimumkan prestasi Ollama:

• Semak Konfigurasi Perkakasan: Pastikan peranti anda memenuhi keperluan perkakasan yang disyorkan Ollama, terutamanya apabila menjalankan model besar. Jika anda mempunyai GPU NVIDIA, anda juga boleh menikmati pecutan perkakasan automatik yang disediakan oleh Ollama, yang sangat meningkatkan kelajuan pengkomputeran.
• Kemas kini Pemacu: Pastikan pemacu kad grafik anda dikemas kini untuk memastikan keserasian dan prestasi optimum dengan Ollama.
• Keluarkan sumber sistem: Apabila menjalankan model besar atau melaksanakan tugas yang rumit, sila tutup program yang tidak diperlukan untuk mengeluarkan sumber sistem.
• Pilih model yang betul: Pilih model yang betul berdasarkan keperluan tugas. Walaupun model parameter besar mungkin lebih tepat, mereka juga memerlukan kuasa pengkomputeran yang lebih tinggi. Untuk tugas mudah, lebih cekap menggunakan model parameter kecil.

Soalan Lazim Ollama

Masalah pemasangan

• Pastikan sistem Windows anda dikemas kini.
• Pastikan anda mempunyai kebenaran yang diperlukan untuk memasang perisian.
• Cuba jalankan pemasang sebagai pentadbir.

Ralat memuatkan model

• Periksa sama ada arahan yang dimasukkan adalah betul.
• Sahkan bahawa nama model sepadan dengan nama dalam perpustakaan model Ollama.
• Semak versi Ollama dan kemas kini.

Masalah sambungan API Ollama

• Pastikan Ollama sedang berjalan.
• Semak alamat pendengaran dan port, terutamanya jika port diduduki oleh aplikasi lain.

Dalam tutorial ini, kami mempelajari cara memasang dan menggunakan Ollama pada Windows, termasuk memasang Ollama, melaksanakan perintah asas, menggunakan perpustakaan model Ollama dan menyambung ke Ollama melalui API. Saya syorkan anda mendalami Ollama dan mencuba pelbagai model yang berbeza.

Ollama mempunyai potensi yang tidak terhad, dan dengan itu, anda boleh mencapai lebih banyak kemungkinan!

Atas ialah kandungan terperinci Windows pada Ollama: Alat baharu untuk menjalankan model bahasa besar (LLM) secara tempatan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!