Windows auf Ollama: Ein neues Tool zum lokalen Ausführen großer Sprachmodelle (LLM).

Vor kurzem haben sowohl OpenAI Translator als auch NextChat damit begonnen, umfangreiche Sprachmodelle zu unterstützen, die lokal in Ollama ausgeführt werden, was eine neue Spielweise für „Neulinge“-Enthusiasten bietet.

Und die Einführung von Ollama unter Windows (Vorschauversion) hat die Art und Weise der KI-Entwicklung auf Windows-Geräten völlig untergraben. Es hat Forschern im KI-Bereich und gewöhnlichen „Wassertestspielern“ einen klaren Weg gewiesen.

Was ist Ollama?

Ollama ist eine bahnbrechende Toolplattform für künstliche Intelligenz (KI) und maschinelles Lernen (ML), die die Entwicklung und Verwendung von KI-Modellen erheblich vereinfacht.

In der technischen Gemeinschaft waren die Hardwarekonfiguration und die Umgebungskonstruktion von KI-Modellen schon immer ein heikles Problem, und Ollama ist entstanden, um solche kritischen Anforderungen zu lösen:

• Es bietet nicht nur eine Reihe von Tools, sondern, was noch wichtiger ist, diese Tools sind sehr intuitiv und effizient zu verwenden. Egal, ob Sie ein Profi auf dem Gebiet der KI sind oder ein Neuling in diesem Bereich, Sie finden entsprechende Unterstützung auf Ollama.
• Ollama ist nicht nur benutzerfreundlich, sondern ermöglicht auch den Zugriff auf fortschrittliche KI-Modelle und Computerressourcen, die nicht mehr nur wenigen Personen vorbehalten sind. Für die KI- und ML-Community ist die Geburt von Ollama ein Meilenstein. Sie fördert die Popularisierung der KI-Technologie und ermöglicht es mehr Menschen, ihre eigenen KI-Ideen auszuprobieren und umzusetzen.

Warum zeichnet sich Ollama aus?

Unter vielen KI-Tools zeichnet sich Ollama durch die folgenden Hauptvorteile aus. Diese Funktionen unterstreichen nicht nur seine Einzigartigkeit, sondern lösen auch die häufigsten Probleme, mit denen KI-Entwickler und -Enthusiasten konfrontiert sind:

• Automatische Hardwarebeschleunigung: Ollama kann die optimalen Hardwareressourcen in Windows-Systemen automatisch identifizieren und vollständig nutzen. Unabhängig davon, ob Sie mit einer NVIDIA-GPU oder einer CPU ausgestattet sind, die erweiterte Befehlssätze wie AVX und AVX2 unterstützt, kann Ollama eine gezielte Optimierung erreichen, um sicherzustellen, dass das KI-Modell effizienter läuft. Damit müssen Sie sich nicht mehr um komplexe Hardware-Konfigurationsprobleme kümmern und können mehr Zeit und Energie auf das Projekt selbst konzentrieren.
• Keine Virtualisierung erforderlich: Bei der Entwicklung von KI war es oft notwendig, eine virtuelle Maschine zu erstellen oder eine komplexe Softwareumgebung zu konfigurieren. Mit Ollama stellt all dies kein Hindernis mehr dar. Sie können direkt mit der Entwicklung von KI-Projekten beginnen, wodurch der gesamte Prozess einfach und schnell erfolgt. Dieser Komfort senkt die Eintrittsbarrieren für Einzelpersonen oder Organisationen, die KI-Technologie ausprobieren möchten.
• Zugriff auf die komplette Ollama-Modellbibliothek: Ollama bietet Benutzern eine umfangreiche KI-Modellbibliothek, einschließlich fortschrittlicher Bilderkennungsmodelle wie LLaVA und Googles neuestem Gemma-Modell. Mit einem solch umfassenden „Arsenal“ können wir problemlos verschiedene Open-Source-Modelle ausprobieren und anwenden, ohne selbst Zeit und Mühe mit der Suche nach Integrationen verbringen zu müssen. Egal, ob Sie Textanalysen, Bildverarbeitungen oder andere KI-Aufgaben durchführen möchten, die Modellbibliothek von Ollama kann Sie dabei tatkräftig unterstützen.
• Ollamas residente API: Im heutigen Zeitalter der Software-Vernetzung ist die Integration von KI-Funktionen in Ihre eigenen Anwendungen äußerst wertvoll. Die residente API von Ollama vereinfacht diesen Prozess erheblich, da sie unbemerkt im Hintergrund läuft und leistungsstarke KI-Funktionen nahtlos mit Ihrem Projekt verbinden kann, ohne dass eine zusätzliche komplizierte Einrichtung erforderlich ist. Damit sind die umfangreichen KI-Funktionen von Ollama jederzeit einsatzbereit und können auf natürliche Weise in Ihren Entwicklungsprozess integriert werden, um die Arbeitseffizienz weiter zu verbessern.

Durch diese sorgfältig entwickelten Funktionen löst Ollama nicht nur häufige Probleme bei der KI-Entwicklung, sondern ermöglicht auch mehr Menschen den einfachen Zugriff auf fortschrittliche KI-Technologie und deren Anwendung, wodurch sich die Anwendungsaussichten von KI erheblich erweitern.

Ollama unter Windows verwenden

Willkommen in der neuen Ära von KI und ML! Als Nächstes führen wir Sie durch alle Schritte des Einstiegs und stellen Ihnen außerdem einige praktische Code- und Befehlsbeispiele zur Verfügung, um sicherzustellen, dass Ihre Reise reibungslos verläuft.

Schritt 1: Herunterladen und installieren

1Besuchen Sie die Ollama Windows-Vorschauseite und laden Sie den OllamaSetup.exeInstaller herunter.

2 Doppelklicken Sie auf die Datei und klicken Sie auf „Installieren“, um die Installation zu starten.

3Nachdem die Installation abgeschlossen ist, können Sie Ollama unter Windows verwenden. Ist das nicht ganz einfach?

Schritt 2: Starten Sie Ollama und holen Sie sich das Modell

Um Ollama zu starten und ein Open-Source-KI-Modell aus der Modellbibliothek zu erhalten, führen Sie die folgenden Schritte aus:

1 Klicken Sie auf das Ollama-Symbol im „Start“-Menü. Nach dem Ausführen verbleibt ein Symbol in der Taskleiste.

2 Klicken Sie mit der rechten Maustaste auf das Taskleistensymbol und wählen Sie „Protokoll anzeigen“, um das Befehlszeilenfenster zu öffnen.

3Führen Sie den folgenden Befehl aus, um Ollama auszuführen und das Modell zu laden:

ollama run [modelname]

Nachdem der obige Befehl ausgeführt wurde, beginnt Ollama mit der Initialisierung und zieht und lädt automatisch das ausgewählte Modell aus der Ollama-Modellbibliothek. Sobald es fertig ist, können Sie ihm Anweisungen senden und es wird das ausgewählte Modell verstehen und darauf reagieren.

Denken Sie daran, den Namen modelname durch den Namen des Modells zu ersetzen, das Sie ausführen möchten:

Modell	Parameter	Größe	Installationsbefehl	Verlagsorganisation
Lama 2	7B	3,8 GB	ollama run llama2	Meta
Code Lama	7B	3,8 GB	ollama run codellama	Meta
Lama 2 13B	13B	7,3 GB	ollama run llama2:13b	Meta
Lama 2 70B	70B	39GB	ollama run llama2:70b	Meta
Mistral	7B	4,1 GB	ollama run mistral	Mistral AI
mixtral	8x7b	26GB	ollama run mixtral:8x7b	Mistral AI
Phi-2	2,7B	1,7 GB	ollama run phi	Microsoft Research
LLaVA	7B	4,5 GB	ollama run llava	Microsoft Research Columbia University Wisconsin
Gemma 2B	2B	1,4 GB	ollama run gemma:2b	Google
Gemma 7B	7B	4,8 GB	ollama run gemma:7b	Google
Qwen 4B	4B	2,3 GB	ollama run qwen:4b	Alibaba
Qwen 7B	7B	4,5 GB	ollama run qwen:7b	Alibaba
Qwen 14B	14B	8,2 GB	ollama run qwen:14b	Alibaba

运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存。

步骤 3：使用模型

如前所述，Ollama 支持通过各种各样的开源模型来完成不同的任务，下面就来看看怎么使用。

• 基于文本的模型：加载好文本模型后，就可以直接在命令行里输入文字开始与模型「对话」。例如，阿里的 Qwen（通义千问）：

• 基于图像的模型：如果你想使用图像处理模型，如 LLaVA 1.6，可以使用以下命令来加载该模型：

ollama run llava1.6

Ollama 会使用你选择的模型来分析这张图片，并给你一些结果，比如图片的内容和分类，图片是否有修改，或者其他的分析等等（取决于所使用的模型）。

步骤 4：连接到 Ollama API

我们不可能只通过命令行来使用，将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里，或者在 OpenAI Translator 和 NextChat 这类的前端工具中进行调用。

以下是如何连接和使用 Ollama API 的步骤：

• 默认地址和端口：Ollama API 的默认地址是http://localhost:11434，可以在安装 Ollama 的系统中直接调用。
• 修改 API 的侦听地址和端口：如果要在网络中提供服务，可以修改 API 的侦听地址和端口。

1右击点击任务栏图标，选择「Quit Ollama」退出后台运行。

2使用Windows + R快捷键打开「运行」对话框，输出以下命令，然后按Ctrl + Shift + Enter以管理员权限启动「环境变量」。

C:Windowssystem32rundll32.exe sysdm.cpl, EditEnvironmentVariables

3要更改侦听地址和端口，可以添加以下环境变量：

• 变量名：OLLAMA_HOST
• 变量值（端口）：:8000

只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000端口。

要使用 IPv6，需要 Ollama 0.0.20 或更新版本。

4如果安装了多个模型，可以通过OLLAMA_MODELS变量名来指定默认模型。

5更改完之后，重新运行 Ollama。然后在浏览器中测试访问，验证更改是否成功。

6示例 API 调用： 要使用 Ollama API，可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl命令给 Gemma 模型发送文字提示的例子：

curl http://192.168.100.10:8000/api/generate -d '{
"model": "gemma:7b",
"prompt": "天空为什么是蓝色的？"
}'

返回响应的格式，目前只支持 Json 格式。

Ollama 的常用命令有：

# 查看 Ollama 版本
ollama -v

# 查看已安装的模型
ollama list

# 删除指定模型
ollama rm [modelname]

# 模型存储路径
# C:Users\.ollamamodels

按照上述步骤，并参考命令示例，你可以在 Windows 上尽情体验 Ollama 的强大功能。不管是在命令行中直接下达指令，通过 API 将 AI 模型集成到你的软件当中，还是通过前端套壳，Ollama 的大门都已经为你敞开。

Ollama on Windows 的最佳实践

要让 Ollama 在 Windows 上充分发挥最大潜力，需要注意以下几点最佳实践和技巧，这将帮助你优化性能并解决一些常见问题：

Ollama-Leistung optimieren:

• Überprüfen Sie die Hardwarekonfiguration: Stellen Sie sicher, dass Ihr Gerät die von Ollama empfohlenen Hardwareanforderungen erfüllt, insbesondere wenn Sie große Modelle verwenden. Wenn Sie über eine NVIDIA-GPU verfügen, können Sie auch die automatische Hardwarebeschleunigung von Ollama nutzen, die die Rechengeschwindigkeit erheblich verbessert.
• Treiber aktualisieren: Halten Sie Ihre Grafikkartentreiber auf dem neuesten Stand, um Kompatibilität und optimale Leistung mit Ollama sicherzustellen.
• Systemressourcen freigeben: Wenn Sie große Modelle ausführen oder komplexe Aufgaben ausführen, schließen Sie bitte nicht benötigte Programme, um Systemressourcen freizugeben.
• Wählen Sie das richtige Modell: Wählen Sie das richtige Modell basierend auf den Aufgabenanforderungen. Obwohl Modelle mit großen Parametern möglicherweise genauer sind, erfordern sie auch eine höhere Rechenleistung. Für einfache Aufgaben ist es effizienter, kleine Parametermodelle zu verwenden.

Ollama-FAQ

Installationsprobleme

• Stellen Sie sicher, dass Ihr Windows-System auf dem neuesten Stand ist.
• Stellen Sie sicher, dass Sie über die erforderlichen Berechtigungen zur Installation der Software verfügen.
• Versuchen Sie, das Installationsprogramm als Administrator auszuführen.

Fehler beim Laden des Modells

• Überprüfen Sie, ob der eingegebene Befehl korrekt ist.
• Bestätigen Sie, dass der Modellname mit dem Namen in der Ollama-Modellbibliothek übereinstimmt.
• Überprüfen Sie die Ollama-Version und aktualisieren Sie sie.

Ollama API-Verbindungsproblem

• Stellen Sie sicher, dass Ollama läuft.
• Überprüfen Sie die Abhöradresse und den Port, insbesondere wenn der Port von anderen Anwendungen belegt ist.

In diesem Tutorial haben wir gelernt, wie man Ollama unter Windows installiert und verwendet, einschließlich der Installation von Ollama, der Ausführung grundlegender Befehle, der Verwendung der Ollama-Modellbibliothek und der Verbindung mit Ollama über die API. Ich empfehle Ihnen, sich mit Ollama auseinanderzusetzen und verschiedene Modelle auszuprobieren.

Ollama hat unbegrenztes Potenzial und damit können Sie mehr Möglichkeiten erreichen!

Das obige ist der detaillierte Inhalt vonWindows auf Ollama: Ein neues Tool zum lokalen Ausführen großer Sprachmodelle (LLM).. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!