Windows on Ollama: LLM(대형 언어 모델)을 로컬에서 실행하기 위한 새로운 도구

최근 OpenAI Translator와 NextChat은 Ollama에서 로컬로 실행되는 대규모 언어 모델을 지원하기 시작했으며, 이는 "초보자" 매니아를 위한 새로운 플레이 방식을 추가합니다.

그리고 Windows(미리보기 버전)에서 Ollama의 출시는 Windows 장치의 AI 개발 방식을 완전히 뒤바꾸었습니다. 이는 AI 분야의 탐험가와 일반 "수질 테스트 플레이어"에게 명확한 길을 안내했습니다.

올라마란 무엇인가요?

Ollama는 AI 모델의 개발 및 사용을 크게 단순화하는 획기적인 인공 지능(AI) 및 기계 학습(ML) 도구 플랫폼입니다.

기술 커뮤니티에서 AI 모델의 하드웨어 구성과 환경 구축은 항상 까다로운 문제였으며 Ollama는 이러한 중요한 요구 사항을 해결하기 위해 등장했습니다.

• 일련의 도구를 제공할 뿐만 아니라 더 중요한 것은 이러한 도구가 사용하기 매우 직관적이고 효율적이라는 것입니다. AI 분야의 전문가이든 이 분야를 처음 접하는 초보자이든 관계없이 다음에서 해당 지원을 찾을 수 있습니다. 올라마.
• Ollama는 단순한 사용 편의성 외에도 더 이상 소수의 사람에게만 국한되지 않는 고급 AI 모델 및 컴퓨팅 리소스에 대한 액세스를 제공합니다. AI 및 ML 커뮤니티에 있어서 Ollama의 탄생은 AI 기술의 대중화를 촉진하고 더 많은 사람들이 자신의 AI 아이디어를 시도하고 실천할 수 있게 하는 이정표입니다.

올라마가 눈에 띄는 이유는 무엇인가요?

많은 AI 도구 중에서 Ollama는 다음과 같은 주요 장점을 가지고 있습니다. 이러한 기능은 고유성을 강조할 뿐만 아니라 AI 개발자와 애호가가 직면하는 가장 일반적인 문제를 해결합니다.

• 자동 하드웨어 가속: Ollama는 Windows 시스템에서 최적의 하드웨어 리소스를 자동으로 식별하고 최대한 활용할 수 있습니다. AVX 및 AVX2와 같은 고급 명령어 세트를 지원하는 NVIDIA GPU 또는 CPU가 장착되어 있든 Ollama는 AI 모델이 보다 효율적으로 실행되도록 목표 최적화를 달성할 수 있습니다. 이를 통해 더 이상 복잡한 하드웨어 구성 문제에 대해 걱정할 필요가 없으며 프로젝트 자체에 더 많은 시간과 에너지를 집중할 수 있습니다.
• 가상화 필요 없음: AI를 개발할 때 가상 머신을 구축하거나 복잡한 소프트웨어 환경을 구성해야 하는 경우가 많았습니다. Ollama를 사용하면 이 모든 것이 더 이상 장애물이 아니며 AI 프로젝트 개발을 직접 시작할 수 있어 전체 프로세스가 간단하고 빨라집니다. 이러한 편리함은 AI 기술을 시도하려는 개인이나 조직의 진입 장벽을 낮춰줍니다.
• 전체 Ollama 모델 라이브러리에 대한 액세스: Ollama는 LLaVA 및 Google의 최신 Gemma 모델과 같은 고급 이미지 인식 모델을 포함하여 풍부한 AI 모델 라이브러리를 사용자에게 제공합니다. 이러한 포괄적인 "무기고"를 통해 우리는 통합을 직접 검색하는 데 시간과 노력을 들이지 않고도 다양한 오픈 소스 모델을 쉽게 시도하고 적용할 수 있습니다. 텍스트 분석, 이미지 처리 또는 기타 AI 작업을 수행하려는 경우 Ollama의 모델 라이브러리는 강력한 지원을 제공할 수 있습니다.
• Ollama의 상주 API: 오늘날 소프트웨어 상호 연결 시대에 AI 기능을 자체 애플리케이션에 통합하는 것은 매우 중요합니다. Ollama의 상주 API는 백그라운드에서 자동으로 실행되어 추가적인 복잡한 설정 없이도 강력한 AI 기능을 프로젝트에 원활하게 연결할 수 있어 이 프로세스를 크게 단순화합니다. 이를 통해 Ollama의 풍부한 AI 기능은 언제든지 준비되며 개발 프로세스에 자연스럽게 통합되어 작업 효율성을 더욱 향상시킬 수 있습니다.

Ollama는 이렇게 세심하게 설계된 기능을 통해 AI 개발의 일반적인 문제를 해결할 뿐만 아니라 더 많은 사람들이 고급 AI 기술에 쉽게 접근하고 적용할 수 있도록 하여 AI의 응용 가능성을 크게 확대합니다.

Windows에서 Ollama 사용하기

AI와 ML의 새로운 시대에 오신 것을 환영합니다! 다음으로, 시작하는 모든 단계를 안내하고 원활한 여행을 위해 몇 가지 실용적인 코드와 명령 예제도 제공하겠습니다.

1단계: 다운로드 및 설치

1Ollama Windows 미리보기 페이지를 방문하여 OllamaSetup.exe설치 프로그램을 다운로드하세요.

2 파일을 더블클릭하고 "설치"를 클릭하면 설치가 시작됩니다.

3설치가 완료되면 Windows에서 Ollama를 사용할 수 있습니다. 아주 간단하지 않나요?

2단계: Ollama 실행 및 모델 가져오기

Ollama를 시작하고 모델 라이브러리에서 오픈 소스 AI 모델을 얻으려면 다음 단계를 따르세요.

1 "시작" 메뉴에서 Ollama 아이콘을 클릭하세요. 실행 후 작업 표시줄 트레이에 아이콘이 남습니다.

2 작업 표시줄 아이콘을 마우스 오른쪽 버튼으로 클릭하고 "로그 보기"를 선택하여 명령줄 창을 엽니다.

3다음 명령을 실행하여 Ollama를 실행하고 모델을 로드합니다.

으아악

위 명령을 실행한 후 Ollama는 초기화를 시작하고 Ollama 모델 라이브러리에서 선택한 모델을 자동으로 가져와 로드합니다. 준비가 되면 지침을 보낼 수 있으며 선택한 모델을 사용하여 이해하고 응답합니다.

modelname 이름을 실행하려는 모델의 이름으로 바꾸십시오. 일반적으로 사용되는 이름은

입니다.

모델	매개변수	크기	설치 명령	출판 조직
라마 2	7B	3.8GB	ollama run llama2	메타
코드 라마	7B	3.8GB	ollama run codellama	메타
라마 2 13B	13B	7.3GB	ollama run llama2:13b	메타
라마 2 70B	70B	39GB	ollama run llama2:70b	메타
미스트랄	7B	4.1GB	ollama run mistral	미스트랄 AI
믹스트랄	8x7b	26GB	ollama run mixtral:8x7b	미스트랄 AI
파이-2	2.7B	1.7GB	ollama run phi	마이크로소프트 리서치
LLaVA	7B	4.5GB	ollama run llava	Microsoft Research 컬럼비아 대학교 위스콘신
젬마 2B	2B	1.4GB	ollama run gemma:2b	구글
젬마 7B	7B	4.8GB	ollama run gemma:7b	구글
큐웬 4B	4B	2.3GB	ollama run qwen:4b	알리바바
큐웬 7B	7B	4.5GB	ollama run qwen:7b	알리바바
큐웬 14B	14B	8.2GB	ollama run qwen:14b	알리바바

运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存。

步骤 3：使用模型

如前所述，Ollama 支持通过各种各样的开源模型来完成不同的任务，下面就来看看怎么使用。

• 基于文本的模型：加载好文本模型后，就可以直接在命令行里输入文字开始与模型「对话」。例如，阿里的 Qwen（通义千问）：

• 基于图像的模型：如果你想使用图像处理模型，如 LLaVA 1.6，可以使用以下命令来加载该模型：

ollama run llava1.6

Ollama 会使用你选择的模型来分析这张图片，并给你一些结果，比如图片的内容和分类，图片是否有修改，或者其他的分析等等（取决于所使用的模型）。

步骤 4：连接到 Ollama API

我们不可能只通过命令行来使用，将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里，或者在 OpenAI Translator 和 NextChat 这类的前端工具中进行调用。

以下是如何连接和使用 Ollama API 的步骤：

• 默认地址和端口：Ollama API 的默认地址是http://localhost:11434，可以在安装 Ollama 的系统中直接调用。
• 修改 API 的侦听地址和端口：如果要在网络中提供服务，可以修改 API 的侦听地址和端口。

1右击点击任务栏图标，选择「Quit Ollama」退出后台运行。

2使用Windows + R快捷键打开「运行」对话框，输出以下命令，然后按Ctrl + Shift + Enter以管理员权限启动「环境变量」。

C:Windowssystem32rundll32.exe sysdm.cpl, EditEnvironmentVariables

3要更改侦听地址和端口，可以添加以下环境变量：

• 变量名：OLLAMA_HOST
• 变量值（端口）：:8000

只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000端口。

要使用 IPv6，需要 Ollama 0.0.20 或更新版本。

4如果安装了多个模型，可以通过OLLAMA_MODELS变量名来指定默认模型。

5更改完之后，重新运行 Ollama。然后在浏览器中测试访问，验证更改是否成功。

6示例 API 调用： 要使用 Ollama API，可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl命令给 Gemma 模型发送文字提示的例子：

curl http://192.168.100.10:8000/api/generate -d '{
"model": "gemma:7b",
"prompt": "天空为什么是蓝色的？"
}'

返回响应的格式，目前只支持 Json 格式。

Ollama 的常用命令有：

# 查看 Ollama 版本
ollama -v

# 查看已安装的模型
ollama list

# 删除指定模型
ollama rm [modelname]

# 模型存储路径
# C:Users\.ollamamodels

按照上述步骤，并参考命令示例，你可以在 Windows 上尽情体验 Ollama 的强大功能。不管是在命令行中直接下达指令，通过 API 将 AI 模型集成到你的软件当中，还是通过前端套壳，Ollama 的大门都已经为你敞开。

Ollama on Windows 的最佳实践

要让 Ollama 在 Windows 上充分发挥最大潜力，需要注意以下几点最佳实践和技巧，这将帮助你优化性能并解决一些常见问题：

Ollama의 성능 최적화:

• 하드웨어 구성 확인: 특히 대형 모델을 실행할 때 장치가 Ollama의 권장 하드웨어 요구 사항을 충족하는지 확인하세요. NVIDIA GPU가 있는 경우 Ollama가 제공하는 자동 하드웨어 가속을 즐길 수도 있어 컴퓨팅 속도가 크게 향상됩니다.
• 드라이버 업데이트: Ollama와의 호환성과 최적의 성능을 보장하려면 그래픽 카드 드라이버를 최신 상태로 유지하세요.
• 시스템 리소스 해제: 대규모 모델을 실행하거나 복잡한 작업을 수행할 때는 불필요한 프로그램을 닫아 시스템 리소스를 해제하세요.
• 올바른 모델 선택: 작업 요구 사항에 따라 올바른 모델을 선택하세요. 대규모 매개변수 모델이 더 정확할 수 있지만 더 높은 컴퓨팅 성능도 필요합니다. 간단한 작업의 경우 작은 매개변수 모델을 사용하는 것이 더 효율적입니다.

올라마 FAQ

설치 문제

• Windows 시스템이 최신인지 확인하세요.
• 소프트웨어를 설치하는 데 필요한 권한이 있는지 확인하세요.
• 설치 프로그램을 관리자 권한으로 실행해 보세요.

모델 로딩 오류

• 입력한 명령어가 맞는지 확인해보세요.
• 모델명이 Ollama 모델 라이브러리의 이름과 일치하는지 확인하세요.
• Ollama 버전을 확인하고 업데이트하세요.

Ollama API 연결 문제

• Ollama가 실행 중인지 확인하세요.
• 수신 주소와 포트를 확인하세요. 특히 포트가 다른 애플리케이션에 의해 사용되고 있는 경우 더욱 그렇습니다.

이 튜토리얼에서는 Ollama 설치, 기본 명령 실행, Ollama 모델 라이브러리 사용, API를 통한 Ollama 연결 등 Windows에서 Ollama를 설치하고 사용하는 방법을 배웠습니다. 올라마(Ollama)에 대해 자세히 알아보고 다양한 모델을 시험해 보시기를 권합니다.

Ollama는 무한한 잠재력을 가지고 있으며 이를 통해 더 많은 가능성을 달성할 수 있습니다!

위 내용은 Windows on Ollama: LLM(대형 언어 모델)을 로컬에서 실행하기 위한 새로운 도구의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!