我用作来源的博客:
https://dev.to/devopspass-ai/workshop-make-your-first-ai-app-in-a-few-clicks-with-pythonollamallama3-31ib
发现 DevOps Pass AI 关于使用 Ollama 构建 AI 应用程序的指南后,我决定探索它的工作原理并记录我的问题和学习过程。这是我在构建第一个 AI 聊天应用程序时发现的内容。
我最初的问题
当我第一次阅读教程时,我想到了几个问题:
让我们回顾一下我在探索每个方面时学到的东西。
了解本地 AI 设置
我注意到的第一个有趣的事情是通过 Ollama 使用本地人工智能。经过询问和测试,我发现了一些主要优点:
设置过程很简单:(Bash)
ollama 发球
llama 拉 llama3
我最初担心 4.7GB 模型大小,但在我的连接上下载速度很快,即使在我的普通开发机器上也能顺利运行。
探索聊天应用程序
最有趣的部分是聊天应用程序是多么简单但功能强大。让我们来分解一下我对每个组件的了解:
聊天记录管理
我特别好奇聊天记录是如何运作的。该代码使用了一种巧妙的方法:(python)
file_path = sys.argv[1] '.json'
if os.path.exists(file_path):
with open(file_path, 'r') as f:
messages = json.load(f)
这意味着每个聊天会话都维护自己的历史文件。我通过启动多个对话来测试这一点:(Bash)
python app1.pycoding_help
python app1.py devops_queries
bash复制python app1.pycoding_help
python app1.py devops_queries
每个人都创建了自己的 JSON 文件,使对话保持独立且持久。
AI 响应处理
引起我注意的一件事是流响应实现:
pythonCopystream = ollama.chat(
model='llama3',
消息=消息,
流=真,
)
对于流中的块:
print(chunk['message']['content'], end='',lush=True)
这给对话带来了更自然的感觉,因为响应像人类打字一样逐渐出现,而不是一次性全部出现。
测试不同的用例
我尝试了各种类型的问题来了解模型的功能:
技术问题
复制>>如何设置 Kubernetes 监控?
回复详细且技术准确。
代码生成
复制>>编写一个Python函数来监控CPU使用率
它提供了工作代码示例和解释。
上下文对话
复制>>最佳实践是什么?
该模型有效地保留了之前问题的上下文。
我对性能的了解
关于本地运行人工智能的一些有趣的观察:
启动后第一次响应稍慢(模型预热)
后续回复很快
响应质量与许多基于云的服务相匹配
无需担心节流或速率限制
我还有疑问
构建并测试应用程序后,我很好奇:
如何针对特定用例微调模型?
我们可以优化模型以获得更快的响应吗?
处理错误或意外响应的最佳方法是什么?
结论:值得构建吗?
尝试此设置后,我想说如果您满足以下条件,那么绝对值得尝试:
想要了解 AI 集成
需要注重隐私的人工智能解决方案
对构建自定义 AI 工具感兴趣
希望避免 AI 服务的 API 成本
学习曲线出奇的平缓,对于本地设置来说结果令人印象深刻。
社区问题
还有其他人构建过类似的本地人工智能应用程序吗?
您还尝试过 Ollama 的其他哪些款式?
您如何处理 AI 应用程序中的错误情况?
请在评论中告诉我 - 我特别有兴趣了解不同的用例和改进!
以上是制作我的第一个 AI 聊天应用程序:从 DevOps 学习通过 AI 与 Ollama 集成的详细内容。更多信息请关注PHP中文网其他相关文章!