如何创建由屏幕和麦克风驱动的人工智能代理
Screenpipe:用于 24/7 屏幕和麦克风录音、OCR、转录和 AI 集成的 CLI/应用程序
Screenpipe 是一个命令行界面 (CLI) 应用程序,可连续记录您的屏幕和麦克风活动、提取光学字符识别 (OCR) 数据、生成转录,并简化将此数据输入 AI 模型的过程。 其灵活的管道系统允许您创建功能强大的插件,与捕获的屏幕和音频信息进行交互。此示例演示了构建一个利用 Ollama 分析屏幕活动的简单管道。
先决条件:
- Screenpipe 已安装并正在运行。
- 小圆面包已安装 (
npm install -g bun
)。 - Ollama 安装了模型(本例中使用 DeepSeek-r1:1.5b)。
1。管道创建:
使用 CLI 创建一个新的 Screenpipe 管道:
bunx @screenpipe/create-pipe@latest
按照提示命名您的管道(例如“my-activity-analyzer”)并选择一个目录。
2。项目设置:
在您喜欢的编辑器(例如,光标、VS Code)中打开项目:
cursor my-activity-analyzer
初始项目结构将包含多个文件。 对于此示例,删除不必要的文件:
rm -rf src/app/api/intelligence src/components/obsidian-settings.tsx src/components/file-suggest-textarea.tsx
3。实施分析 Cron 作业:
使用以下代码创建src/app/api/analyze/route.ts
:
import { NextResponse } from "next/server"; import { pipe } from "@screenpipe/js"; import { streamText } from "ai"; import { ollama } from "ollama-ai-provider"; export async function POST(request: Request) { try { const { messages, model } = await request.json(); console.log("model:", model); const fiveMinutesAgo = new Date(Date.now() - 5 * 60 * 1000).toISOString(); const results = await pipe.queryScreenpipe({ startTime: fiveMinutesAgo, limit: 10, contentType: "all", }); const provider = ollama(model); const result = streamText({ model: provider, messages: [ ...messages, { role: "user", content: `Analyze this activity data and summarize what I've been doing: ${JSON.stringify(results)}`, }, ], }); return result.toDataStreamResponse(); } catch (error) { console.error("error:", error); return NextResponse.json({ error: "Failed to analyze activity" }, { status: 500 }); } }
4。 pipe.json
调度配置:
创建或修改 pipe.json
以包含 cron 作业:
{ "crons": [ { "path": "/api/analyze", "schedule": "*/5 * * * *" // Runs every 5 minutes } ] }
5。更新主页 (src/app/page.tsx
):
"use client"; import { useState } from "react"; import { Button } from "@/components/ui/button"; import { OllamaModelsList } from "@/components/ollama-models-list"; import { Label } from "@/components/ui/label"; import { useChat } from "ai/react"; export default function Home() { const [selectedModel, setSelectedModel] = useState("deepseek-r1:1.5b"); const { messages, input, handleInputChange, handleSubmit } = useChat({ body: { model: selectedModel }, api: "/api/analyze", }); return ( <main className="p-4 max-w-2xl mx-auto space-y-4"> <div className="space-y-2"> <label htmlFor="model">Ollama Model</label> <OllamaModelsList defaultValue={selectedModel} onChange={setSelectedModel} /> </div> <div> {messages.map((message) => ( <div key={message.id}> <div>{message.role === "user" ? "User: " : "AI: "}</div> <div>{message.content}</div> </div> ))} </div> </main> ); }
6。本地测试:
在本地运行管道:
bun i // or npm install bun dev
访问http://localhost:3000
应用程序。
7。屏管安装:
将管道安装到 Screenpipe 中:
- UI:打开 Screenpipe 应用程序,导航到“管道”部分,单击“”,然后提供管道的本地路径。
- CLI:
screenpipe install /path/to/my-activity-analyzer screenpipe enable my-activity-analyzer
登录后复制工作原理:
-
数据查询:
pipe.queryScreenpipe()
检索最近的屏幕和音频数据。 - 人工智能处理:Ollama 使用提示分析数据。
- UI:简单的界面显示分析结果。
- 调度: Screenpipe 的 cron 作业每 5 分钟执行一次分析。
后续步骤:
- 添加配置选项。
- 与外部服务集成。
- 实现更复杂的 UI 组件。
参考文献:
- Screenpipe 文档。
- Screenpipe 管道示例。
- Screenpipe SDK 参考。
以上是如何创建由屏幕和麦克风驱动的人工智能代理的详细内容。更多信息请关注PHP中文网其他相关文章!
-
数据查询:

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

Python更适合初学者,学习曲线平缓,语法简洁;JavaScript适合前端开发,学习曲线较陡,语法灵活。1.Python语法直观,适用于数据科学和后端开发。2.JavaScript灵活,广泛用于前端和服务器端编程。

从C/C 转向JavaScript需要适应动态类型、垃圾回收和异步编程等特点。1)C/C 是静态类型语言,需手动管理内存,而JavaScript是动态类型,垃圾回收自动处理。2)C/C 需编译成机器码,JavaScript则为解释型语言。3)JavaScript引入闭包、原型链和Promise等概念,增强了灵活性和异步编程能力。

JavaScript在Web开发中的主要用途包括客户端交互、表单验证和异步通信。1)通过DOM操作实现动态内容更新和用户交互;2)在用户提交数据前进行客户端验证,提高用户体验;3)通过AJAX技术实现与服务器的无刷新通信。

JavaScript在现实世界中的应用包括前端和后端开发。1)通过构建TODO列表应用展示前端应用,涉及DOM操作和事件处理。2)通过Node.js和Express构建RESTfulAPI展示后端应用。

理解JavaScript引擎内部工作原理对开发者重要,因为它能帮助编写更高效的代码并理解性能瓶颈和优化策略。1)引擎的工作流程包括解析、编译和执行三个阶段;2)执行过程中,引擎会进行动态优化,如内联缓存和隐藏类;3)最佳实践包括避免全局变量、优化循环、使用const和let,以及避免过度使用闭包。

Python和JavaScript在社区、库和资源方面的对比各有优劣。1)Python社区友好,适合初学者,但前端开发资源不如JavaScript丰富。2)Python在数据科学和机器学习库方面强大,JavaScript则在前端开发库和框架上更胜一筹。3)两者的学习资源都丰富,但Python适合从官方文档开始,JavaScript则以MDNWebDocs为佳。选择应基于项目需求和个人兴趣。

Python和JavaScript在开发环境上的选择都很重要。1)Python的开发环境包括PyCharm、JupyterNotebook和Anaconda,适合数据科学和快速原型开发。2)JavaScript的开发环境包括Node.js、VSCode和Webpack,适用于前端和后端开发。根据项目需求选择合适的工具可以提高开发效率和项目成功率。

C和C 在JavaScript引擎中扮演了至关重要的角色,主要用于实现解释器和JIT编译器。 1)C 用于解析JavaScript源码并生成抽象语法树。 2)C 负责生成和执行字节码。 3)C 实现JIT编译器,在运行时优化和编译热点代码,显着提高JavaScript的执行效率。
