


So erstellen Sie einen KI-Agenten, der über Ihren Bildschirm und Ihr Mikrofon gesteuert wird
Screenpipe: Eine CLI/App für Bildschirm- und Mikrofonaufzeichnung rund um die Uhr, OCR, Transkription und KI-Integration
Screenpipe ist eine Befehlszeilenschnittstellenanwendung (CLI), die kontinuierlich Ihre Bildschirm- und Mikrofonaktivität aufzeichnet, OCR-Daten (Optical Character Recognition) extrahiert, Transkriptionen generiert und den Prozess der Einspeisung dieser Daten in KI-Modelle vereinfacht. Dank seines flexiblen Pipe-Systems können Sie leistungsstarke Plugins erstellen, die mit erfassten Bildschirm- und Audioinformationen interagieren. Dieses Beispiel zeigt den Aufbau einer einfachen Pipe, die Ollama nutzt, um die Bildschirmaktivität zu analysieren.
Voraussetzungen:
- Screenpipe installiert und läuft.
- Brötchen installiert (
npm install -g bun
). - Ollama mit einem Modell installiert (DeepSeek-r1:1.5b wird in diesem Beispiel verwendet).
1. Rohrerstellung:
Erstellen Sie eine neue Screenpipe-Pipe mit der CLI:
bunx @screenpipe/create-pipe@latest
Folgen Sie den Anweisungen, um Ihrer Pipe einen Namen zu geben (z. B. „mein-Aktivitätsanalysator“) und wählen Sie ein Verzeichnis aus.
2. Projekt-Setup:
Öffnen Sie das Projekt in Ihrem bevorzugten Editor (z. B. Cursor, VS-Code):
cursor my-activity-analyzer
Die anfängliche Projektstruktur umfasst mehrere Dateien. Entfernen Sie für dieses Beispiel unnötige Dateien:
rm -rf src/app/api/intelligence src/components/obsidian-settings.tsx src/components/file-suggest-textarea.tsx
3. Implementierung des Analyse-Cron-Jobs:
Erstellen Sie src/app/api/analyze/route.ts
mit dem folgenden Code:
import { NextResponse } from "next/server"; import { pipe } from "@screenpipe/js"; import { streamText } from "ai"; import { ollama } from "ollama-ai-provider"; export async function POST(request: Request) { try { const { messages, model } = await request.json(); console.log("model:", model); const fiveMinutesAgo = new Date(Date.now() - 5 * 60 * 1000).toISOString(); const results = await pipe.queryScreenpipe({ startTime: fiveMinutesAgo, limit: 10, contentType: "all", }); const provider = ollama(model); const result = streamText({ model: provider, messages: [ ...messages, { role: "user", content: `Analyze this activity data and summarize what I've been doing: ${JSON.stringify(results)}`, }, ], }); return result.toDataStreamResponse(); } catch (error) { console.error("error:", error); return NextResponse.json({ error: "Failed to analyze activity" }, { status: 500 }); } }
4. pipe.json
Konfiguration für die Terminplanung:
Erstellen oder ändern Sie pipe.json
, um den Cron-Job einzuschließen:
{ "crons": [ { "path": "/api/analyze", "schedule": "*/5 * * * *" // Runs every 5 minutes } ] }
5. Aktualisieren der Hauptseite (src/app/page.tsx
):
"use client"; import { useState } from "react"; import { Button } from "@/components/ui/button"; import { OllamaModelsList } from "@/components/ollama-models-list"; import { Label } from "@/components/ui/label"; import { useChat } from "ai/react"; export default function Home() { const [selectedModel, setSelectedModel] = useState("deepseek-r1:1.5b"); const { messages, input, handleInputChange, handleSubmit } = useChat({ body: { model: selectedModel }, api: "/api/analyze", }); return ( <main className="p-4 max-w-2xl mx-auto space-y-4"> <div className="space-y-2"> <label htmlFor="model">Ollama Model</label> <OllamaModelsList defaultValue={selectedModel} onChange={setSelectedModel} /> </div> <div> {messages.map((message) => ( <div key={message.id}> <div>{message.role === "user" ? "User: " : "AI: "}</div> <div>{message.content}</div> </div> ))} </div> </main> ); }
6. Lokale Tests:
Führen Sie die Pipe lokal aus:
bun i // or npm install bun dev
Zur Anwendung gelangen Sie unter http://localhost:3000
.
7. Installation des Siebrohrs:
Installieren Sie das Rohr in Screenpipe:
- Benutzeroberfläche: Öffnen Sie die Screenpipe-App, navigieren Sie zum Abschnitt „Pipes“, klicken Sie auf „ “ und geben Sie den lokalen Pfad zu Ihrer Pipe an.
- CLI:
screenpipe install /path/to/my-activity-analyzer screenpipe enable my-activity-analyzer
Nach dem Login kopierenWie es funktioniert:
-
Datenabfrage:
pipe.queryScreenpipe()
ruft aktuelle Bildschirm- und Audiodaten ab. - KI-Verarbeitung:Ollama analysiert die Daten anhand einer Eingabeaufforderung.
- Benutzeroberfläche:Eine einfache Benutzeroberfläche zeigt die Analyseergebnisse an.
- Planung: Der Cronjob von Screenpipe führt die Analyse alle 5 Minuten aus.
Nächste Schritte:
- Konfigurationsoptionen hinzufügen.
- In externe Dienste integrieren.
- Implementieren Sie anspruchsvollere UI-Komponenten.
Referenzen:
- Screenpipe-Dokumentation.
- Beispiel Screenpipe-Rohre.
- Screenpipe SDK-Referenz.
Das obige ist der detaillierte Inhalt vonSo erstellen Sie einen KI-Agenten, der über Ihren Bildschirm und Ihr Mikrofon gesteuert wird. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
-
Datenabfrage:

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen











Unterschiedliche JavaScript -Motoren haben unterschiedliche Auswirkungen beim Analysieren und Ausführen von JavaScript -Code, da sich die Implementierungsprinzipien und Optimierungsstrategien jeder Engine unterscheiden. 1. Lexikalanalyse: Quellcode in die lexikalische Einheit umwandeln. 2. Grammatikanalyse: Erzeugen Sie einen abstrakten Syntaxbaum. 3. Optimierung und Kompilierung: Generieren Sie den Maschinencode über den JIT -Compiler. 4. Führen Sie aus: Führen Sie den Maschinencode aus. V8 Engine optimiert durch sofortige Kompilierung und versteckte Klasse.

Python eignet sich besser für Anfänger mit einer reibungslosen Lernkurve und einer kurzen Syntax. JavaScript ist für die Front-End-Entwicklung mit einer steilen Lernkurve und einer flexiblen Syntax geeignet. 1. Python-Syntax ist intuitiv und für die Entwicklung von Datenwissenschaften und Back-End-Entwicklung geeignet. 2. JavaScript ist flexibel und in Front-End- und serverseitiger Programmierung weit verbreitet.

Die Verschiebung von C/C zu JavaScript erfordert die Anpassung an dynamische Typisierung, Müllsammlung und asynchrone Programmierung. 1) C/C ist eine statisch typisierte Sprache, die eine manuelle Speicherverwaltung erfordert, während JavaScript dynamisch eingegeben und die Müllsammlung automatisch verarbeitet wird. 2) C/C muss in den Maschinencode kompiliert werden, während JavaScript eine interpretierte Sprache ist. 3) JavaScript führt Konzepte wie Verschlüsse, Prototypketten und Versprechen ein, die die Flexibilität und asynchrone Programmierfunktionen verbessern.

Zu den Hauptanwendungen von JavaScript in der Webentwicklung gehören die Interaktion der Clients, die Formüberprüfung und die asynchrone Kommunikation. 1) Dynamisches Inhaltsaktualisierung und Benutzerinteraktion durch DOM -Operationen; 2) Die Kundenüberprüfung erfolgt vor dem Einreichung von Daten, um die Benutzererfahrung zu verbessern. 3) Die Aktualisierung der Kommunikation mit dem Server wird durch AJAX -Technologie erreicht.

Die Anwendung von JavaScript in der realen Welt umfasst Front-End- und Back-End-Entwicklung. 1) Zeigen Sie Front-End-Anwendungen an, indem Sie eine TODO-Listanwendung erstellen, die DOM-Operationen und Ereignisverarbeitung umfasst. 2) Erstellen Sie RESTFUFFUPI über Node.js und express, um Back-End-Anwendungen zu demonstrieren.

Es ist für Entwickler wichtig, zu verstehen, wie die JavaScript -Engine intern funktioniert, da sie effizientere Code schreibt und Leistungs Engpässe und Optimierungsstrategien verstehen kann. 1) Der Workflow der Engine umfasst drei Phasen: Parsen, Kompilieren und Ausführung; 2) Während des Ausführungsprozesses führt die Engine dynamische Optimierung durch, wie z. B. Inline -Cache und versteckte Klassen. 3) Zu Best Practices gehören die Vermeidung globaler Variablen, die Optimierung von Schleifen, die Verwendung von const und lass und die Vermeidung übermäßiger Verwendung von Schließungen.

Python und JavaScript haben ihre eigenen Vor- und Nachteile in Bezug auf Gemeinschaft, Bibliotheken und Ressourcen. 1) Die Python-Community ist freundlich und für Anfänger geeignet, aber die Front-End-Entwicklungsressourcen sind nicht so reich wie JavaScript. 2) Python ist leistungsstark in Bibliotheken für Datenwissenschaft und maschinelles Lernen, während JavaScript in Bibliotheken und Front-End-Entwicklungsbibliotheken und Frameworks besser ist. 3) Beide haben reichhaltige Lernressourcen, aber Python eignet sich zum Beginn der offiziellen Dokumente, während JavaScript mit Mdnwebdocs besser ist. Die Wahl sollte auf Projektbedürfnissen und persönlichen Interessen beruhen.

Sowohl Python als auch JavaScripts Entscheidungen in Entwicklungsumgebungen sind wichtig. 1) Die Entwicklungsumgebung von Python umfasst Pycharm, Jupyternotebook und Anaconda, die für Datenwissenschaft und schnelles Prototyping geeignet sind. 2) Die Entwicklungsumgebung von JavaScript umfasst Node.JS, VSCODE und WebPack, die für die Entwicklung von Front-End- und Back-End-Entwicklung geeignet sind. Durch die Auswahl der richtigen Tools nach den Projektbedürfnissen kann die Entwicklung der Entwicklung und die Erfolgsquote der Projekte verbessert werden.
