Erstellen Sie einen KI-Code-Review-Assistenten mit Vev, Litellm und Agenta

Dieses Tutorial zeigt den Aufbau eines produktionsbereiten KI-Pull-Request-Reviewers mithilfe von LLMOps-Best Practices. Die endgültige Bewerbung, die hier zugänglich ist, akzeptiert eine öffentliche PR-URL und gibt eine von der KI generierte Bewertung zurück.

Anwendungsübersicht

Dieses Tutorial behandelt:

• Codeentwicklung: PR-Unterschiede von GitHub abrufen und LiteLLM für die LLM-Interaktion nutzen.
• Beobachtbarkeit:Implementierung von Agenta zur Anwendungsüberwachung und zum Debuggen.
• Prompt Engineering: Iteration von Eingabeaufforderungen und Modellauswahl mithilfe von Agentas Spielplatz.
• LLM-Bewertung:Einsatz von LLM als Richter für eine schnelle und vorbildliche Beurteilung.
• Bereitstellung: Bereitstellung der Anwendung als API und Erstellung einer einfachen Benutzeroberfläche mit v0.dev.

Kernlogik

Der Arbeitsablauf des KI-Assistenten ist einfach: Bei gegebener PR-URL ruft er das Diff von GitHub ab und sendet es zur Überprüfung an ein LLM.

Der Zugriff auf GitHub-Diffs erfolgt über:

<code>https://patch-diff.githubusercontent.com/raw/{owner}/{repo}/pull/{pr_number}.diff</code>

Diese Python-Funktion ruft den Unterschied ab:

def get_pr_diff(pr_url):
    # ... (Code remains the same)
    return response.text

LiteLLM erleichtert LLM-Interaktionen und bietet eine konsistente Schnittstelle über verschiedene Anbieter hinweg.

prompt_system = """
You are an expert Python developer performing a file-by-file review of a pull request. You have access to the full diff of the file to understand the overall context and structure. However, focus on reviewing only the specific hunk provided.
"""

prompt_user = """
Here is the diff for the file:
{diff}

Please provide a critique of the changes made in this file.
"""

def generate_critique(pr_url: str):
    diff = get_pr_diff(pr_url)
    response = litellm.completion(
        model=config.model,
        messages=[
            {"content": config.system_prompt, "role": "system"},
            {"content": config.user_prompt.format(diff=diff), "role": "user"},
        ],
    )
    return response.choices[0].message.content

Observability mit Agenta implementieren

Agenta verbessert die Beobachtbarkeit, indem es Eingaben, Ausgaben und den Datenfluss verfolgt, um das Debuggen zu erleichtern.

Agenta initialisieren und LiteLLM-Rückrufe konfigurieren:

import agenta as ag

ag.init()
litellm.callbacks = [ag.callbacks.litellm_handler()]

Instrumentenfunktionen mit Agenta-Dekoratoren:

@ag.instrument()
def generate_critique(pr_url: str):
    # ... (Code remains the same)
    return response.choices[0].message.content

Legen Sie die Umgebungsvariable AGENTA_API_KEY fest (erhalten von Agenta) und optional AGENTA_HOST für Selbsthosting.

Einen LLM-Spielplatz schaffen

Agentas benutzerdefinierte Workflow-Funktion bietet einen IDE-ähnlichen Spielplatz für die iterative Entwicklung. Der folgende Codeausschnitt demonstriert die Konfiguration und Integration mit Agenta:

from pydantic import BaseModel, Field
from typing import Annotated
import agenta as ag
import litellm
from agenta.sdk.assets import supported_llm_models

# ... (previous code)

class Config(BaseModel):
    system_prompt: str = prompt_system
    user_prompt: str = prompt_user
    model: Annotated[str, ag.MultipleChoice(choices=supported_llm_models)] = Field(default="gpt-3.5-turbo")

@ag.route("/", config_schema=Config)
@ag.instrument()
def generate_critique(pr_url:str):
    diff = get_pr_diff(pr_url)
    config = ag.ConfigManager.get_from_route(schema=Config)
    response = litellm.completion(
        model=config.model,
        messages=[
            {"content": config.system_prompt, "role": "system"},
            {"content": config.user_prompt.format(diff=diff), "role": "user"},
        ],
    )
    return response.choices[0].message.content

Betreuung und Bewertung mit Agenta

1. Führen Sie agenta init aus und geben Sie dabei den App-Namen und den API-Schlüssel an.
2. Führen Sie agenta variant serve app.py aus.

Dadurch wird die Anwendung über den Spielplatz von Agenta für End-to-End-Tests zugänglich gemacht. Für die Bewertung wird das LLM-as-a-Judge-Studium verwendet. Die Evaluator-Eingabeaufforderung lautet:

<code>You are an evaluator grading the quality of a PR review.
CRITERIA: ... (criteria remain the same)
ANSWER ONLY THE SCORE. DO NOT USE MARKDOWN. DO NOT PROVIDE ANYTHING OTHER THAN THE NUMBER</code>

Die Benutzeraufforderung für den Bewerter:

<code>https://patch-diff.githubusercontent.com/raw/{owner}/{repo}/pull/{pr_number}.diff</code>

Bereitstellung und Frontend

Die Bereitstellung erfolgt über die Benutzeroberfläche von Agenta:

1. Navigieren Sie zur Übersichtsseite.
2. Klicken Sie auf die drei Punkte neben der gewählten Variante.
3. Wählen Sie „In der Produktion bereitstellen“ aus.

Für die schnelle Erstellung der Benutzeroberfläche wurde ein v0.dev-Frontend verwendet.

Nächste Schritte und Schlussfolgerung

Zukünftige Verbesserungen umfassen eine schnelle Verfeinerung, die Einbeziehung des vollständigen Codekontexts und die Handhabung großer Unterschiede. In diesem Tutorial wird erfolgreich das Erstellen, Bewerten und Bereitstellen eines produktionsbereiten KI-Pull-Request-Reviewers mit Agenta und LiteLLM demonstriert.

Das obige ist der detaillierte Inhalt vonErstellen Sie einen KI-Code-Review-Assistenten mit Vev, Litellm und Agenta. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!