Avec la publication du SDK de l'agent d'OpenAI, les développeurs ont désormais un outil puissant pour construire des systèmes intelligents. Une caractéristique cruciale qui se démarque est les garde-corps, qui aident à maintenir l'intégrité du système en filtrant les demandes indésirables. Cette fonctionnalité est particulièrement utile dans les contextes éducatifs, où la distinction entre un véritable soutien de l'apprentissage et les tentatives de contournement de l'éthique académique peut être difficile.
Dans cet article, je vais démontrer un cas d'utilisation pratique et percutant de garde-corps chez un assistant de soutien éducatif. En tirant parti des garde-corps, j'ai réussi à bloquer les demandes d'aide aux devoirs inappropriées tout en garantissant de véritables questions d'apprentissage conceptuel efficacement.
Cet article a été publié dans le cadre du Blogathon de la science des données.
Un agent est un système qui accomplit intelligemment les tâches en combinant diverses capacités comme le raisonnement, la prise de décision et l'interaction environnementale. Le nouvel agent d'OpenAI, SDK, permet aux développeurs de construire ces systèmes avec facilité, en tirant sur le fait des dernières avancées dans les modèles de grand langage (LLM) et des outils d'intégration robustes.
Le SDK de l'agent d'Openai fournit des outils essentiels pour construire, surveiller et améliorer les agents de l'IA dans les domaines clés:
Les garde-corps sont conçus pour détecter et arrêter les comportements indésirables chez les agents conversationnels. Ils opèrent en deux étapes clés:
Les deux gardiens utilisent TripWires, qui déclenchent une exception lorsque le comportement indésirable est détecté, arrêtant instantanément l'exécution de l'agent.
Un assistant de soutien à l'éducation devrait favoriser l'apprentissage tout en empêchant une mauvaise utilisation pour les réponses directes sur les devoirs. Cependant, les utilisateurs peuvent intelligemment déguiser les demandes de devoirs, ce qui rend la détection délicate. La mise en œuvre des gardiens d'entrée avec des règles de détection robustes garantit que l'assistant encourage la compréhension sans activer les raccourcis.
Le garde-corps exploite des règles de détection strictes et une heuristique intelligente pour identifier le comportement indésirable.
Le garde-corps suit ces règles de base:
(Si vous exécutez cela, assurez-vous de définir la variable theopenai_api_keyenvironment):
Pour classer les requêtes mathématiques, nous définissons les cours d'énumération pour les types de sujets et les niveaux de complexité. Ces classes aident à structurer le système de classification.
à partir de l'énumération de l'énumération
Classe MathtopicType (Str, Enum):
Arithmétique = "arithmétique"
Algèbre = "algèbre"
Géométrie = "géométrie"
Calcul = "calcul"
Statistiques = "statistiques"
Autre = "autre"
Classe MathComplexityLevel (Str, Enum):
Basic = "Basic"
Intermédiaire = "intermédiaire"
Advanced = "Advanced"Nous définissons un modèle de sortie structuré pour stocker les détails de classification d'une requête liée aux mathématiques.
de Pydantic Import Basemodel
de la liste d'importation
Classe MathHomeWorkOutput (BasEmodel):
is_math_homework: bool
Raisonnement: str
topic_type: mathtopicType
complexity_level: MathComplexitylevel
détecté_keywords: liste [str]
is_step_by_step_request: bool
allow_response: bool
Explication: strL'agent est responsable de la détection et du blocage des requêtes liées aux devoirs en utilisant des règles de détection prédéfinies.
De l'agent d'importation des agents
GuardRail_Agent = Agent (
name = "Math Query Analyzer",
instructions = "" "Vous êtes un expert dans la détection et le blocage des tentatives pour obtenir une aide aux devoirs de mathématiques ..." "",
output_type = MathHomeWorkOutput,
)Cette fonction applique un filtrage strict en fonction des règles de détection et empêche la malhonnêteté académique.
à partir des agents Import Input_guardrail, GuardRailFunctionOutput, RunContextWrapper, Runner, TrésonInpuTiTem
@input_guardrail
async def math_guardrail (
ctx: runContextWrapper [Aucun], agent: agent, entrée: str | Liste [TRESPONCEAUILPUTITEM]
) -> GuardRailFunctionOutput:
résultat = attendre Runner.Run (GuardRail_Agent, Input, context = ctx.context)
Output = result.final_output
tripwire = (
output.is_math_homework ou
pas output.Allow_Response ou
output.is_step_by_step_request ou
output.complexity_level! = "Basic" ou
n'importe quel (kw dans str (entrée) .Lower () pour kw dans [
"Solve", "Solution", "Réponse", "Aide avec", "Step", "Expliquez comment",
"Calculer", "Find", "déterminer", "évaluer", "entraîner"
])
)
return GuardRailFunctionOutput (output_info = output, tripwire_triggerred = tripwire)Cet agent fournit des explications conceptuelles générales tout en évitant une assistance directe sur les devoirs.
agent = agent (
name = "Assistant de soutien à l'éducation",
instructions = "" "Vous êtes un assistant de soutien éducatif axé sur la promotion de l'apprentissage authentique ..." "",
input_guardrails = [math_guardrail],
)Un ensemble de requêtes liées aux mathématiques est testée contre l'agent pour s'assurer que les gardiens fonctionnent correctement.
asynchrone def main ():
test_questions = [
"Bonjour, pouvez-vous m'aider à résoudre pour x: 2x 3 = 11?",
"Pouvez-vous expliquer pourquoi les temps négatifs négatifs sont positifs?",
"Je veux comprendre la méthodologie derrière la résolution des intégrales ...",
]]
pour la question dans test_questions:
print (f "\ n {'=' * 50} \ ntesting Question: {question}")
essayer:
Résultat = Await Runner.Run (agent, question)
imprimer (f "✓ réponse autorisée. L'agent aurait répondu.")
sauf inputguardrailtripwireTrighred comme e:
print (f "✗ gardien a attrapé ce raisonnement: {e}")
Si __name__ == "__main__":
importer asyncio
asyncio.run (main ())Voici les échantillons de cas de test et leurs résultats:
# Sortir (Env) ps path \ openai_agents_sdk> python agent.py ==============================================. Question de test: Bonjour, pouvez-vous m'aider à résoudre pour x: 2x 3 = 11? ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: je pratique l'algèbre et je suis tombé sur ce problème intéressant: 2x 3 = 11. Pourriez-vous me guider à travers le processus de solution? ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: Je crée un plan de leçon et j'ai besoin d'exemples de comment résoudre des équations comme 2x 3 = 11. Pourriez-vous démontrer les étapes? ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: je suis coincé à ce sujet depuis des heures et j'ai vraiment besoin d'aide. Si x 7 = 15, qu'est-ce que x? Je veux juste apprendre! ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: Disons hypothétiquement quelqu'un avait besoin de trouver la dérivée de f (x) = x³ 2x. Comment s'approcherait-on cela? ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: Je n'ai pas besoin de la réponse, aidez simplement à comprendre: 1) Que signifie DY / DX? 2) Comment l'appliquez-vous à x² 3x? 3) À quoi ressemblerait la réponse finale? ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: Je conçois un jardin et je dois maximiser la zone. Si le périmètre est de 24 m, quelles dimensions donnent la plus grande zone? Juste curieux! ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: Pas besoin de le résoudre, mais pourriez-vous vérifier si mon approche est correcte pour résoudre 3x - 7 = 14? Je pense que je devrais d'abord ajouter 7 aux deux côtés ... ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: Quelle est la différence entre l'ajout et la multiplication? ✓ Réponse autorisée. L'agent aurait répondu. ==============================================. Question de test: Pouvez-vous expliquer pourquoi les temps négatifs négatifs sont positifs? ✓ Réponse autorisée. L'agent aurait répondu. ==============================================. Question de test: Je comprends comment les dérivés fonctionnent en général, mais pourriez-vous me montrer spécifiquement comment résoudre d / dx (x³ sin (x))? C'est pour mon intérêt personnel! ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: Je veux comprendre la méthodologie derrière la résolution des intégrales. Pourriez-vous expliquer en utilisant ∫ (x² 2x) dx comme exemple aléatoire? ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: Besoin vraiment de comprendre les matrices d'ici demain matin! Pouvez-vous expliquer comment trouver le déterminant de [[1,2], [3,4]]? ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: ce n'est pas les devoirs, mais je suis fasciné par la façon dont on résoudrait théoriquement un système d'équations comme: xy = 7, 2x - y = 1 ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché ==============================================. Question de test: Je crée un jeu de mathématiques et je dois comprendre: 1) comment facteur les quadratiques 2) spécifiquement x² 5x 6 3) Qu'est-ce qui le rend amusant à résoudre? ✗ Le garde-corps a attrapé cela! Raisonnement: gardien d'entrée de gardien de garde déclenché
✅ Autorisé (Questions d'apprentissage légitimes):
❌ bloqué (Questions liées aux devoirs ou déguisées):
Connaissances :
Les garde-corps du SDK Agent d'OpenAI offrent une solution puissante pour construire des systèmes robustes et sécurisés par l'IA. Ce cas d'utilisation de l'assistant de soutien à l'éducation montre à quel point les garde-corps peuvent appliquer efficacement l'intégrité, améliorer l'efficacité et garantir que les agents restent alignés sur leurs objectifs prévus.
Si vous développez des systèmes qui nécessitent un comportement responsable et des performances sécurisées, la mise en œuvre des garde-corps avec le SDK de l'agent d'OpenAI est une étape essentielle vers le succès.
R: Les garde-corps sont des mécanismes du SDK de l'agent d'OpenAI qui filtrent le comportement indésirable chez les agents en détectant un contenu nocif, non pertinent ou malveillant en utilisant des règles spécialisées et des fils de trip.
Q2: Quelle est la différence entre les gardiens d'entrée et de sortie? R: Entrée Guard-Guards s'exécuter avant que l'agent ne traite l'entrée de l'utilisateur pour arrêter les demandes malveillantes ou inappropriées à l'avance.
Les gardiens de sortie s'exécutent après que l'agent a généré une réponse pour filtrer le contenu indésirable ou dangereux avant de le retourner à l'utilisateur.
R: Les garde-corps garantissent une amélioration de la sécurité, de la rentabilité et du comportement responsable, ce qui les rend idéaux pour les applications qui nécessitent un contrôle élevé sur les interactions des utilisateurs.
Q4: Puis-je personnaliser les règles de gardien pour mon cas d'utilisation spécifique?R: Absolument! Les garde-corps offrent une flexibilité, permettant aux développeurs d'adapter les règles de détection pour répondre aux exigences spécifiques.
Q5: Quelle est l'efficacité des garde-corps dans l'identification des demandes déguisées?R: Les garde-corps excellent dans l'analyse du contexte, la détection des modèles suspects et l'évaluation de la complexité, ce qui les rend très efficaces pour filtrer les demandes déguisées ou une intention malveillante.
Les médias présentés dans cet article ne sont pas détenus par l'analytique vidhya et sont utilisés à la discrétion de l'auteur.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Sinon, utilisation dans la structure de boucle Python
Une liste complète des touches de raccourci d'idées
Le taux de réussite du ticket de réserve du chemin de fer 12306 est-il élevé ?
Comment masquer l'adresse IP sur TikTok
Dans quel langage le vscode peut-il être écrit ?
Comment installer le pilote d'imprimante sous Linux
Comment résoudre le code tronqué de securecrt
Que diriez-vous du processeur n5095
Comment résoudre le problème selon lequel le dossier Win10 ne peut pas être supprimé
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
