Construire un système de résolution de requêtes à base de chiffon avec Langchain

Cet article détaille la construction d'un système de génération (RAG) (RAG) de récupération pour une résolution de requête efficace, en utilisant Langchain, Chromadb et Crewai. La gestion manuelle du grand volume de requêtes auxquelles sont confrontées les entreprises modernes est inefficace. Cette solution alimentée par AI offre des réponses rapides, précises et évolutives.

Table des matières

• Pourquoi un système de résolution de requêtes alimenté par AI?
• Comprendre le flux de travail de chiffon
• Construire un système de résolution de requêtes basé sur des chiffons
• Détails de la mise en œuvre
• Améliorations futures
• Conclusion
• Questions fréquemment posées

Pourquoi un système de résolution de requêtes alimenté par AI?

Les réponses de la requête manuelle sont lentes et incohérentes. Les entreprises ont besoin d'un accès rapide et précis pour répondre aux attentes des clients. Un système d'IA automatise ce processus, renforçant la productivité et la prise de décision dans divers secteurs (support client, vente, finance, soins de santé, e-commerce).

Comprendre le flux de travail de chiffon

Le système de chiffon fonctionne en trois phases:

1. Indexation: les documents sont traités, volés, convertis en incorporations vectorielles à l'aide d'un modèle AI et stockées dans une base de données vectorielle (par exemple, chromadb).
2. Retriel: la requête d'un utilisateur est vectorisée et le système recherche la base de données pour les morceaux les plus pertinents.
3. Génération: les morceaux récupérés sont combinés avec la requête d'origine, et un modèle grand langage (LLM) génère une réponse.

Construire un système de résolution de requêtes basé sur des chiffons

Cet article montre un système de chiffon simplifié pour répondre aux requêtes de l'apprenant à l'aide d'un agent d'IA. La sélection des données est cruciale; L'auteur a expérimenté divers types de données (diapositives PowerPoint, FAQ, discussions passées, sous-titres vidéo de cours) avant de se régler sur les sous-titres comme la source la plus efficace pour fournir un contenu structuré pertinent.

Le système comprend trois composants:

1. Traitement des sous-titres: extrait et traite le texte des fichiers SRT, stockant des incorporations dans ChromAdB.
2. Retrievale: Récupère le matériel de cours pertinent basé sur les requêtes d'apprentissage.
3. Agent de réponse de requête: utilise Crewai pour générer des réponses.

Détails de la mise en œuvre

1. Importations de bibliothèque: pysrt , langchain (fractionnement de texte, intégres, vectorstores), crewai , pandas , ast , os , tqdm sont importés.

2. Configuration de l'environnement: la clé API OpenAI et le nom du modèle sont définies sous forme de variables d'environnement.

3. L'extraction et le stockage des données des sous-titres: le système itère à travers des dossiers de cours, extrait le texte des fichiers SRT à l'aide de pysrt , émoute le texte à l'aide RecursiveCharacterTextSplitter , génère des incorporations avec OpenAIEmbeddings et les stocke dans ChromAdb. L'estimation des coûts pour l'utilisation des jetons est incluse.

4. Interroger et répondre aux requêtes de l'apprenant: Une fonction retrieve_course_materials utilise une recherche de similitude dans ChromAdB pour récupérer le contenu pertinent, filtré par cours.

5. La mise en œuvre de l'agent de réponse à la requête AI: un agent de Crewai («spécialiste du support d'apprentissage») est défini avec un rôle spécifique et une trame de fond. Une tâche est définie pour gérer les requêtes, incorporant le contexte récupéré et les discussions passées. L'instance Crewai est initialisée et une fonction ( reply_to_query ) itère via des requêtes d'apprentissage dans un fichier CSV, générant des réponses à l'aide de l'agent. La gestion des erreurs est incluse.

Améliorations futures

• Incorporer un système FAQ structuré.
• Ajoutez des capacités de traitement d'image.
• Améliorez la logique booléenne de colonne d'image.
• Explorez le groupe sémantique et d'autres techniques de section.

Conclusion

Ce système de chiffon, construit avec Langchain, Chromadb et Crewai, automatise efficacement le soutien des apprenants. Il améliore l'évolutivité, la récupération et la qualité de la réponse. Les améliorations futures amélioreront sa fonctionnalité et sa précision.

Questions fréquemment posées

La section FAQS répond aux questions sur Langchain, ChromAdb, Crewai, Openai Embeddings, le traitement des sous-titres, la gestion de plusieurs requêtes et les améliorations futures, reflétant le contenu d'origine.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!