Rag traditionnel à graphique Rag: l'évolution des systèmes de récupération

Cette étude explore l'évolution, allant de la génération traditionnelle (RAG) de la récupération (RAG) pour graphiquement RAG, mettant en évidence leurs différences, leurs applications et leur potentiel futur. La question principale examinée est de savoir si ces systèmes d'IA fournissent simplement des réponses ou comprennent véritablement les complexités nuancées au sein des systèmes de connaissances. Cet article plonge à la fois sur les architectures traditionnelles de chiffon et de chiffon graphiques.

Table des matières:

• L'émergence de systèmes de chiffon
• Limites du chiffon traditionnel
• Rag graphique: une approche en réseau des connaissances
• Architecture de chiffon graphique
• Divergences architecturales clés
• Compréhension des requêtes: la première étape cruciale
• Granularité des connaissances: morceaux contre triplets
• Défis de mise en œuvre du monde réel
• Évaluation des performances du système de chiffon
• Optimisation du chiffon graphique pour une utilisation pratique
• L'expérience utilisateur: interaction humaine
• Stratégies de mise en œuvre: adoption pratique
• Analyse coûts-avantages: une perspective commerciale
• Considérations éthiques: responsabilité en IA
• Tendances et directions futures
• Conclusion

L'émergence de systèmes de chiffon

Le concept initial de RAG a abordé le défi de fournir des modèles de langue avec des informations spécifiques actuelles sans recyclage constant. Le recyclage des modèles de langues importants prend du temps et à forte intensité de ressources. Le chiffon traditionnel est devenu une solution, créant une architecture qui sépare le raisonnement du magasin de connaissances, permettant une ingestion flexible de données sans recyclage du modèle.

Architecture de chiffon traditionnel:

Le chiffon traditionnel fonctionne en quatre phases:

1. Indexation: Les documents sont segmentés en morceaux et convertis en incorporations vectorielles à l'aide de modèles de codage.
2. Stockage: Ces intérêts sont stockés dans des bases de données vectorielles optimisées pour les recherches de similitude.
3. Retriel: les requêtes entrantes sont converties en vecteurs et des morceaux de documents similaires sont récupérés.
4. Augmentation: des morceaux récupérés sont ajoutés à l'invite LLM, fournissant des connaissances spécifiques au contexte.

Limites du chiffon traditionnel

Le chiffon traditionnel repose sur la similitude sémantique, mais cette approche souffre d'une perte d'informations importante. Bien qu'il puisse identifier des morceaux de texte sémantiquement liés, il ne parvient souvent pas à capturer les threads entrelacés qui fournissent un contexte. L'exemple de récupération d'informations sur Marie Curie illustre ce point; Des morceaux très similaires ne peuvent couvrir qu'une petite partie du récit global, entraînant une perte d'informations substantielle.

Exemple de code (calcul de la perte d'informations):

Le code Python fourni montre comment la similitude sémantique peut être élevée tandis que la couverture des mots est faible, entraînant une perte d'informations importante. La sortie représente visuellement cette différence.

 # ... (code python tel que prévu dans le texte d'origine) ... 

Rag graphique: une approche en réseau des connaissances

Graph Rag, lancé par Microsoft AI Research, change fondamentalement la façon dont les connaissances sont organisées et accessibles. Il s'inspire des sciences cognitives, représentant l'information comme un graphique de connaissances - entités (nœuds) liées par des relations (bords).

Pipeline de chiffon graphique:

Graph Rag suit un flux de travail distinct:

1. Construction de graphiques: organisation d'informations dans une structure de graphique.
2. Compréhension de la requête: analyser les requêtes utilisateur pour identifier les entités et les relations.
3. Traversion du graphique: naviguer dans le graphique pour trouver des informations pertinentes.
4. Composition de contexte: linéarizon des sous-graphiques récupérés tout en préservant les relations.
5. Génération de réponse: le LLM génère des réponses en utilisant le contexte riche en relation.

Architecture de chiffon graphique

Graph Rag commence par nettoyer et structurer les données, identifiant les entités et les relations clés. Ceux-ci deviennent les nœuds et les bords d'un graphique, qui est ensuite converti en intégres vectoriels pour une recherche efficace. Le traitement des requêtes consiste à traverser le graphique pour trouver des informations contextuellement pertinentes, conduisant à des réponses plus perspicaces et humaines.

(Les sections restantes de la réponse se poursuivraient de cette manière, paraphrasant et restructurant le texte d'origine tout en maintenant la signification d'origine et en préservant les emplacements et formats de l'image. En raison de la durée du texte d'origine, il n'est pas possible de compléter toute la paraphrase dans cette réponse.)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!