Rag avec multimodalité et intelligence de documents Azure

Introduction

Dans le monde actuel qui fonctionne sur la base des données, les graphiques d'IA relationnels (RAG) ont beaucoup d'influence dans les industries en corrélant les données et en cartographiant les relations. Cependant, que se passe-t-il si l'un pouvait aller un peu plus loin que l'autre dans ce sens? Présentation du chiffon multimodal, du texte et de l'image, des documents et plus encore, pour donner un meilleur aperçu des données. Les nouvelles fonctionnalités avancées dans Azure Document Intelligence étendent les capacités du chiffon. Ces fonctionnalités fournissent des outils essentiels pour extraire, analyser et interpréter des données multimodales. Cet article définira le chiffon et expliquera comment la multimodalité l'améliore. Nous discuterons également de la façon dont Azure Document Intelligence est cruciale pour construire ces systèmes avancés.

Ceci est basé sur une récente conversation donnée par Manoranjan Rajguru sur SuperChip Rag avec multimodalité et Azure Document Intelligence, dans le Datahack Summit 2024.

Résultats d'apprentissage

• Comprenez les concepts de base des graphiques d'IA relationnels (RAG) et leur signification dans l'analyse des données.
• Explorez l'intégration des données multimodales pour améliorer la fonctionnalité et la précision des systèmes de chiffon.
• Découvrez comment Azure Document Intelligence peut être utilisé pour construire et optimiser les chiffons multimodaux via divers modèles d'IA.
• Gardez un aperçu des applications pratiques des chiffons multimodaux dans la détection de fraude, le service à la clientèle et la découverte de médicaments.
• Découvrez les tendances et les ressources futures pour faire progresser vos connaissances en chiffon multimodal et technologies d'IA connexes.

Table des matières

• Introduction
• Qu'est-ce que le graphique AI relationnel (RAG)?
  • Anatomie des composants de chiffon
• Qu'est-ce que la multimodalité?
• Qu'est-ce que l'intelligence Azure Document?
• Comprendre le chiffon multimodal
• Avantages du chiffon multimodal
  • Amélioration de la reconnaissance des entités
  • Extraction des relations améliorées
  • Meilleure construction de graphiques de connaissances
• Azure Document Intelligence for Rag
• Construire un système de chiffon multimodal avec Azure Document Intelligence: Guide étape par étape
  • Formation modèle
  • Évaluation et raffinement
• Des cas d'utilisation pour le chiffon multimodal
  • Détection de fraude
  • Chatbots de service client
  • Découverte de médicaments
• Avenir du chiffon multimodal
• Questions fréquemment posées

Qu'est-ce que le graphique AI relationnel (RAG)?

Les graphiques d'IA relationnels (RAG) sont un cadre pour la cartographie, le stockage et l'analyse des relations entre les entités de données dans un format de graphique. Il opère sur le principe selon lequel les informations sont interconnectées et non isolées. Cette approche basée sur un graphique décrit des relations complexes, permettant des analyses plus sophistiquées que les architectures de données traditionnelles.

Dans un chiffon régulier, les données sont stockées dans deux composantes principales, ce sont des nœuds ou des entités et le second est les bords ou la relation entre les entités. Par exemple, le nœud peut correspondre à un client, tandis que le bord - à un achat effectué par ce client, s'il est utilisé dans une application de service client. Ce graphique peut capturer différentes entités et relations entre eux, et aider les entreprises à effectuer une analyse plus approfondie sur le comportement, les tendances des clients ou même les valeurs aberrantes.

Anatomie des composants de chiffon

• Systèmes experts : Azure Form Reconnaître, modèle de mise en page, bibliothèque de documents.
• Ingestion de données : gérer divers formats de données.
• Chunking : meilleures stratégies pour le bunking de données.
• Indexation : Recherchez les requêtes, filtres, facettes, score.
• Invitation : approches vectorielles, sémantiques ou traditionnelles.
• Interface utilisateur : conception de la présentation des données.
• Intégration : Azure Cognitive Search et Openai Service.

Qu'est-ce que la multimodalité?

Exploration des graphiques d'IA relationnels et des systèmes d'IA actuels, multimodal signifie la capacité du système à gérer les informations de différents types ou `` modalités '' et de les amalgamer dans un seul cycle récurrent. Chaque modalité correspond à un type spécifique de données, par exemple, le textuel, les images, l'audio ou tout ensemble structuré avec des données pertinentes pour construire le graphique, permettant d'analyser les dépendances mutuelles des données.

La multimodalité étend l'approche traditionnelle visant à traiter une forme de données en permettant aux systèmes d'IA de gérer diverses sources d'informations et d'extraire des informations plus approfondies. Dans les systèmes de chiffon, la multimodalité est particulièrement précieuse car elle améliore la capacité du système à reconnaître les entités, à comprendre les relations et à extraire les connaissances de divers formats de données, contribuant à un graphique de connaissances plus précis et plus détaillé.

Qu'est-ce que l'intelligence Azure Document?

Azure Document Intelligence anciennement appelé Azure Form Reconnateur est un service Microsoft Azure qui permet aux organisations d'extraire des informations de documents tels que des reçus structurés ou non structurés, des factures et de nombreux autres types de données. Le service s'appuie sur des modèles d'IA prêts à l'emploi qui aident à lire et à comprendre le contenu des documents, les clients de Relief peuvent optimiser leur traitement de document, éviter la saisie des données manuelles et extraire des informations précieuses des données.

Azure Document Intelligence permet aux utilisateurs de profiter des algorithmes ML et de la PNL pour permettre au système de reconnaître des entités spécifiques comme les noms, les dates, les chiffres dans les factures, les tables et les relations entre les entités. Il accepte des formats tels que les PDF, des images avec des formats de JPEG et PNG, ainsi que des documents numérisés qui en font un outil approprié adapté aux nombreuses entreprises.

Comprendre le chiffon multimodal

Les systèmes de chiffons multimodaux améliorent le RAG traditionnel en intégrant divers types de données, tels que du texte, des images et des données structurées. Cette approche offre une vision plus holistique de l'extraction des connaissances et de la cartographie relationnelle. Il permet des idées et des décisions plus puissantes. En utilisant la multimodalité, les systèmes de chiffon peuvent traiter et corréler diverses sources d'information, ce qui rend les analyses plus adaptables et complètes.

Rag suralimentation avec multimodalité

Les chiffons traditionnels se concentrent principalement sur les données structurées, mais les informations du monde réel se présentent sous diverses formes. En incorporant des données multimodales (par exemple, du texte des documents, des images ou même de l'audio), un chiffon devient beaucoup plus capable. Les chiffons multimodaux peuvent:

• Intégrez les données de plusieurs sources : utilisez simultanément du texte, des images et d'autres types de données pour cartographier des relations plus complexes.
• Améliorer le contexte : l'ajout de données visuelles ou audio aux données textuelles enrichit la compréhension du système des relations, des entités et des connaissances.
• Gérer les scénarios complexes : dans des secteurs comme les soins de santé, le chiffon multimodal peut intégrer des dossiers médicaux, des images de diagnostic et des données pour les patients pour créer un graphique de connaissances exhaustif, offrant des informations au-delà de ce que les modèles à modalité peuvent fournir.

Avantages du chiffon multimodal

Explorons maintenant les avantages du chiffon multimodal ci-dessous:

Amélioration de la reconnaissance des entités

Les chiffons multimodaux sont plus efficaces dans l'identification des entités car elles peuvent tirer parti de plusieurs types de données. Au lieu de s'appuyer uniquement sur du texte, par exemple, ils peuvent référencer des données d'image ou des données structurées à partir de feuilles de calcul pour assurer une reconnaissance précise de l'entité.

Extraction des relations améliorées

L'extraction des relations devient plus nuancée avec les données multimodales. En traitant non seulement du texte, mais aussi des images, des vidéos ou des PDF, un système de chiffon multimodal peut détecter des relations complexes et couchées qu'un chiffon traditionnel pourrait manquer.

Meilleure construction de graphiques de connaissances

L'intégration des données multimodales améliore la capacité de créer des graphiques de connaissances qui capturent plus efficacement les scénarios du monde réel. Le système peut relier les données entre différents formats, améliorant à la fois la profondeur et la précision du graphique de connaissances.

Azure Document Intelligence for Rag

Azure Document Intelligence est une suite d'outils d'IA de Microsoft pour extraire des informations des documents. Intégré à un graphique d'IA relationnel (RAG), il améliore la compréhension des documents. Il utilise des modèles prédéfinis pour l'analyse des documents, la reconnaissance des entités, l'extraction des relations et la réponse aux questions. Cette intégration aide les données non structurées au processus de RAG, comme les factures ou les contrats, et les convertir en informations structurées dans un graphique de connaissances.

Modèles d'IA pré-construits pour la compréhension des documents

Azure fournit des modèles d'IA pré-formés qui peuvent traiter et comprendre les formats de documents complexes, y compris les PDF, les images et les données de texte structurées. Ces modèles sont conçus pour automatiser et améliorer le pipeline de traitement des documents, se connectant de manière transparente à un système de chiffon. Les modèles prédéfinis offrent des capacités robustes comme la reconnaissance des caractères optiques (OCR), l'extraction de mise en page et la détection de champs de documents spécifiques, ce qui rend l'intégration avec les systèmes de chiffon lisse et efficace.

En utilisant ces modèles, les organisations peuvent facilement extraire et analyser des données à partir de documents, tels que des factures, des reçus, des documents de recherche ou des contrats juridiques. Cela accélère les flux de travail, réduit l'intervention humaine et garantit que les idées clés sont capturées et stockées dans le graphique de connaissance du système de chiffon.

Reconnaissance de l'entité avec la reconnaissance des entités nommées (NER)

La reconnaissance des entités nommées d'Azure (NER) est la clé pour extraire des informations structurées à partir de documents lourds de texte. Il identifie des entités comme les personnes, les lieux, les dates et les organisations dans des documents et les relie à un graphique relationnel. Lorsqu'elle est intégrée dans un chiffon multimodal, NER améliore la précision de la liaison des entités en reconnaissant les noms, les dates et les termes sur divers types de documents.

Par exemple, dans les documents financiers, NER peut être utilisé pour extraire les noms de clients, les montants de transaction ou les identifiants de l'entreprise. Ces données sont ensuite introduites dans le système RAG, où les relations entre ces entités sont automatiquement cartographiées, permettant aux organisations d'interroger et d'analyser de grandes collections de documents avec précision.

Extraction de relation avec l'extraction de phrases clés (KPE)

Une autre caractéristique puissante de l'intelligence du document Azure est l'extraction de phrases clé (KPE). Cette capacité identifie automatiquement les phrases clés qui représentent des relations ou des concepts importants dans un document. KPE extrait des phrases comme les noms de produits, les termes juridiques ou les interactions médicamenteuses du texte et les relie dans le système de chiffon.

Dans un chiffon multimodal, KPE connecte les termes clés à partir de diverses modalités: texte, images et transcrits audio. Cela construit un graphique de connaissances plus riche. Par exemple, dans les soins de santé, KPE extrait les noms de médicaments et les symptômes des dossiers médicaux. Il relie ces données à la recherche, créant un graphique complet qui facilite la prise de décision médicale précise.

Question répondant avec QNA Maker

Le créateur de QNA d'Azure ajoute une dimension conversationnelle pour documenter l'intelligence en transformant des documents en systèmes interactifs de questions et réponses. Il permet aux utilisateurs d'interroger des documents et de recevoir des réponses précises en fonction des informations qui leur sont. Lorsqu'il est combiné avec un chiffon multimodal, cette fonction permet aux utilisateurs de s'interroger sur plusieurs formats de données, posant des questions complexes qui reposent sur du texte, des images ou des données structurées.

Par exemple, dans l'analyse des documents juridiques, les utilisateurs peuvent demander à QNA Maker de retirer les clauses pertinentes des contrats ou des rapports de conformité. Cette capacité améliore considérablement la prise de décision basée sur les documents en fournissant des réponses instantanées et précises aux requêtes complexes, tandis que le système de chiffon garantit que les relations entre diverses entités et concepts sont maintenues.

Construire un système de chiffon multimodal avec Azure Document Intelligence: Guide étape par étape

Nous allons maintenant plonger plus profondément dans le guide étape par étape de la façon dont nous pouvons construire un chiffon multimal avec Azure Document Intelligence.

Préparation des données

La première étape de la construction d'un graphique d'IA relationnel multimodal (RAG) à l'aide de l'intelligence du document Azure est la préparation des données. Cela implique la collecte de données multimodales telles que des documents texte, des images, des tables et d'autres données structurées / non structurées. Azure Document Intelligence, avec sa capacité à traiter divers types de données, simplifie ce processus en:

• Analyse des documents: extraire les informations pertinentes à partir de documents à l'aide de services de réception de formulaire Azure ou d'OCR. Ces outils identifient et numérisent le texte, ce qui le rend adapté à une analyse plus approfondie.
• Reconnaissance de l'entité: en utilisant la reconnaissance des entités nommées (NER) pour marquer des entités telles que les personnes, les lieux et les dates dans les documents.
• Structuration des données: organisation des entités reconnues dans un format qui peut être utilisé pour l'extraction de relations et la construction du modèle de chiffon. Des formats structurés tels que JSON ou CSV sont couramment utilisés pour stocker ces données.

Les modèles de traitement de documents d'Azure automatisent une grande partie du travail fastidieux de collecte, de nettoyage et d'organisation de diverses données dans un format structuré pour la modélisation de graphiques.

Formation modèle

Après avoir obtenu les données, le prochain processus qui doit être fait est la formation du modèle de chiffon. Et c'est là que la multimodalité est réellement utile car le modèle doit se soucier de divers types de données et de leurs interconnexions.

• Intégration de données multimodales: en particulier, le graphique de connaissances doit inclure des informations de texte, des informations d'image et des informations structurées sur le chiffon pour former un chiffon multimodal. Les services cognitifs Pytorch ou TensorFlow et Azure peuvent être utilisés afin de former des modèles qui fonctionnent avec différents types de données.
• Tirer parti des modèles pré-formés d'Azure: Il est possible de considérer que l'intelligence du document Azure a des solutions prêtes à l'emploi pour diverses tâches, telles que la détection d'entité, l'extraction des mots clés ou la résumé de texte. En raison de l'ouverture de ces modèles, ils permettent l'ajustement de ces modèles en fonction d'un ensemble de certaines spécifications afin de s'assurer que le graphique de connaissances a des entités et des relations bien identifiées.
• Incorporer des connaissances en chiffon: En chiffon, les entités, les phrases clés et les relations clés sont introduites. Cela permet au modèle d'interpréter les données ainsi que la relation entre les points de données du grand ensemble de données.

Évaluation et raffinement

La dernière étape consiste à évaluer et à affiner le modèle de chiffon multimodal pour garantir la précision et la pertinence dans les scénarios du monde réel.

• Validation du modèle: en utilisant un sous-ensemble des données de validation, les outils d'Azure peuvent mesurer les performances du chiffon dans des domaines tels que la reconnaissance des entités, l'extraction des relations et la compréhension du contexte.
• Raffinement itératif: En fonction des résultats de validation, vous devrez peut-être ajuster les hyperparamètres du modèle, affiner les intégres ou nettoyer davantage les données. Le pipeline AI d'Azure fournit des outils pour la formation et l'évaluation des modèles continus, ce qui facilite l'affiner le modèle de chiffon itérativement.
• Extension du graphique de connaissances: à mesure que davantage de données multimodales deviennent disponibles, le chiffon peut être élargi pour incorporer de nouvelles informations, garantissant que le modèle reste à jour et pertinent.

Des cas d'utilisation pour le chiffon multimodal

Les graphiques d'IA relationnels multimodaux (RAG) tirent parti de l'intégration de divers types de données pour fournir des informations puissantes dans divers domaines. La capacité de combiner du texte, des images et des données structurées dans un graphique unifié les rend particulièrement efficaces dans plusieurs applications du monde réel. Voici comment le chiffon multimodal peut être utilisé dans différents cas d'utilisation:

Détection de fraude

La détection de fraude est un domaine où le chiffon multimodal excelle en intégrant diverses formes de données pour découvrir des modèles et des anomalies qui pourraient indiquer des activités frauduleuses.

• Intégration des données textuelles et visuelles: en combinant des données textuelles à partir des enregistrements de transaction avec des données visuelles à partir de séquences de sécurité ou de documents (telles que les factures et les reçus), les chiffons peuvent créer une vue complète des transactions. Par exemple, si une image de facture ne correspond pas aux données textuelles dans un enregistrement de transaction, il peut signaler les écarts potentiels.
• Détection améliorée des anomalies: l'approche multimodale permet une détection d'anomalies plus sophistiquée. Par exemple, les chiffons peuvent corréler les modèles inhabituels dans les données de transaction avec des anomalies visuelles dans des documents ou des images numérisés, fournissant un mécanisme de détection de fraude plus robuste.
• Analyse contextuelle: La combinaison des données provenant de diverses sources permet une meilleure compréhension contextuelle. Par exemple, la liaison des modèles de transaction suspects avec le comportement du client ou les données externes (comme les schémas de fraude connus) améliore la précision de la détection de fraude.

Chatbots de service client

Les chiffons multimodaux améliorent considérablement la fonctionnalité des chatbots du service client en fournissant une compréhension plus riche des interactions client.

• Compréhension contextuelle: En intégrant le texte à partir des requêtes client avec des informations contextuelles à partir d'interactions précédentes et de données visuelles (comme les images ou les diagrammes de produits), les chatbots peuvent fournir des réponses plus précises et contextuellement pertinentes.
• Gestion des requêtes complexes: les chiffons multimodaux permettent aux chatbots de comprendre et de traiter les requêtes complexes qui impliquent plusieurs types de données. Par exemple, si un client pose des questions sur l'état d'une commande, le chatbot peut accéder aux détails de la commande textuelle et aux données visuelles (comme les cartes de suivi) pour fournir une réponse complète.
• Amélioration de la qualité d'interaction: en tirant parti des relations et des entités stockées dans le chiffon, les chatbots peuvent offrir des réponses personnalisées en fonction de l'historique, des préférences et des interactions du client avec divers types de données.

Découverte de médicaments

Dans le domaine de la découverte de médicaments, les chiffons multimodaux facilitent l'intégration de diverses sources de données pour accélérer les processus de recherche et de développement.

• Intégration des données: La découverte de médicaments implique des données de la littérature scientifique, des essais cliniques, des résultats de laboratoire et des structures moléculaires. Les chiffons multimodaux intègrent ces types de données disparates pour créer un graphique de connaissances complet qui prend en charge la prise de décision plus éclairée.
• Extraction relationnelle: En extraite des relations entre différentes entités (telles que les composés médicamenteuses, les protéines et les maladies) à partir de diverses sources de données, les RAG aident à identifier les candidats potentiels et à prédire leurs effets avec précision.
• Construction de graphiques de connaissances améliorées: les chiffons multimodaux permettent la construction de graphiques de connaissances détaillés qui relient les données expérimentales avec les résultats de la recherche et les données moléculaires. Cette vision holistique aide à identifier de nouvelles cibles de médicaments et à comprendre les mécanismes d'action pour les médicaments existants.

Avenir du chiffon multimodal

Pour l'avenir, l'avenir des chiffons multimodaux devrait être transformateur. Les progrès de l'IA et de l'apprentissage automatique conduiront leur évolution. Les développements futurs se concentreront sur l'amélioration de la précision et de l'évolutivité. Cela permettra des analyses plus sophistiquées et des capacités de prise de décision en temps réel.

Des algorithmes améliorés et des ressources de calcul plus puissantes faciliteront la gestion des ensembles de données de plus en plus complexes. Cela rendra les chiffons plus efficaces pour découvrir des informations et prédire les résultats. De plus, l'intégration des technologies émergentes, telles que l'informatique quantique et les réseaux de neurones avancés, pourrait étendre davantage les applications potentielles des chiffons multimodaux. Cela pourrait ouvrir la voie aux percées dans divers domaines.

Conclusion

L'intégration des graphiques d'IA relationnels multimodaux (RAG) avec des technologies avancées telles que l'intelligence de document Azure représente un bond en avant dans l'analyse des données et l'intelligence artificielle. En tirant parti de l'intégration des données multimodales, les organisations peuvent améliorer leur capacité à extraire des informations significatives. Cette approche améliore les processus décisionnels et relève des défis complexes dans divers domaines. La synergie de divers types de données - texte, images et données structurées - constitue des analyses plus complètes. Cela conduit également à des prédictions plus précises. Cette intégration stimule l'innovation et l'efficacité dans les applications allant de la détection de la fraude à la découverte de médicaments.

Ressources pour en savoir plus

Pour approfondir votre compréhension des chiffons multimodaux et des technologies connexes, pensez à explorer les ressources suivantes:

• Documentation Microsoft Azure
• Blogs communautaires IA et Graph Graph
• Cours sur les technologies multimodales d'IA et de graphiques sur Coursera et EDX

Questions fréquemment posées

Q1. Qu'est-ce qu'un graphique d'IA relationnel (RAG)?

A. Un graphique d'IA relationnel (RAG) est une structure de données qui représente et organise les relations entre différentes entités. Il améliore la récupération et l'analyse des données en cartographiant les connexions entre divers éléments dans un ensemble de données, facilitant les interactions de données plus perspicaces et efficaces.

Q2. Comment la multimodalité améliore-t-elle les systèmes de chiffon?

A. La multimodalité améliore les systèmes de chiffon en intégrant divers types de données (texte, images, tableaux, etc.) dans un seul cadre cohérent. Cette intégration améliore la précision et la profondeur de la reconnaissance des entités, de l'extraction des relations et de la construction de graphiques de connaissances, conduisant à une analyse de données plus robuste et polyvalente.

Q3. Quels sont les avantages de l'utilisation de l'intelligence des documents Azure dans les systèmes de chiffon?

A. Azure Document Intelligence fournit des modèles d'IA pour la reconnaissance des entités, l'extraction des relations et la réponse aux questions, la simplification de la compréhension des documents et de l'intégration des données.

Q4. Quelles sont les applications réelles des chiffons multimodaux?

A. Les applications comprennent la détection de fraude, les chatbots du service client et la découverte de médicaments, en tirant parti de l'analyse complète des données pour de meilleurs résultats.

Q5. Quel est l'avenir du chiffon multimodal?

A. Les progrès futurs amélioreront l'intégration de divers types de données, améliorant la précision, l'efficacité et l'évolutivité dans diverses industries.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!