Utiliser la technologie de génération améliorée par la recherche pour résoudre le problème des hallucinations de l'intelligence artificielle

Auteur| Rahul Pradhan

Source|

L’intelligence artificielle devrait devenir la technologie la plus influente de notre époque. Les progrès récents de la technologie transformer et de l’intelligence artificielle générative ont démontré leur potentiel à libérer l’innovation et l’ingéniosité à grande échelle.

Cependant, l’IA générative n’est pas sans défis, des défis qui peuvent même gravement entraver l’application et la création de valeur de cette technologie transformatrice. Alors que les modèles d'IA générative continuent de gagner en complexité et en puissance, ils présentent également des défis uniques, notamment la génération de résultats qui ne sont pas basés sur les données d'entrée.

Ces soi-disant « illusions » font référence aux résultats produits par le modèle. Les résultats, bien que cohérents, peuvent être séparés des faits ou du contexte d’entrée. Cet article présentera brièvement l’impact transformateur de l’intelligence artificielle générative, examinera les lacunes et les défis de cette technologie et discutera des techniques qui peuvent être utilisées pour atténuer les hallucinations.

L'effet transformateur de l'IA générative

Redéfini comme suit : Les modèles d'IA générative utilisent le processus informatique complexe de l'apprentissage en profondeur pour identifier des modèles dans de grands ensembles de données et utiliser ces informations pour créer de nouveaux résultats convaincants. Ces modèles utilisent des réseaux de neurones dans la technologie d'apprentissage automatique, qui s'inspirent de la façon dont le cerveau humain traite et interprète les informations, et continuent d'apprendre et de s'améliorer au fil du temps

GPT-4 d'OpenAI et PaLM 2 de Google, etc. Modèles d'IA génératifs promettent d’apporter des innovations en matière d’automatisation, d’analyse des données et d’expérience utilisateur. Ces modèles peuvent écrire du code, résumer des articles et même aider à diagnostiquer des maladies. Cependant, la faisabilité et la valeur ultime de ces modèles dépendent de leur précision et de leur fiabilité. Dans des domaines critiques tels que les soins de santé, les services financiers ou juridiques, la fiabilité de l'exactitude est essentielle. Mais pour que tous les utilisateurs réalisent tout le potentiel de l'IA générative, ces défis doivent être relevés

Inconvénients des grands modèles de langage

Les LLM sont fondamentalement probabilistes et non déterministes. Ils génèrent du texte en fonction de la probabilité qu'une séquence de mots spécifique se produise ensuite. LLM n'a aucune notion de connaissance et s'appuie entièrement sur la navigation à travers un corpus de données entraînées comme moteur de recommandation. Le texte qu’ils génèrent suit généralement des règles grammaticales et sémantiques, mais repose entièrement sur une cohérence statistique avec l’invite.

Cette nature probabiliste du LLM est à la fois un avantage et un inconvénient. Si l’objectif est d’arriver à la bonne réponse ou de prendre une décision critique basée sur la réponse, alors l’hallucination est mauvaise et peut même causer des dommages. Cependant, si l'objectif est un effort créatif, la créativité artistique peut être encouragée avec le LLM, ce qui aboutit à la création d'œuvres d'art, de scénarios et de scénarios relativement rapidement.

Cependant, ne pas faire confiance aux résultats d'un modèle LLM peut avoir de graves conséquences, quel que soit l'objectif. Non seulement cela éroderait la confiance dans les capacités de ces systèmes, mais cela réduirait également considérablement l’impact de l’IA sur l’accélération de la productivité humaine et de l’innovation.

En fin de compte, l'IA n'est aussi efficace que les données sur lesquelles elle est formée. L'illusion du LLM est principalement causée par des défauts dans l'ensemble de données et l'entraînement, notamment les aspects suivants  :

• Surajustement : Lorsque le modèle apprend trop bien sur les données d'entraînement (y compris le bruit et les valeurs aberrantes) Quand un surapprentissage se produit. La complexité du modèle, les données d'entraînement bruyantes ou les données d'entraînement insuffisantes peuvent toutes conduire à un surapprentissage. Cela entraîne une reconnaissance de formes de mauvaise qualité dans laquelle le modèle ne se généralise pas bien aux nouvelles données, ce qui entraîne des erreurs de classification et de prédiction, des sorties factuellement incorrectes, des sorties avec un faible rapport signal/bruit ou de pures hallucinations.
• Qualité des données : Un étiquetage erroné et une mauvaise classification des données utilisées pour l'entraînement peuvent jouer un rôle important dans les hallucinations. Des données biaisées ou un manque de données pertinentes peuvent en fait donner lieu à des résultats du modèle qui semblent précis mais qui pourraient s'avérer nuisibles, en fonction de la portée des décisions recommandées par le modèle.
• Pénibilité des données : La rareté des données ou le besoin de données récentes ou pertinentes est l'un des problèmes importants qui suscitent des illusions et empêchent les entreprises d'adopter l'IA générative. L'actualisation des données avec le contenu le plus récent et les données contextuelles permet de réduire les illusions et les préjugés.

Lutter contre les hallucinations dans les grands modèles linguistiques

Il existe plusieurs façons de traiter les hallucinations dans les LLM, notamment des techniques telles que le réglage fin, l'ingénierie d'indices et la génération augmentée par récupération (RAG).

• Le réglage fin fait référence au recyclage d'un modèle à l'aide d'un ensemble de données spécifique à un domaine pour générer plus précisément un contenu pertinent pour ce domaine. Cependant, le recyclage ou l'ajustement du modèle prend beaucoup de temps, et de plus, les données deviennent rapidement obsolètes sans formation continue. En outre, le recyclage du modèle entraîne également une charge financière énorme.
• Hint Engineering vise à aider LLM à produire des résultats de haute qualité en fournissant des fonctionnalités plus descriptives et illustratives sous forme d'indices dans l'entrée. Fournir au modèle un contexte supplémentaire et le fonder sur des faits réduit la probabilité que le modèle hallucine.
• Retrieval Augmented Generation (RAG) est un cadre qui vise à fournir aux bases du LLM les informations les plus précises et les plus à jour. La réactivité de LLM peut être améliorée en alimentant le modèle avec des faits issus de bases de connaissances externes en temps réel.

Génération augmentée par récupération et données en temps réel

La génération augmentée par récupération est l'une des techniques les plus prometteuses pour améliorer la précision des grands modèles de langage. Il s'avère que RAG combiné à des données en temps réel peut réduire considérablement les hallucinations.

RAG permet aux entreprises de tirer parti du LLM en exploitant les dernières données propriétaires et contextuelles. De plus, RAG peut également enrichir le contenu d'entrée avec des informations contextuelles spécifiques, aidant ainsi le modèle de langage à générer des réponses plus précises et contextuellement pertinentes. Dans les environnements d'entreprise, les réglages fins sont souvent peu pratiques, mais RAG offre une alternative peu coûteuse et à haut rendement pour offrir une expérience utilisateur personnalisée et informée

Pour améliorer l'efficacité du modèle RAG, il est nécessaire de combiner RAG avec un magasin de données opérationnel capable de stocker des données dans la langue native des LLM, c'est-à-dire des vecteurs mathématiques de grande dimension appelés intégrations qui codent la signification du texte. Lorsqu'un utilisateur pose une requête, la base de données la convertit en un vecteur numérique. De cette manière, les textes apparentés peuvent être interrogés via la base de données vectorielles, qu'ils contiennent ou non les mêmes termes.

Une base de données haute disponibilité et hautes performances, capable de stocker et d'interroger des quantités massives de données non structurées à l'aide de la recherche sémantique, est un élément clé du processus RAG.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!