Autonomiser l'IA avec des sens: un voyage dans les LLMS multimodales partie 1

Modèles multimodaux de grande langue (LLMS): combler l'écart entre le texte et la vision

Notre monde est vécu à travers plusieurs sens - langue, vue, odeur et contact - nous permettant de comprendre notre environnement. Les humains sont particulièrement aptes au raisonnement linguistique et à la mémoire visuelle. À mesure que les modèles génératifs de l'IA (Genai) avancent, les chercheurs se concentrent sur l'intégration de la multimodalité pour étendre leurs capacités. Les modèles traditionnels de grande langue (LLM) sont limités à la saisie et à la sortie de texte, négligeant d'autres modalités comme les images, les vidéos ou l'audio. Alors que les LLM excellaient aux tâches telles que la réponse aux questions, le résumé, la traduction et la génération de code, l'intégration d'autres modalités (créant des LLM multimodales) débloque un potentiel significatif. Par exemple, la combinaison de données de texte et d'image permet aux applications comme la réponse à la question visuelle, la segmentation d'image et la détection d'objets. L'ajout de vidéo améliore encore les capacités de l'analyse des médias avancés.

Table des matières

• Introduction aux LLMS multimodaux
• ensembles de données et prétraitement
• Applications de LLMS multimodaux
  • Le sous-titrage de l'image
  • Extraction d'informations
  • Interprétation visuelle et raisonnement
  • Reconnaissance optique des caractères (OCR)
  • Détection et segmentation des objets
• Architectures de grands modèles de langue de vision (LVLMS)
  • VLMS à deux points
  • VLMS à deux jambes
  • VLMS avec Encodeur d'image, encodeur de texte et décodeur
  • VLMS avec architecture de coder-décodeur
• Conclusion

Introduction aux LLMS multimodaux

Genai englobe les modèles d'apprentissage automatique capables de générer de nouveaux contenus. Les modèles de texte à texte, par exemple, génèrent du texte à partir de l'entrée de texte. Cependant, l'extension LLMS avec d'autres modalités ouvre des portes à l'image à image, au texte-vidéo, au texte-parole, à l'image à l'image et à l'image-vidéo. Ceux-ci sont appelés grands modèles multimodaux (LLMS multimodaux). La formation de ces modèles implique de grands ensembles de données contenant du texte et d'autres modalités, permettant à l'algorithme d'apprendre des relations entre tous les types d'entrée. Surtout, ces modèles ne sont pas limités aux types d'entrée / de sortie uniques; Ils s'adaptent à diverses modalités. Cela fournit au système une compréhension plus riche de l'entrée sensorielle.

Cet article est divisé en deux parties: le premier explore les applications et les architectures des LLM multimodaux, tandis que le second (non inclus ici) détaille la formation d'un modèle de vision plus petit.

ensembles de données et prétraitement

combiner différents types de données pour créer des LLM multimodales présente des défis, en particulier lors de la gestion des données 1D, 2D et 3D simultanément. Cela nécessite une approche séquentielle et étape par étape avec une conservation minutieuse des données pour optimiser les performances du modèle.

Cette discussion se concentre sur le texte et les images. Les images et les vidéos, contrairement au texte, varient en taille et en résolution, nécessitant un prétraitement robuste pour normaliser les entrées. Des images, des vidéos, des invites et des métadonnées doivent être prêts à faciliter les processus de pensée cohérents et la cohérence logique pendant l'inférence. Les modèles formés sur des données de texte, d'image et de vidéo sont appelés grands modèles de vision (LVLMS).

Applications de LLMS multimodaux

L'image suivante (à partir d'un article QWEN2-VL) illustre un modèle de vision basé sur le QWEN2 LLM, capable de gérer diverses tâches visuelles.

Le diagramme ci-dessous montre comment un modèle de langage multimodal (MMLM) traite l'image, le texte, l'audio et les données vidéo pour atteindre divers objectifs. Le Core MMLM intègre ces modalités pour le traitement combiné.

Les sections suivantes détaillent les applications spécifiques (exemples de code omis pour la concision):

1. Cabillage d'image: générer des descriptions textuelles des images.

2. Extraction d'informations: récupération de fonctionnalités ou de points de données spécifiques à partir d'images (par exemple, couleur de l'objet, texte).

3. Interprétation visuelle et raisonnement: analyser les images et effectuer des tâches de raisonnement basées sur des informations visuelles.

4. Reconnaissance de caractères optiques (OCR): Extraction du texte des images.

5. Détection et segmentation des objets: identifier et classer les objets dans les images, les segmenter potentiellement en régions distinctes.

Architectures de grands modèles de langue de vision (LVLMS)

L'objectif de LVLMS est d'unifier les fonctionnalités des images, des vidéos et du texte. Plusieurs architectures sont explorées pour la pré-formation:

1. VLMS à deux puissances: les images et le texte sont codés séparément et formés avec un objectif partagé pour aligner les informations des deux modalités.

2. VLMS à deux pattes: similaire à deux points, mais inclut une couche de fusion pour fusionner les fonctionnalités d'image et de texte avant l'objectif partagé.

3. VLMS avec Encodeur d'image - Encodeur de texte et décodeur: un encodeur d'image traite les images, tandis que les données de texte sont traitées par des encodeurs et des décodeurs distincts, permettant des interactions plus complexes.

4. VLMS avec architecture d'encodeur-décodeur: Les images sont traitées par un encodeur, le texte d'un décodeur, avec des fonctionnalités combinées (via la concaténation ou la transtention croisée) avant le décodage.

Conclusion

Les LLM multimodales, en particulier les VLM, sont formés sur des ensembles de données de texte d'image pour combler l'écart entre les données visuelles et textuelles. Ils excellent dans les tâches visuelles, mais obtenir des performances élevées nécessite des ensembles de données et des ressources de calcul substantiels. Bien que capables de nombreuses tâches visuelles, les limites restent dans le raisonnement complexe et l'extraction des données. Des recherches et du développement plus approfondis sont cruciaux pour surmonter ces limites et débloquer le plein potentiel des LLMS multimodales.

références (liste fournie dans le texte d'origine)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!