Le premier MLLM basé sur Mamba est là ! Les poids des modèles, le code de formation, etc. sont tous open source

La rubrique AIxiv est une rubrique où des contenus académiques et techniques sont publiés sur ce site. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com.

Introduction

Ces dernières années, l'application de grands modèles de langage multimodaux (MLLM) dans divers domaines a connu un succès significatif. Cependant, en tant que modèle sous-jacent à de nombreuses tâches en aval, les MLLM actuels sont constitués du célèbre réseau Transformer, dont la complexité de calcul quadratique est moins efficace. Afin d'améliorer l'efficacité de ces modèles de base, un grand nombre d'expériences montrent que : (1) Cobra a des performances extrêmement compétitives par rapport aux méthodes de pointe actuelles avec une efficacité de calcul élevée (par exemple, LLaVA-Phi, TinyLLaVA et MobileVLM v2), et grâce à la modélisation de séquences linéaires Cobra, qui est plus rapide. (2) Il est intéressant de noter que les résultats du test de prédiction difficile en ensemble fermé montrent que Cobra réussit bien à surmonter les illusions visuelles et les jugements sur les relations spatiales. (3) Il convient de noter que Cobra atteint des performances comparables à celles de LLaVA même lorsque le nombre de paramètres ne représente qu'environ 43 % de LLaVA.

Les grands modèles de langage (LLM) se limitent à interagir uniquement par le biais du langage, ce qui limite leur adaptabilité à gérer des tâches plus diverses. La compréhension multimodale est essentielle pour améliorer la capacité d’un modèle à relever efficacement les défis du monde réel. Par conséquent, les chercheurs travaillent activement à l’extension des grands modèles de langage afin d’incorporer des capacités de traitement de l’information multimodale. Des modèles de langage visuel (VLM) tels que GPT-4, LLaMA-Adapter et LLaVA ont été développés pour améliorer les capacités de compréhension visuelle des LLM.

Cependant, des recherches antérieures ont principalement tenté d'obtenir des VLM efficaces d'une manière similaire, c'est-à-dire en réduisant les paramètres du modèle de langage de base ou le nombre de jetons visuels tout en gardant inchangée la structure du Transformer basée sur l'attention. Cet article propose une perspective différente : en utilisant directement le modèle d'espace d'états (SSM) comme réseau principal, un MLLM avec une complexité de calcul linéaire est obtenu. De plus, cet article explore et étudie divers schémas de fusion modale pour créer un Mamba multimodal efficace. Plus précisément, cet article adopte le modèle de langage Mamba comme modèle de base de VLM, qui a montré des performances capables de rivaliser avec le modèle de langage Transformer, mais avec une efficacité d'inférence plus élevée. Les tests montrent que les performances d'inférence de Cobra sont 3 à 4 fois plus rapides que celles de MobileVLM v2 3B et TinyLLaVA 3B de même ampleur de paramètre. Même comparé au modèle LLaVA v1.5 (paramètres 7B), qui possède un nombre de paramètres beaucoup plus élevé, Cobra atteint toujours des performances équivalentes sur plusieurs benchmarks avec environ 43 % du nombre de paramètres.

                                                                                                                                                                                                                                                                         

Les modèles linguistiques multimodaux à grande échelle (MLLM) existants étudiés reposent souvent sur des réseaux Transformer, qui présentent une complexité de calcul quadratique. Pour remédier à cette inefficacité, cet article présente Cobra, un nouveau MLLM avec une complexité informatique linéaire.

Plonge dans divers schémas de fusion modale pour optimiser l'intégration des informations visuelles et linguistiques dans le modèle linguistique Mamba. À travers des expériences, cet article explore l'efficacité de différentes stratégies de fusion et détermine la méthode qui produit la représentation multimodale la plus efficace.

Des expériences approfondies ont été menées pour évaluer les performances de Cobra avec des études parallèles visant à améliorer l'efficacité informatique du MLLM sous-jacent. Notamment, Cobra atteint des performances comparables à celles de LLaVA même avec moins de paramètres, soulignant ainsi son efficacité.
2. • Lien original : https://arxiv.org/pdf/2403.14520v2.pdf
   • Lien du projet : https://sites.google.com/view/cobravlm/
   • Titre de l'article : Cobra : Extension de Mamba à un grand modèle de langage multimodal pour une inférence efficace Structure du ML se compose d’un projecteur dynamique et de l’épine dorsale du langage LLM. La partie principale de LLM utilise le modèle de langage Mamba pré-entraîné aux paramètres 2,8B, qui a été pré-entraîné sur l'ensemble de données SlimPajama avec 600B de jetons et affiné avec les instructions des données de conversation.网络 Diagramme de structure du réseau Cobra

   
   

   Différent de LLAVA, etc., COBRA utilise la représentation visuelle de la fusion Dinov2 et SIGLIP En assemblant la sortie des deux codeurs visuels en alimentant le projecteur, le modèle peut mieux capturer le. les fonctionnalités sémantiques de haut niveau apportées par SigLIP et les fonctionnalités d'image à granularité fine de bas niveau extraites par DINOv2.

   
   

   Schéma de formation

   
   Des recherches récentes montrent que pour les paradigmes de formation existants basés sur LLaVA (c'est-à-dire, entraîner une seule fois l'étape de pré-alignement de la couche de projection et l'étape de réglage fin du squelette LLM chacun), les étapes de pré-alignement peuvent être inutiles et le modèle affiné peut encore être sous-ajusté. Par conséquent, Cobra abandonne l’étape de pré-alignement et affine directement l’ensemble de la structure du langage LLM et des projecteurs. Ce processus de réglage fin a été effectué pendant deux époques avec un échantillonnage aléatoire sur un ensemble de données combiné composé de :

   

   Ensemble de données hybride utilisé dans LLaVA v1.5, qui contenait un total de 655 000 conversations visuelles à plusieurs tours, y compris académiques. Des échantillons VQA, ainsi que des données de réglage des instructions visuelles dans LLaVA-Instruct et des données de réglage des instructions en texte brut dans ShareGPT. LVIS-Instruct-4V, qui contient 220 000 images avec alignement visuel et instructions contextuelles générées par GPT-4V.

   
   

   LRV-Instruct, un ensemble de données contenant 400K instructions visuelles couvrant 16 tâches de langage visuel, visant à atténuer les phénomènes d'hallucination.

   
   

   L'ensemble de données contient environ 1,2 million d'images et plusieurs séries de données de conversation correspondantes, ainsi que des données de conversation en texte brut.

   
   

   Expérience

   
   

   1. Expérience quantitative
   Dans la partie expérimentale, cet article compare le modèle Cobra proposé et le modèle open source SOTA VLM sur le benchmark de base, et le compare avec la même L'ampleur est basée sur la vitesse de réponse du modèle VLM basé sur l'architecture Transformer. Dans le même temps, en comparant la vitesse de génération et les performances du graphique, le COBRA est également les quatre tâches VQA ouvertes de VQA-V2, GQA, Vizwiz, TextVQA et VSR, POPE deux pour une tâche de prédiction d'ensemble fermé , les scores ont été comparés sur un total de 6 critères de référence. La comparaison de la carte sur le Benchmark et d'autres modèles open source

   
   

   Test qualitatif

   
   

   De plus, Cobra donne également deux exemples VQA pour illustrer qualitativement le Cobra dans l'objet de l'objet. Supériorité dans la capacité à reconnaître les relations spatiales et à réduire l'illusion du modèle.和 Figure COBRA et autres modèles de base dans le jugement des relations spatiales des objets

   
   

   和 Figure Cobra et d'autres modèles de base dans l'exemple de l'illusion visuelle

   Dans les exemples, Llava V1.5 et Mobilevlm reçoivent une réponse d'erreur, tandis que COBRA le fait. Une description précise a été donnée, surtout dans le deuxième cas, Cobra a identifié avec précision que l'image provenait de l'environnement de simulation du robot.
   

   
   Expérience d'ablation

   Cet article mène des recherches d'ablation sur la solution adoptée par Cobra à partir des deux dimensions de performance et de vitesse de génération. Le plan expérimental mène des expériences d'ablation sur le projecteur, l'encodeur visuel et le squelette du langage LLM respectivement. La comparaison des performances de l'expérience d'ablation de diagramme montre que les expériences d'ablation de la partie projet du projecteur montrent que l'effet du projecteur MLP adopté dans cet article est nettement meilleur que celui dédié à la réduction du nombre de jetons visuels au LDP. Le module améliore la vitesse de calcul.En même temps, comme la vitesse de traitement des séquences et la complexité de calcul de Cobra sont meilleures que celles de Transformer, le module LDP n'a aucun avantage évident en termes de vitesse de génération. Par conséquent, le modèle de classe Mamba est utilisé pour réduire le nombre de jetons visuels. en sacrifiant la précision, l'échantillonneur peut ne pas être nécessaire.和 Figure COBRA et autres modèles dans la gamme de comparaison de vitesse de génération
   

   

   Les résultats d'ablation de la partie encodeur visuel montrent que la fusion des fonctionnalités de Dinov2 améliore efficacement les performances de COBRA. Dans l'expérience de base du langage, le modèle de langage Mamba sans réglage fin des instructions a été totalement incapable de donner des réponses raisonnables au test ouvert de questions et réponses, tandis que le modèle de langage Mamba affiné peut atteindre des performances considérables sur diverses tâches.

   Conclusion

   
   

   Cet article propose Cobra, qui résout le goulot d'étranglement d'efficacité des modèles de langage multimodaux existants à grande échelle qui s'appuient sur des réseaux Transformer avec une complexité informatique quadratique. Cet article explore la combinaison de modèles de langage avec une complexité informatique linéaire et une entrée multimodale. En termes de fusion d'informations visuelles et linguistiques, cet article optimise avec succès l'intégration des informations internes du modèle de langage Mamba et obtient une représentation multimodale plus efficace grâce à une recherche approfondie sur différents schémas de fusion modale. Les expériences montrent que Cobra améliore non seulement de manière significative l'efficacité informatique, mais est également comparable en termes de performances à des modèles avancés tels que LLaVA, en particulier pour surmonter les illusions visuelles et les jugements sur les relations spatiales. Cela réduit même considérablement le nombre de paramètres. Cela ouvre de nouvelles possibilités pour le déploiement futur de modèles d’IA hautes performances dans des environnements nécessitant un traitement à haute fréquence d’informations visuelles, tels que le contrôle par rétroaction des robots basé sur la vision.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!