BLIP-2 et InstructBLIP sont fermement dans le top trois ! Douze modèles majeurs, seize listes, évaluation complète du « grand modèle de langage multimodal »

Le modèle multimodal de langage étendu (MLLM) s'appuie sur la riche réserve de connaissances de LLM et sur ses puissantes capacités de raisonnement et de généralisation pour résoudre des problèmes multimodaux. Certaines capacités étonnantes ont émergé, telles que regarder des images et écrire, regarder des images et écrire du code.

Mais il est difficile de refléter pleinement les performances du MLLM sur la base de ces seuls exemples, et il manque encore une évaluation complète du MLLM.

À cette fin, Tencent Youtu Lab et l'Université de Xiamen ont mené pour la première fois une évaluation quantitative complète de 12 modèles MLLM open source existants sur le nouveau référentiel d'évaluation MM et ont publié 16 classements, incluant à la fois la perception et la cognition. et 14 sous-listes :

Lien papier : https://arxiv.org/pdf/2306.13394.pdf

Lien du projet : https://github.com/BradyFU/Awesome -Multimodal- Large-Language-Models/tree/Evaluation

Les méthodes d'évaluation quantitative existantes du MLLM sont principalement divisées en trois catégories, mais elles présentent toutes certaines limites qui rendent difficile de refléter pleinement leurs performances.

La première catégorie de méthodes est évaluée sur des ensembles de données publics traditionnels, tels que les ensembles de données de légende d'image et de réponse visuelle aux questions (VQA).

Mais d'une part, ces ensembles de données traditionnels peuvent ne pas être en mesure de refléter les nouvelles capacités émergentes du MLLM. D'autre part, étant donné que les ensembles de formation à l'ère des grands modèles ne sont plus unifiés, il est difficile de le faire. garantir que ces ensembles de données d’évaluation n’ont pas été formés par d’autres MLLM.

La deuxième méthode consiste à collecter de nouvelles données pour une évaluation ouverte, mais ces données ne sont pas publiques [1] ou leur nombre est trop petit (seulement 50 images) [2].

La troisième méthode se concentre sur un aspect spécifique du MLLM, comme l'hallucination d'objet [3] ou la robustesse contradictoire [4], et ne peut pas être entièrement évaluée.

Il existe un besoin urgent d'un référentiel d'évaluation complet pour correspondre au développement rapide du MLLM. Les chercheurs estiment qu'un référentiel d'évaluation complet et universel devrait avoir les caractéristiques suivantes :

(1) Il devrait couvrir autant de champ d'application que possible, y compris la perception et les capacités cognitives. Le premier fait référence à l’identification des objets, notamment leur existence, leur quantité, leur emplacement et leur couleur. Ce dernier fait référence à l'intégration d'informations sensorielles et de connaissances dans le LLM pour effectuer un raisonnement plus complexe. Le premier est la base du second.

(2) Les données ou annotations doivent éviter autant que possible d'utiliser des ensembles de données publiques existantes afin de réduire le risque de fuite de données.

(3) Les instructions doivent être aussi concises que possible et cohérentes avec les habitudes cognitives humaines. Différentes conceptions d'instructions peuvent grandement affecter le résultat du modèle, mais tous les modèles sont évalués selon des instructions unifiées et concises pour garantir l'équité. Un bon modèle MLLM doit avoir la capacité de généraliser à des instructions aussi concises pour éviter de tomber dans une ingénierie rapide.

(4) La sortie de MLLM sous cette instruction concise doit être intuitive et pratique pour les statistiques quantitatives. Les réponses ouvertes du MLLM posent de grands défis aux statistiques quantitatives. Les méthodes existantes ont tendance à utiliser le GPT ou la notation manuelle, mais peuvent se heurter à des problèmes d'inexactitude et de subjectivité.

Figure 1. Exemple de référence d'évaluation MME. Chaque image correspond à deux questions, et les réponses sont respectivement Oui[O] et Non[N]. La question et « Veuillez répondre par oui ou par non » forment ensemble la commande.

Sur la base des raisons ci-dessus, un nouveau référentiel d'évaluation MLLM MME a été construit, qui présente simultanément les quatre caractéristiques ci-dessus :

1 MME évalue à la fois la perception et les capacités cognitives. En plus de l'OCR, les capacités de détection incluent la reconnaissance de cibles à gros grain et à grain fin. Le premier identifie la présence, la quantité, l’emplacement et la couleur des objets. Ce dernier identifie les affiches de films, les célébrités, les scènes, les monuments et les œuvres d'art. Les capacités cognitives comprennent le raisonnement de bon sens, les calculs numériques, la traduction de texte et le raisonnement codé. Le nombre total de sous-tâches atteint 14, comme le montre la figure 1.

2. Toutes les paires commande-réponse dans MME sont construites manuellement. Pour les quelques ensembles de données accessibles au public utilisés, seules leurs images ont été utilisées sans s'appuyer sur leurs annotations originales. Dans le même temps, les chercheurs font également de leur mieux pour collecter des données grâce à la photographie manuelle et à la génération d’images.

3. Les instructions MME sont conçues pour être aussi concises que possible afin d'éviter l'impact de Prompt Engineering sur la sortie du modèle. Les chercheurs réitèrent qu'un bon MLLM devrait généraliser à des instructions aussi concises et fréquemment utilisées, ce qui est juste pour tous les modèles. Les instructions pour chaque sous-tâche sont présentées dans la figure 1.

4. Grâce à la conception de la commande « Veuillez répondre par oui ou par non », des statistiques quantitatives peuvent être facilement réalisées sur la base de la sortie « Oui » ou « Non » du modèle. Cette méthode peut garantir à la fois précision et objectivité. temps. Il convient de noter que les chercheurs ont également essayé de concevoir des instructions pour les questions à choix multiples, mais ont constaté qu'il est encore difficile de suivre des instructions aussi complexes dans le MLLM actuel.

Les chercheurs ont évalué un total de 12 modèles MLLM avancés, dont BLIP-2 [5], LLaVA [6], MiniGPT-4 [7], mPLUG-Owl [2], LLaMA-Adapter-v2 [8] ] , Otter [9], Multimodal-GPT [10], InstructBLIP [11], VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] et LaVIN [15].

Parmi eux, il existe trois indicateurs statistiques, dont Accuracy, Accuracy+ et Score. Pour chaque tâche, la précision est basée sur les statistiques des questions, la précision+ est basée sur les statistiques des images (les deux questions correspondant aux images doivent recevoir une réponse correcte) et le score est la somme de la précision et de la précision+.

Le score total de perception est la somme des scores de 10 sous-tâches perceptuelles, et le score total de cognition est la somme des scores de 4 tâches cognitives. Voir le lien du projet pour plus de détails.

La comparaison des tests de 12 modèles sur 14 sous-tâches est présentée dans la figure 2 :

Figure 2. Comparaison de 12 modèles sur 14 sous-tâches. Le score total pour chaque sous-tâche est de 200 points.

Au total, 16 listes, comprenant la liste globale des catégories de perception et de cognition et les listes de 14 sous-tâches, ont également été publiées. Les deux listes globales sont présentées respectivement dans les figures 3 et 4. Il convient de noter que BLIP-2 et InstructBLIP restent parmi les trois premiers des deux listes.

Photos

Figure 3. Liste totale des tâches de perception

Figure 4. Liste totale des tâches cognitives

Figure 5. Toutes les listes

Dans En outre, les chercheurs ont également résumé certains problèmes courants exposés par le modèle MLLM dans les expériences, comme le montre la figure 6, dans l'espoir de fournir des conseils pour l'optimisation ultérieure du modèle.

Photos

Figure 6. Problèmes courants exposés par MLLM. [O]/[N] signifie que la vraie réponse est Oui/Non. [R] est la réponse générée par MLLM.

Le premier problème est de ne pas suivre les instructions.

Bien qu'une conception d'instructions très concise ait été adoptée, il existe toujours des MLLM qui sont libres de répondre aux questions plutôt que de suivre les instructions.

Comme le montre la première ligne de la figure 6, l'instruction indique "Veuillez répondre par oui ou par non", mais MLLM n'a donné qu'une réponse déclarative. Si « Oui » ou « Non » n'apparaît pas au début de la réponse, la réponse est jugée incorrecte. Un bon MLLM, surtout après avoir affiné les instructions, devrait être capable de généraliser à des instructions aussi simples.

Le deuxième problème est le manque de perception.

Comme le montre la deuxième rangée de la figure 6, MLLM a identifié de manière incorrecte le nombre de bananes dans la première image et le nombre dans la deuxième image, ce qui a entraîné des réponses erronées. Les chercheurs ont également remarqué que les performances perceptuelles étaient facilement affectées par les changements d’instructions, puisque deux instructions pour la même image qui différaient d’un seul mot entraînaient des résultats perceptuels complètement différents.

Le troisième problème est le manque de capacité de raisonnement.

Comme le montre la troisième ligne de la figure 6, il ressort du texte rouge que MLLM sait déjà que la première image n'est pas un espace de bureau, mais a quand même donné une réponse incorrecte « Oui ».

De même, sur la deuxième image, MLLM a calculé le résultat arithmétique correct, mais a finalement également donné la mauvaise réponse. L’ajout d’une invite de chaîne de pensée, telle que « Réfléchissons étape par étape », peut apporter de meilleurs résultats. Dans l’attente de recherches plus approfondies dans ce domaine.

La quatrième question est la vision objet suite à la commande. Comme le montre la quatrième ligne de la figure 6, lorsque l'instruction contient un objet qui n'existe pas dans l'image, MLLM imaginera que l'objet existe et donnera finalement une réponse « Oui ».

Cette approche consistant à toujours répondre « Oui » entraîne une précision proche de 50 % et une précision+ proche de 0. Cela démontre l’importance de supprimer les hallucinations cibles et nécessite également une réflexion plus approfondie sur la fiabilité des réponses générées par MLLM.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!