Le cadre d'évaluation de modèles multimodaux lmms-eval est disponible ! Couverture complète, faible coût, zéro pollution

La rubrique AIxiv est une rubrique où des contenus académiques et techniques sont publiés sur ce site. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com

Avec l'approfondissement de la recherche sur les grands modèles, la manière de les promouvoir vers davantage de modalités est devenue un sujet brûlant dans le monde universitaire et l'industrie. Les grands modèles à source fermée récemment publiés, tels que GPT-4o et Claude 3.5, possèdent déjà de solides capacités de compréhension d'images, et les modèles de terrain open source tels que LLaVA-NeXT, MiniCPM et InternVL ont également montré des performances qui se rapprochent de celles des sources fermées. .

À l'ère des « 80 000 kilogrammes par mu » et « un SoTA tous les 10 jours », un cadre d'évaluation multimodal facile à utiliser, doté de normes transparentes et reproductible est devenu de plus en plus important, et ce n'est pas facile.

Afin de résoudre les problèmes ci-dessus, des chercheurs du LMMs-Lab de l'Université technologique de Nanyang ont conjointement open source LMMs-Eval, qui est un cadre d'évaluation spécialement conçu pour les modèles multimodaux à grande échelle et fournit une évaluation des modèles multimodaux (LMM ). Une solution unique et efficace.

• Référentiel de codes : https://github.com/EvolvingLMMs-Lab/lmms-eval

• Page d'accueil officielle : https://lmms-lab.github.io/

• Adresse papier : https://arxiv.org/abs/2407.12772

• Adresse de la liste : https://huggingface.co/spaces/lmms-lab/LiveBench

Depuis sa sortie en mars 2024, LMMs-Eval Le framework a reçu des contributions collaboratives de la communauté open source, des entreprises et des universités. Il a désormais reçu 1,1K étoiles sur Github, avec plus de 30+ contributeurs, dont un total de plus de 80 ensembles de données et plus de 10 modèles, et il continue d'augmenter.

Cadre d'évaluation standardisé

Afin de fournir une plateforme d'évaluation standardisée, LMMs-Eval comprend les fonctionnalités suivantes :

1. Interface unifiée : LMMs-Eval est basé sur le cadre d'évaluation de texte lm-evaluation- exploiter Il a été amélioré et étendu pour permettre aux utilisateurs d'ajouter de nouveaux modèles et ensembles de données multimodaux en définissant une interface unifiée pour les modèles, les ensembles de données et les indicateurs d'évaluation.

2. Lancement en un clic : LMMs-Eval héberge plus de 80 (et un nombre croissant) d'ensembles de données sur HuggingFace, soigneusement transformés à partir des sources d'origine, y compris toutes les variantes, versions et divisions. Les utilisateurs n'ont pas besoin de faire de préparation. Avec une seule commande, plusieurs ensembles de données et modèles seront automatiquement téléchargés et testés, et les résultats seront disponibles en quelques minutes.

3. Transparent et reproductible : LMMs-Eval dispose d'un outil de journalisation unifié intégré. Chaque question répondue par le modèle et si elle est correcte ou non sera enregistrée, garantissant la reproductibilité et la transparence. Cela facilite également la comparaison des avantages et des inconvénients des différents modèles.

La vision de LMMs-Eval est que les futurs modèles multimodaux n'ont plus besoin d'écrire leur propre code de traitement des données, d'inférence et de soumission. Dans l'environnement actuel où les ensembles de tests multimodaux sont très concentrés, cette approche est irréaliste et les scores mesurés sont difficiles à comparer directement avec d'autres modèles. En accédant à LMMs-Eval, les formateurs de modèles peuvent se concentrer davantage sur l'amélioration et l'optimisation du modèle lui-même, plutôt que de consacrer du temps aux résultats d'évaluation et d'alignement.

Le « Triangle impossible » de l'évaluation

Le but ultime de LMMs-Eval est de trouver une méthode 1. large couverture 2. faible coût 3. zéro fuite de données pour évaluer les LMM. Cependant, même avec LMMs-Eval, l’équipe d’auteurs a trouvé difficile, voire impossible, de réaliser les trois en même temps.

Comme le montre la figure ci-dessous, lorsqu'ils ont étendu l'ensemble de données d'évaluation à plus de 50, il est devenu très long d'effectuer une évaluation complète de ces ensembles de données. De plus, ces benchmarks sont également susceptibles d’être contaminés lors de la formation. À cette fin, LMMs-Eval a proposé LMMs-Eval-Lite pour prendre en compte une large couverture et un faible coût. Ils ont également conçu LiveBench pour qu'il soit peu coûteux et sans fuite de données.

LMMs-Eval-Lite : évaluation légère à large couverture

Lors de l'évaluation de grands modèles, le grand nombre de paramètres et de tâches de test augmentent souvent considérablement le temps et le coût de la tâche d'évaluation, de sorte que tout le monde choisit souvent d'utiliser des modèles plus petits. Ensemble de données ou utiliser un ensemble de données spécifique pour l’évaluation. Cependant, une évaluation limitée conduit souvent à un manque de compréhension des capacités du modèle. Afin de prendre en compte à la fois la diversité des évaluations et le coût de l'évaluation, LMMs-Eval a lancé LMMs-Eval-Lite

#. 🎜🎜 #

LMMs-Eval-Lite vise à construire un ensemble de références simplifié pour fournir des signaux utiles et rapides lors du développement du modèle, évitant ainsi le problème de ballonnement des tests d'aujourd'hui. Si nous pouvons trouver un sous-ensemble de l'ensemble de tests existant sur lequel les scores absolus et les classements relatifs entre les modèles restent similaires à l'ensemble complet, nous pouvons alors considérer qu'il est prudent d'élaguer ces ensembles de données.

Afin de trouver les points saillants des données dans l'ensemble de données, LMMs-Eval utilise d'abord les modèles CLIP et BGE pour convertir l'ensemble de données d'évaluation multimodale sous forme d'intégration vectorielle et utilise le k- méthode de clustering gourmande pour trouver des points significatifs dans les données. Lors des tests, ces ensembles de données plus petits ont néanmoins démontré des capacités d'évaluation similaires à celles de l'ensemble complet.

Ensuite, LMMs-Eval a utilisé la même méthode pour créer une version Lite couvrant davantage d'ensembles de données, conçues pour aider les gens à économiser de l'argent dans le développement. coût afin de juger rapidement des performances du modèle Les benchmarks traditionnels se concentrent sur une évaluation statique utilisant des questions et réponses fixes. Avec les progrès de la recherche multimodale, les modèles open source sont souvent meilleurs que les modèles commerciaux, tels que GPT-4V, en termes de comparaison des scores, mais ils sont à la traîne en termes d'expérience utilisateur réelle. Les Chatbots Arenas et WildVision dynamiques et dirigés par l'utilisateur sont de plus en plus populaires pour l'évaluation de modèles, mais ils nécessitent la collecte de milliers de préférences d'utilisateur et sont extrêmement coûteux à évaluer.

L'idée principale de LiveBench est d'évaluer les performances du modèle sur un ensemble de données continuellement mis à jour pour atteindre zéro contamination et maintenir les coûts à un niveau bas. L'équipe d'auteurs a collecté des données d'évaluation sur le Web et a construit un pipeline pour collecter automatiquement les dernières informations mondiales à partir de sites Web tels que des forums d'actualités et communautaires. Pour garantir l'actualité et l'authenticité des informations, l'équipe d'auteurs a sélectionné des sources provenant de plus de 60 médias, dont CNN, la BBC, l'Asahi Shimbun du Japon et l'agence de presse chinoise Xinhua, ainsi que des forums tels que Reddit. Les étapes spécifiques sont les suivantes :

Capturez une capture d'écran de la page d'accueil et supprimez les publicités et les éléments non liés aux actualités.

Concevez des ensembles de questions et réponses en utilisant les modèles multimodaux les plus puissants actuellement disponibles, tels que GPT4-V, Claude-3-Opus et Gemini-1.5-Pro. Questions examinées et révisées par un autre modèle pour garantir l’exactitude et la pertinence.

L'ensemble final de questions-réponses est examiné manuellement, environ 500 questions sont collectées chaque mois et 100 à 300 sont conservées comme ensemble final de questions du livebench.
En utilisant les critères de notation de LLaVA-Wilder et Vibe-Eval -- le modèle de notation obtient des scores basés sur les réponses standard fournies, et la plage de scores est [1, 10 ]. Le modèle de notation par défaut est GPT-4o, Claude-3-Opus et Gemini 1.5 Pro étant également inclus comme alternatives. Les résultats finaux rapportés seront basés sur des scores convertis en une mesure de précision allant de 0 à 100.

3. À l'avenir, vous pourrez également consulter les modèles multimodaux dans notre liste mise à jour dynamiquement, qui sera mis à jour dynamiquement chaque mois Les dernières données d'évaluation, ainsi que les résultats de la dernière évaluation de la liste.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!