


La dernière CMMMU de référence adaptée au physique chinois LMM : comprend plus de 30 subdivisions et 12 000 questions de niveau expert.
À mesure que les grands modèles multimodaux (LMM) continuent de progresser, le besoin d'évaluer les performances des LMM augmente également. Surtout dans l’environnement chinois, il devient plus important d’évaluer les connaissances avancées et la capacité de raisonnement du LMM.
Dans ce contexte, afin d'évaluer les capacités de compréhension multimodale de niveau expert du modèle de base dans diverses tâches en chinois, la communauté open source M-A-P, l'Université des sciences et technologies de Hong Kong, l'Université de Waterloo et Zero One Thing a lancé conjointement le benchmark CMMMU (Chinese Massive Multi -discipline Multimodal Understanding and Reasoning). Ce benchmark vise à fournir une plateforme d'évaluation complète pour la compréhension et le raisonnement multidisciplinaires et multimodaux à grande échelle en chinois. Le benchmark permet aux chercheurs de tester des modèles sur diverses tâches et de comparer leurs capacités de compréhension multimodale aux niveaux professionnels. L'objectif de ce projet commun est de promouvoir le développement du domaine de la compréhension et du raisonnement multimodal chinois et de fournir une référence standardisée pour la recherche connexe.
CMMMU couvre six grandes catégories de matières, dont les arts, les affaires, la santé et la médecine, les sciences, les sciences humaines et sociales, la technologie et l'ingénierie, impliquant plus de 30 subdivisions. La figure ci-dessous montre un exemple de question pour chaque sous-domaine. CMMMU est l'un des premiers benchmarks multimodaux dans le contexte chinois et l'un des rares benchmarks multimodaux à examiner les capacités complexes de compréhension et de raisonnement du LMM.
Construction d'un ensemble de données
Collecte de données
La collecte de données est divisée en trois étapes. Premièrement, les chercheurs ont collecté des sources de questions pour chaque sujet répondant aux exigences de licence en matière de droit d'auteur, y compris les pages Web ou les livres. Au cours de ce processus, ils ont travaillé dur pour éviter la duplication des sources de questions afin de garantir la diversité et l'exactitude des données. Deuxièmement, les chercheurs ont transmis les sources des questions à des annotateurs participatifs pour une annotation ultérieure. Tous les annotateurs sont des personnes titulaires d'un baccalauréat ou d'un diplôme supérieur afin de garantir qu'ils peuvent vérifier les questions annotées et les explications associées. Pendant le processus d'annotation, les chercheurs exigent que les annotateurs suivent strictement les principes d'annotation. Par exemple, filtrez les questions qui ne nécessitent pas de réponses avec des images, filtrez les questions qui utilisent les mêmes images autant que possible et filtrez les questions qui ne nécessitent pas de connaissances spécialisées pour répondre. Enfin, afin d'équilibrer le nombre de questions pour chaque sujet de l'ensemble de données, les chercheurs ont spécifiquement complété les sujets avec moins de questions. Cela garantit l’exhaustivité et la représentativité de l’ensemble de données, permettant aux analyses et recherches ultérieures d’être plus précises et plus complètes.
Nettoyage des ensembles de données
Afin d'améliorer encore la qualité des données du CMMMU, les chercheurs suivent des protocoles stricts de contrôle de la qualité des données. Premièrement, chaque question est vérifiée personnellement par au moins un des auteurs de l'article. Deuxièmement, afin d'éviter les problèmes de pollution des données, ils ont également éliminé les questions auxquelles plusieurs LLM pouvaient répondre sans recourir à la technologie OCR. Ces mesures garantissent la fiabilité et l’exactitude des données de la CMMMU.
Aperçu de l'ensemble de données
CMMMU contient un total de 12 000 questions, qui sont divisées en un ensemble de développement de quelques échantillons, un ensemble de vérification et un ensemble de test. L'ensemble de développement à quelques échantillons contient environ 5 questions pour chaque sujet, l'ensemble de validation comprend 900 questions et l'ensemble de test contient 11 000 questions. Les questions couvrent 39 types d'images, dont des diagrammes pathologiques, des diagrammes de notation musicale, des schémas de circuits, des diagrammes de structure chimique, etc. Les questions sont divisées en trois niveaux de difficulté : facile (30 %), moyen (58 %) et difficile (12 %) basés sur la difficulté logique plutôt que sur la difficulté intellectuelle. D’autres statistiques sur les questions peuvent être trouvées dans les tableaux 2 et 3. L’équipe a testé les performances d’une variété de LMM bilingues chinois et anglais traditionnels et de plusieurs LLM sur CMMMU. Les modèles fermés et open source sont inclus. Le processus d'évaluation utilise des paramètres zéro-shot au lieu de réglages fins ou de quelques-shots pour vérifier les capacités brutes du modèle. LLM a également ajouté des expériences dans lesquelles les résultats de l'OCR d'image + le texte sont utilisés comme entrée. Toutes les expériences ont été réalisées sur un processeur graphique NVIDIA A100.
Le tableau 4 présente les résultats expérimentaux :
Certaines conclusions importantes incluent :
- CMMMU est plus difficile que MMMU, et cela part du principe que MMMU est déjà très difficile. La précision du
GPT-4V dans le contexte chinois n'est que de 41,7 %, tandis que sa précision dans le contexte anglais est de 55,7 %. Cela montre que les méthodes de généralisation multilingue existantes ne sont pas assez performantes, même pour les LMM à source fermée de pointe.
- Par rapport au MMMU, l'écart entre les modèles open source représentatifs nationaux et le GPT-4V est relativement faible.
La différence entre Qwen-VL-Chat et GPT-4V sur MMMU est de 13,3%, tandis que la différence entre BLIP2-FLAN-T5-XXL et GPT-4V sur MMMU est de 21,9%. Étonnamment, Yi-VL-34B réduit même l'écart entre le LMM bilingue open source et le GPT-4V sur CMMMU à 7,5 %, ce qui signifie que dans l'environnement chinois, le LMM bilingue open source est équivalent au GPT-4V, ce qui est est un développement prometteur dans la communauté open source.
- Dans la communauté open source, la partie à la recherche de l'intelligence générale artificielle (AGI) multimodale experte chinoise vient de commencer. L'équipe
a souligné que, à l'exception des Qwen-VL-Chat, Yi-VL-6B et Yi-VL-34B récemment publiés, tous les LMM bilingues de la communauté open source ne peuvent atteindre qu'une précision comparable à celle des fréquents CMMMU. choix.
Analyse de différentes difficultés de questions et types de questions
- Différents types de questions
Les différences entre les séries Yi-VL, Qwen-VL-Plus et GPT-4V sont principalement dues à Ils diffèrent par leur capacité à répondre à des questions à choix multiples.
Les résultats des différents types de questions sont présentés dans le tableau 5 :
- Différentes difficultés de questions
Ce qu'il convient de noter dans les résultats, c'est que le meilleur LMM open source (c'est-à-dire Yi -VL- 34B) et GPT-4V ont un grand écart face à des problèmes moyens et difficiles. Cela constitue une preuve supplémentaire que la principale différence entre les LMM open source et le GPT-4V réside dans la capacité à calculer et à raisonner dans des conditions complexes.
Les résultats des différentes difficultés des questions sont présentés dans le tableau 6 :
Analyse des erreurs
Les chercheurs ont soigneusement analysé les mauvaises réponses du GPT-4V. Comme le montre la figure ci-dessous, les principaux types d’erreurs sont les erreurs de perception, le manque de connaissances, les erreurs de raisonnement, le refus de répondre et les erreurs d’annotation. L'analyse de ces types d'erreurs est essentielle pour comprendre les capacités et les limites des LMM actuels et peut également guider les futures améliorations des modèles de conception et de formation.
- Erreur de perception (26%) : L'erreur de perception est l'une des principales raisons pour lesquelles GPT-4V produit des exemples incorrects. D’une part, lorsque le modèle ne peut pas comprendre l’image, il introduit un biais dans la perception sous-jacente de l’image, conduisant à des réponses incorrectes. D’un autre côté, lorsqu’un modèle rencontre des ambiguïtés dans les connaissances spécifiques à un domaine, des significations implicites ou des formules peu claires, il présente souvent des erreurs de perception spécifiques à un domaine. Dans ce cas, GPT-4V a tendance à s'appuyer davantage sur des réponses basées sur des informations textuelles (c'est-à-dire des questions et des options), donnant la priorité aux informations textuelles par rapport à la saisie visuelle, ce qui entraîne un biais dans la compréhension des données multimodales.
- Erreurs d'inférence (26%) : Les erreurs d'inférence sont un autre facteur majeur dans la production d'exemples erronés par GPT-4V. Même lorsque les modèles perçoivent correctement le sens véhiculé par les images et le texte, des erreurs peuvent toujours survenir lors du raisonnement lors de la résolution de problèmes nécessitant un raisonnement logique et mathématique complexe. Généralement, cette erreur est causée par les faibles capacités de raisonnement logique et mathématique du modèle.
- Manque de connaissances (22%) : Le manque d'expertise est également l'une des raisons des réponses incorrectes au GPT-4V. Étant donné que CMMMU est une référence pour évaluer l’AGI expert LMM, des connaissances de niveau expert dans différentes disciplines et sous-domaines sont requises. Par conséquent, l’injection de connaissances de niveau expert dans LMM est également l’une des directions sur lesquelles travailler.
- Refus de répondre (12%) : C'est aussi un phénomène courant que les mannequins refusent de répondre. Grâce à l'analyse, ils ont souligné plusieurs raisons pour lesquelles le modèle a refusé de répondre à la question : (1) Le modèle n'a pas réussi à percevoir les informations de l'image (2) Il s'agissait d'une question impliquant des questions religieuses ou des informations personnelles réelles, et le modèle ; l'éviterait activement ; (3) Lorsque les questions impliquent le genre et des facteurs subjectifs, le modèle évite de fournir des réponses directes.
- Ses erreurs : Les erreurs restantes incluent des erreurs de compréhension de texte (7%), des erreurs d'annotation (2%) et des erreurs d'extraction de réponses (5%). Ces erreurs sont causées par divers facteurs tels que des capacités de suivi de structure complexes, une compréhension complexe de la logique du texte, des limitations dans la génération de réponses, des erreurs dans l'annotation des données et des problèmes rencontrés lors de l'extraction de correspondance de réponses.
Conclusion
Le benchmark CMMMU marque des progrès significatifs dans le développement de l'intelligence artificielle générale avancée (AGI). CMMMU est conçu pour évaluer rigoureusement les derniers grands modèles multimodaux (LMM) et tester les compétences perceptuelles de base, le raisonnement logique complexe et une expertise approfondie dans un domaine spécifique. Cette étude a mis en évidence les différences en comparant la capacité de raisonnement des LMM dans des contextes bilingues chinois et anglais. Cette évaluation détaillée est essentielle pour déterminer dans quelle mesure le modèle se compare aux compétences de professionnels expérimentés dans chaque domaine.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

0. À quoi sert cet article ? Nous proposons DepthFM : un modèle d'estimation de profondeur monoculaire génératif de pointe, polyvalent et rapide. En plus des tâches traditionnelles d'estimation de la profondeur, DepthFM démontre également des capacités de pointe dans les tâches en aval telles que l'inpainting en profondeur. DepthFM est efficace et peut synthétiser des cartes de profondeur en quelques étapes d'inférence. Lisons ce travail ensemble ~ 1. Titre des informations sur l'article : DepthFM : FastMonocularDepthEstimationwithFlowMatching Auteur : MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

Vous êtes confronté à un décalage et à une connexion de données mobile lente sur iPhone ? En règle générale, la puissance de l'Internet cellulaire sur votre téléphone dépend de plusieurs facteurs tels que la région, le type de réseau cellulaire, le type d'itinérance, etc. Vous pouvez prendre certaines mesures pour obtenir une connexion Internet cellulaire plus rapide et plus fiable. Correctif 1 – Forcer le redémarrage de l'iPhone Parfois, le redémarrage forcé de votre appareil réinitialise simplement beaucoup de choses, y compris la connexion cellulaire. Étape 1 – Appuyez simplement une fois sur la touche d’augmentation du volume et relâchez-la. Ensuite, appuyez sur la touche de réduction du volume et relâchez-la à nouveau. Étape 2 – La partie suivante du processus consiste à maintenir le bouton sur le côté droit. Laissez l'iPhone finir de redémarrer. Activez les données cellulaires et vérifiez la vitesse du réseau. Vérifiez à nouveau Correctif 2 – Changer le mode de données Bien que la 5G offre de meilleures vitesses de réseau, elle fonctionne mieux lorsque le signal est plus faible

Je pleure à mort. Le monde construit à la folie de grands modèles. Les données sur Internet ne suffisent pas du tout. Le modèle de formation ressemble à « The Hunger Games », et les chercheurs en IA du monde entier se demandent comment nourrir ces personnes avides de données. Ce problème est particulièrement important dans les tâches multimodales. À une époque où rien ne pouvait être fait, une équipe de start-up du département de l'Université Renmin de Chine a utilisé son propre nouveau modèle pour devenir la première en Chine à faire de « l'auto-alimentation des données générées par le modèle » une réalité. De plus, il s’agit d’une approche à deux volets, du côté compréhension et du côté génération, les deux côtés peuvent générer de nouvelles données multimodales de haute qualité et fournir un retour de données au modèle lui-même. Qu'est-ce qu'un modèle ? Awaker 1.0, un grand modèle multimodal qui vient d'apparaître sur le Forum Zhongguancun. Qui est l'équipe ? Moteur Sophon. Fondé par Gao Yizhao, doctorant à la Hillhouse School of Artificial Intelligence de l’Université Renmin.

Récemment, le milieu militaire a été submergé par la nouvelle : les avions de combat militaires américains peuvent désormais mener des combats aériens entièrement automatiques grâce à l'IA. Oui, tout récemment, l’avion de combat IA de l’armée américaine a été rendu public pour la première fois, dévoilant ainsi son mystère. Le nom complet de ce chasseur est Variable Stability Simulator Test Aircraft (VISTA). Il a été personnellement piloté par le secrétaire de l'US Air Force pour simuler une bataille aérienne en tête-à-tête. Le 2 mai, le secrétaire de l'US Air Force, Frank Kendall, a décollé à bord d'un X-62AVISTA à la base aérienne d'Edwards. Notez que pendant le vol d'une heure, toutes les actions de vol ont été effectuées de manière autonome par l'IA ! Kendall a déclaré : "Au cours des dernières décennies, nous avons réfléchi au potentiel illimité du combat air-air autonome, mais cela a toujours semblé hors de portée." Mais maintenant,
