Table des matières
La précision de GPT-4 n'est que de 33%
La méthode de sélection des sujets a été remise en question
Encore une chose
Maison Périphériques technologiques IA GPT-4 fonctionne mal en inférence graphique ? Même après « libération de l'eau », le taux de précision n'est que de 33 %

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de l'eau », le taux de précision n'est que de 33 %

Nov 21, 2023 am 08:38 AM
ai 推理

La capacité de raisonnement graphique du GPT-4 est inférieure de moitié à celle des humains ?

Une étude du Santa Fe Research Institute aux États-Unis montre que la précision du GPT-4 pour les questions de raisonnement graphique n'est que de 33%.

GPT-4v a des capacités multimodales, mais ses performances sont relativement médiocres et ne peuvent répondre correctement qu'à 25 % des questions

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

△La ligne pointillée représente la performance moyenne de 16 tâches

Dès que les résultats de cette expérience ont été publiés, a immédiatement provoqué de larges discussions sur YC

Certains internautes qui ont soutenu ce résultat ont déclaré que GPT ne fonctionnait pas bien dans le traitement des graphiques abstraits et qu'il était plus difficile de comprendre des concepts tels que "position" et "rotation"

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

Cependant, certains internautes ont exprimé des doutes sur cette conclusion. Leurs opinions peuvent être simplement résumées comme suit :

Bien que cette opinion ne puisse pas être considérée comme fausse, elle n'est pas complètement convaincante

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

En ce qui concerne les détails. raisons, nous continuons à lire.

La précision de GPT-4 n'est que de 33%

Afin d'évaluer les performances des humains et de GPT-4 sur ces problèmes graphiques, les chercheurs ont utilisé l'ensemble de données ConceptARC lancé en mai de cette année

ConceptARC comprend un total de 16 sous-catégories Questions de raisonnement graphique, 30 questions par catégorie, 480 questions au total.

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

Ces 16 sous-catégories incluent les relations de position, les formes, les opérations, les comparaisons, etc.

Plus précisément, ces questions sont composées de blocs de pixels. Les humains et GPT doivent trouver des modèles basés sur des exemples donnés et analyser les résultats des images traitées de la même manière.

L'auteur montre spécifiquement des exemples de ces 16 sous-catégories dans l'article, une pour chaque catégorie.

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %
GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %
GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

Les résultats ont montré que le taux de précision moyen de 451 sujets humains n'était pas inférieur à 83 % dans chaque sous-élément, et que la moyenne de 16 tâches atteignait 91 %.

Dans le cas où vous pouvez essayer une question trois fois (si vous réussissez une fois), la précision la plus élevée du GPT-4 (échantillon unique) ne dépasse pas 60 %, et la moyenne n'est que de 33 %

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

Matin Il y a quelque temps, l'auteur de ConceptARC Benchmark impliqué dans cette expérience a également mené une expérience similaire, mais le test sur échantillon zéro a été réalisé dans GPT-4. En conséquence, le taux de précision moyen de 16 tâches était. seulement 19 %.

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

GPT-4v est un modèle multimodal, mais sa précision est faible. Sur un ensemble de données ConceptARC à petite échelle composé de 48 questions, les taux de précision des tests sur échantillon nul et des tests sur échantillon unique n'étaient respectivement que de 25 % et 23 %

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

Après une analyse plus approfondie des mauvaises réponses, les chercheurs ont découvert Certaines erreurs humaines semblent susceptibles d'être causées par une "négligence", alors que GPT ne comprend pas du tout les règles de la question.

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

La plupart des internautes n'ont aucun doute sur ces données, mais ce qui a remis en question cette expérience, c'est le groupe de sujets recrutés et la méthode de saisie fournie à GPT

La méthode de sélection des sujets a été remise en question

Au début, les participants à la recherche recrutés sujets sur une plateforme de crowdsourcing Amazon.

Le chercheur a extrait quelques questions simples de l'ensemble de données en guise de test d'introduction. Les sujets doivent répondre correctement à au moins deux des trois questions aléatoires avant de passer le test formel.

Les résultats trouvés par les chercheurs montrent que certaines personnes ne passent le test d'entrée que dans le but d'être avides d'argent et ne répondent pas du tout aux questions comme requis

En dernier recours, le chercheuraugmente le seuil d'admission le testau point qu'il peut être réalisé sur la plateforme. Réussissez pas moins de 2 000 tâches, et le taux de réussite doit atteindre 99 %.

Cependant, bien que l'auteur utilise le taux de réussite pour sélectionner les personnes, en termes de capacités spécifiques, outre la nécessité pour les sujets de connaître l'anglais, il n'y a « aucune exigence particulière » pour d'autres capacités professionnelles telles que le graphisme.

Pour parvenir à la diversité des données, les chercheurs ont déplacé leurs efforts de recrutement vers une autre plateforme de crowdsourcing plus tard dans l'expérience. Au final, un total de 415 sujets ont participé à cette expérience

Cependant, certaines personnes se demandaient encore si les échantillons de l'expérience n'étaient "pas assez aléatoires".

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

Certains internautes ont souligné que sur la plateforme de crowdsourcing Amazon utilisée par les chercheurs pour recruter des sujets, il y a de grands modèles se faisant passer pour des humains.

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

Le fonctionnement de la version multimodale de GPT est relativement simple, il suffit de transmettre directement l'image et d'utiliser le mot d'invite correspondant

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

Dans le test à échantillon zéro, supprimez simplement la partie EXEMPLE correspondante

Mais pour la version en texte brut de GPT-4 (0613) sans multimodalité, l'image doit être convertie en points de grille et utiliser des nombres au lieu de couleurs.

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

Certaines personnes ne sont pas d'accord avec cette opération :

Après avoir converti l'image en matrice numérique, le concept a complètement changé Même les humains, en regardant des "graphiques" représentés par des nombres, puis-je ne pas le faire. comprenez-le non plus

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

Encore une chose

Par coïncidence, Joy Hsu, une doctorante chinoise à l'Université de Stanford, a également testé la capacité de compréhension graphique de GPT-4v sur un ensemble de données géométriques

L'année dernière, un ensemble de données a été publié visant à tester votre compréhension de la géométrie euclidienne avec de grands modèles. Après l'ouverture de GPT-4v, Hsu a utilisé l'ensemble de données pour le tester à nouveau

et a découvert que la façon dont GPT-4v comprend les graphiques semble être "complètement différente de celle des humains".

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

En termes de données, GPT-4v est évidemment inférieur aux humains pour répondre à ces questions géométriques

GPT-4 fonctionne mal en inférence graphique ? Même après « libération de leau », le taux de précision nest que de 33 %

Adresse papier :
[1]https://arxiv.org/abs/2305.07141
[2 ]https://arxiv.org/abs/2311.09247

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Quelle méthode est utilisée pour convertir les chaînes en objets dans vue.js? Quelle méthode est utilisée pour convertir les chaînes en objets dans vue.js? Apr 07, 2025 pm 09:39 PM

Lors de la conversion des chaînes en objets dans vue.js, JSON.Parse () est préféré pour les chaînes JSON standard. Pour les chaînes JSON non standard, la chaîne peut être traitée en utilisant des expressions régulières et réduisez les méthodes en fonction du format ou du codé décodé par URL. Sélectionnez la méthode appropriée en fonction du format de chaîne et faites attention aux problèmes de sécurité et d'encodage pour éviter les bogues.

Comment utiliser MySQL après l'installation Comment utiliser MySQL après l'installation Apr 08, 2025 am 11:48 AM

L'article présente le fonctionnement de la base de données MySQL. Tout d'abord, vous devez installer un client MySQL, tel que MySQLWorkBench ou le client de ligne de commande. 1. Utilisez la commande MySQL-UROot-P pour vous connecter au serveur et connecter avec le mot de passe du compte racine; 2. Utilisez Createdatabase pour créer une base de données et utilisez Sélectionner une base de données; 3. Utilisez CreateTable pour créer une table, définissez des champs et des types de données; 4. Utilisez InsertInto pour insérer des données, remettre en question les données, mettre à jour les données par mise à jour et supprimer les données par Supprimer. Ce n'est qu'en maîtrisant ces étapes, en apprenant à faire face à des problèmes courants et à l'optimisation des performances de la base de données que vous pouvez utiliser efficacement MySQL.

Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Apr 08, 2025 pm 12:24 PM

Traiter efficacement 7 millions d'enregistrements et créer des cartes interactives avec la technologie géospatiale. Cet article explore comment traiter efficacement plus de 7 millions d'enregistrements en utilisant Laravel et MySQL et les convertir en visualisations de cartes interactives. Exigences initiales du projet de défi: extraire des informations précieuses en utilisant 7 millions d'enregistrements dans la base de données MySQL. Beaucoup de gens considèrent d'abord les langages de programmation, mais ignorent la base de données elle-même: peut-il répondre aux besoins? La migration des données ou l'ajustement structurel est-il requis? MySQL peut-il résister à une charge de données aussi importante? Analyse préliminaire: les filtres et les propriétés clés doivent être identifiés. Après analyse, il a été constaté que seuls quelques attributs étaient liés à la solution. Nous avons vérifié la faisabilité du filtre et établi certaines restrictions pour optimiser la recherche. Recherche de cartes basée sur la ville

Comment résoudre MySQL ne peut pas être démarré Comment résoudre MySQL ne peut pas être démarré Apr 08, 2025 pm 02:21 PM

Il existe de nombreuses raisons pour lesquelles la startup MySQL échoue, et elle peut être diagnostiquée en vérifiant le journal des erreurs. Les causes courantes incluent les conflits de port (vérifier l'occupation du port et la configuration de modification), les problèmes d'autorisation (vérifier le service exécutant les autorisations des utilisateurs), les erreurs de fichier de configuration (vérifier les paramètres des paramètres), la corruption du répertoire de données (restaurer les données ou reconstruire l'espace de la table), les problèmes d'espace de la table InNODB (vérifier les fichiers IBDATA1), la défaillance du chargement du plug-in (vérification du journal des erreurs). Lors de la résolution de problèmes, vous devez les analyser en fonction du journal d'erreur, trouver la cause profonde du problème et développer l'habitude de sauvegarder régulièrement les données pour prévenir et résoudre des problèmes.

Vue.js Comment convertir un tableau de type de chaîne en un tableau d'objets? Vue.js Comment convertir un tableau de type de chaîne en un tableau d'objets? Apr 07, 2025 pm 09:36 PM

Résumé: Il existe les méthodes suivantes pour convertir les tableaux de chaîne Vue.js en tableaux d'objets: Méthode de base: utilisez la fonction de carte pour convenir à des données formatées régulières. Gameplay avancé: l'utilisation d'expressions régulières peut gérer des formats complexes, mais ils doivent être soigneusement écrits et considérés. Optimisation des performances: Considérant la grande quantité de données, des opérations asynchrones ou des bibliothèques efficaces de traitement des données peuvent être utilisées. MEILLEUR PRATIQUE: Effacer le style de code, utilisez des noms de variables significatifs et des commentaires pour garder le code concis.

Comment définir le délai de Vue Axios Comment définir le délai de Vue Axios Apr 07, 2025 pm 10:03 PM

Afin de définir le délai d'expiration de Vue Axios, nous pouvons créer une instance AxiOS et spécifier l'option Timeout: dans les paramètres globaux: vue.prototype. $ Axios = axios.create ({timeout: 5000}); Dans une seule demande: ce. $ axios.get ('/ api / utilisateurs', {timeout: 10000}).

Comment optimiser les performances de la base de données après l'installation de MySQL Comment optimiser les performances de la base de données après l'installation de MySQL Apr 08, 2025 am 11:36 AM

L'optimisation des performances MySQL doit commencer à partir de trois aspects: configuration d'installation, indexation et optimisation des requêtes, surveillance et réglage. 1. Après l'installation, vous devez ajuster le fichier my.cnf en fonction de la configuration du serveur, tel que le paramètre innodb_buffer_pool_size, et fermer query_cache_size; 2. Créez un index approprié pour éviter les index excessifs et optimiser les instructions de requête, telles que l'utilisation de la commande Explication pour analyser le plan d'exécution; 3. Utilisez le propre outil de surveillance de MySQL (ShowProcessList, Showstatus) pour surveiller la santé de la base de données, et sauvegarde régulièrement et organisez la base de données. Ce n'est qu'en optimisant en continu ces étapes que les performances de la base de données MySQL peuvent être améliorées.

Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Apr 08, 2025 pm 12:27 PM

Ingénieur backend à distance Emploi Vacant Société: Emplacement du cercle: Bureau à distance Type d'emploi: Salaire à temps plein: 130 000 $ - 140 000 $ Description du poste Participez à la recherche et au développement des applications mobiles Circle et des fonctionnalités publiques liées à l'API couvrant l'intégralité du cycle de vie de développement logiciel. Les principales responsabilités complètent indépendamment les travaux de développement basés sur RubyOnRails et collaborent avec l'équipe frontale React / Redux / Relay. Créez les fonctionnalités de base et les améliorations des applications Web et travaillez en étroite collaboration avec les concepteurs et le leadership tout au long du processus de conception fonctionnelle. Promouvoir les processus de développement positifs et hiérarchiser la vitesse d'itération. Nécessite plus de 6 ans de backend d'applications Web complexe

See all articles