Erreur d'étiquette ImageNet supprimée, le classement des modèles a été considérablement modifié

Auparavant, ImageNet était devenu un sujet brûlant en raison du problème des erreurs d'étiquette. Vous pourriez être surpris d'entendre ce nombre. Il y a au moins 100 000 étiquettes avec des problèmes. Les études basées sur des étiquettes incorrectes pourraient devoir être annulées et répétées.

De ce point de vue, gérer la qualité de l'ensemble des données reste très important.

De nombreuses personnes utiliseront l'ensemble de données ImageNet comme référence, mais sur la base des modèles pré-entraînés ImageNet, les résultats finaux peuvent varier en raison de la qualité des données.

Dans cet article, Kenichi Higuchi, un ingénieur de la société Adansons, réétudie l'ensemble de données ImageNet dans l'article "Avons-nous fini avec ImageNet ?", et réévalue le modèle publié sur torchvision après avoir supprimé les mauvaises données d'étiquette. .

Supprimez les données erronées d'ImageNet et réévaluez le modèle

Cet article divise les erreurs d'étiquetage dans ImageNet en trois catégories, comme indiqué ci-dessous.

(1) Données mal étiquetées

(2) Données correspondant à plusieurs étiquettes

(3) Données n'appartenant à aucune étiquette

En résumé, il y a environ plus de 14 000 données erronées. Considérant que le nombre de données d'évaluation est de 50 000, on constate que la proportion de données erronées est extrêmement élevée. La figure ci-dessous montre quelques données d'erreur représentatives.

Méthode

Sans recycler le modèle, cette étude élimine uniquement les données étiquetées par erreur, qui sont les données erronées de type (1) ci-dessus, et exclut toutes les données erronées des données d'évaluation, c'est-à-dire (1). -(3) données erronées pour revérifier l'exactitude du modèle.

Afin de supprimer les données erronées, un fichier de métadonnées décrivant les informations d'erreur de l'étiquette est requis. Dans ce fichier de métadonnées, s'il contient des erreurs de type (1)-(3), les informations seront décrites dans l'attribut "correction".

L'étude a utilisé un outil appelé Adansons Base, qui filtre les données en reliant les ensembles de données aux métadonnées. 10 modèles ont été testés ici comme indiqué ci-dessous.

10 modèles de classification d'images à tester

Résultats

Les résultats sont présentés dans le tableau ci-dessous (les valeurs sont la précision en %, les nombres entre parenthèses sont des classements)

10 Les résultats d'un modèle de classification

prend les données All Eval comme référence, exclut le mauvais type de données (1), et le taux de précision augmente en moyenne de 3,122 points ; exclut toutes les mauvaises données (1) ~ (3), le taux de précision augmente en moyenne de 11,743 points.

Comme prévu, à l'exclusion des données erronées, le taux de précision est amélioré dans tous les domaines, car par rapport aux données propres, les données erronées sont sujettes aux erreurs.

Lorsqu'elle est évaluée sans exclure les données erronées, et lorsque les données erronées (1) ~ (3) sont toutes exclues, le classement de précision du modèle change.

Dans cet article, il y a 3 670 données erronées (1), représentant 7,34 % du total de 50 000 données. Après suppression, le taux d'exactitude a augmenté d'environ 3,22 points en moyenne. Lorsque des données erronées sont supprimées, l’échelle des données change et une simple comparaison des taux d’exactitude peut être biaisée.

Conclusion

Bien que cela ne soit pas particulièrement souligné, il est important d'utiliser des données étiquetées avec précision lors de la formation à l'évaluation.

Des études précédentes peuvent avoir tiré des conclusions incorrectes lors de la comparaison de la précision entre les modèles. Les données doivent donc être évaluées en premier, mais peuvent-elles vraiment être utilisées pour évaluer les performances du modèle ?

De nombreux modèles utilisant l'apprentissage profond dédaignent souvent de réfléchir sur les données, mais sont désireux d'améliorer la précision et d'autres indicateurs d'évaluation grâce aux performances du modèle. Même si les données d'évaluation contiennent des données erronées, elles ne sont pas traitées avec précision.

Lors de la création de vos propres ensembles de données, par exemple lors de l'application de l'IA en entreprise, la création d'ensembles de données de haute qualité est directement liée à l'amélioration de la précision et de la fiabilité de l'IA. Les résultats expérimentaux de cet article montrent que la simple amélioration de la qualité des données peut améliorer la précision d'environ 10 points de pourcentage, ce qui démontre l'importance d'améliorer non seulement le modèle mais également l'ensemble de données lors du développement de systèmes d'IA.

Cependant, garantir la qualité de l’ensemble de données n’est pas facile. Bien qu’il soit important d’augmenter la quantité de métadonnées pour évaluer correctement la qualité des modèles et des données d’IA, cela peut s’avérer fastidieux à gérer, en particulier avec des données non structurées.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!