Dinghui devrait-il abaisser le seuil d'acceptation ? Utiliser la théorie des jeux pour explorer les mécanismes optimaux d'examen et de prise de décision

Ces dernières années, le domaine de l'intelligence artificielle a de plus en plus critiqué le mécanisme d'examen des conférences informatiques à grande échelle. La contradiction derrière tout cela vient des intérêts incohérents des auteurs des articles, des organisateurs de conférences et des évaluateurs :

• Le. l'auteur de l'article espère que leurs articles ont été acceptés par la conférence ;
• Les organisateurs de la conférence espèrent accepter davantage d'articles de haute qualité pour améliorer la réputation de la conférence (qualité de la conférence)
• les évaluateurs espèrent éviter une charge de travail de révision excessive (révision) ; pression du manuscrit).

Par conséquent, comment équilibrer la qualité des conférences et la pression des révisions dans un environnement où le nombre d'articles a considérablement augmenté est la question centrale pour parvenir à un équilibre des intérêts entre les trois parties. L'année dernière, des chercheurs dans le domaine de l'intelligence artificielle ont présenté de nombreuses opinions et suggestions sur la manière d'améliorer le mécanisme d'examen et de prise de décision des conférences. Ces idées ont été résumées dans un document Google de 23 pages. L'une des idées est très intéressante et a été reconnue par de nombreuses personnes :

Lien du document : https://docs.google.com/document/d/1j7Mn2ZkquSzWJ_EzxdXBP3z_JQtrSeUa-CQ0gotAuYw/mobilebasic

Cette idée découle d'un phénomène contre-intuitif, que cet article appelle le paradoxe de la re-soumission :

Un grand nombre d'articles seront rejetés chaque année (le taux d'acceptation des meilleures conférences sur l'intelligence artificielle telles que NeurIPS est toujours inférieur à 30 %), la plupart de ces articles seront soumis à nouveau avec seulement des ajustements mineurs, voire aucun changement, et seront finalement acceptés par la ou les mêmes conférences de même niveau. Puisque la plupart des articles seront éventuellement acceptés, pourquoi ne pas abaisser le seuil d'acceptation afin qu'un plus grand nombre d'articles puissent être acceptés après moins de resoumissions ? Cela évitera que le même article soit lu à plusieurs reprises par les évaluateurs et réduira la pression de révision.

Bien que cette idée semble très raisonnable, l'auteur de cet article a proposé d'utiliser un modèle de théorie des jeux pour décrire l'interaction entre l'auteur et la conférence, et a donné une réponse négative à cette idée. Le document de recherche a été accepté par Economics and Computation (2022). Selon ce modèle, cet article discute de la performance de différents mécanismes d'évaluation et de prise de décision dans l'évaluation de la qualité des réunions et de la pression de l'évaluation, comme les questions suivantes :

• Comment déterminer le seuil d'acceptation optimal ?
• Faut-il augmenter le nombre de relecteurs sur un article ?
• Quels sont les avantages d'améliorer la qualité des avis ?
• L'auteur devrait-il également fournir des commentaires de révision antérieurs pour l'article ? ... Le processus de manuscrit est modélisé comme un jeu répété, et le processus spécifique est le suivant :
• Tout d'abord, chaque auteur a un article à soumettre. À chaque tour de soumission, l'auteur prend l'une des deux décisions suivantes : soumettre l'article à une conférence de premier plan ou à une valeur sûre (comme une conférence de deuxième catégorie moins prestigieuse). Les résultats soumis à la conférence supérieure et la valeur sûre dépendent du mécanisme d'évaluation et de la qualité de l'article :

Ting aura une certaine probabilité d'accepter l'article, et une fois accepté, l'auteur obtiendra un profit plus important ;

pari sûr garantit que le papier sera certain Reçu, mais avec des bénéfices moindres.

Parmi eux, la prise de décision concernant l'évaluation dépend entièrement des opinions de l'évaluateur. Par exemple, la définition d'un seuil d'acceptation acceptera l'article si et seulement si la note moyenne de l'évaluation est supérieure au seuil, et le. les revenus de l'auteur augmenteront avec la nouvelle soumission. Le nombre de fois est réduit de façon exponentielle.

La Conférence Ding promet un mécanisme d'examen/de prise de décision, et l'auteur élaborera la meilleure stratégie pour ce mécanisme tandis que la Conférence Ding doit considérer la meilleure stratégie de réponse pour l'auteur et concevoir un mécanisme qui puisse équilibrer la qualité de la réunion et l’examen font pression sur le mécanisme optimal.

• 2. Principales conclusions

En utilisant la méthode de modélisation ci-dessus, cet article tire quelques conclusions importantes, notamment :

1) La stratégie optimale de l'auteur

Dans un modèle simplifié (voir le texte original pour des modèles plus complexes), cet article fait les hypothèses suivantes : l'auteur connaît la véritable qualité de son article, et la décision- la réalisation de la conférence n'est pas mémorable (la décision de chaque cycle de révision dépend uniquement des opinions des évaluateurs de ce cycle), et l'auteur dispose de possibilités illimitées de nouvelle soumission. Dans ce cas, l'auteur a une stratégie de seuil optimal :

• Si la qualité de l'article est supérieure au seuil, l'auteur choisira de soumettre l'article au sommet, et peu importe le nombre de fois où il sera rejeté , l'auteur choisira de soumettre à nouveau jusqu'à ce que l'article soit accepté ;
• Si la qualité de l'article est inférieure au seuil, l'auteur sélectionnera immédiatement une valeur sûre.

Normalement, le seuil de soumission de l'auteur Θ est inférieur au seuil d'acceptation de la conférence τ, comme le montre la figure ci-dessous.

La conclusion ci-dessus peut être utilisée pour expliquer le paradoxe de la resoumission : pourquoi accepter plus d'articles ne réduit-il pas essentiellement la pression de révision ? En effet, l’abaissement du seuil d’acceptation de la conférence τ abaissera simultanément le seuil de soumission des auteurs Θ, attirant ainsi davantage de soumissions d’articles de mauvaise qualité. Comme le montre la figure ci-dessous, si le seuil d'acceptation est abaissé, certains articles (zone violette) précédemment sélectionnés pour être soumis à la conférence de deuxième catégorie sont désormais sélectionnés pour être soumis à la conférence supérieure.

2) Qualité de la réunion et pression de révision

Le mécanisme de révision/prise de décision de la conférence doit peser la qualité de la réunion et la pression de révision, et les deux ne peuvent pas avoir les deux.

• Qualité de la conférence = la somme de la qualité de tous les articles acceptés
• Pression de révision = le nombre prévu de fois qu'un article sera examiné depuis la soumission jusqu'à l'acceptation finale

La modification du seuil d'acceptation sera également changement Qualité de la réunion et pression d’examen (comme indiqué ci-dessous).

L'image montre la courbe de changement de la qualité de la réunion (ordonnée) et de la pression d'examen (abscisse) par rapport au seuil d'acceptation, σ est l'écart type du bruit des évaluateurs.

Les trois situations suivantes peuvent conduire à un meilleur compromis entre la qualité de la conférence et la pression des critiques (moins de pression de révision est nécessaire pour obtenir la même qualité de conférence) :

• Meilleure qualité des critiques— ——Le bruit des évaluateurs est plus faible ;
• Réputation plus faible du pouce levé———— Par rapport à la valeur sûre, le pouce levé apporte un revenu inférieur
• Plus d'auteurs à court terme———— Revenus de l'auteur Des remises plus importantes sur les relances multiples ;

3. Conclusion

Cet article vise à appeler les conférences universitaires à considérer les incitations apportées par différents mécanismes aux auteurs d'articles lors de l'amélioration des mécanismes d'évaluation et de prise de décision. Pour des conclusions plus intéressantes, veuillez consulter le texte original de l'article. Par exemple, le taux d'acceptation du papier est principalement affecté par quels facteurs ? Quelle est la stratégie optimale pour les auteurs sans une connaissance précise de la qualité de leur article ? Quel impact le fait d'exiger des auteurs qu'ils fournissent des commentaires de révision antérieurs sur un article a-t-il sur la conférence ?

Bien sûr, le modèle théorique de cet article présente de nombreuses limites à différents niveaux : par exemple, cet article ne prend pas en compte l'effet de rétroaction négatif de la pression des critiques sur la qualité des critiques, ni l'effet de rétroaction positif de la qualité des conférences sur les revenus des auteurs. , et considère que la qualité du papier ne sera pas améliorée lors du processus de rejet, etc. La discussion et l'amélioration du système d'évaluation par les pairs des conférences ne s'arrêteront pas là. Il est particulièrement important de comprendre le mécanisme d'évaluation des conférences du point de vue du jeu. Les lecteurs intéressés sont invités à consulter le texte original de l'article ou à écrire à l'auteur de l'article. pour discuter plus de détails de la recherche.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!