Les captures d'écran du chat révèlent les règles cachées de l'examen de l'IA ! AAAI 3000 yuans, c'est fort accepté ?

Alors que la date limite de soumission des articles pour l'AAAI 2023 approchait, une capture d'écran d'une discussion anonyme dans le groupe de soumission AI est soudainement apparue sur Zhihu.

L'un d'eux a affirmé qu'il pouvait fournir un service « 3 000 yuans une forte acceptation ».

Dès que la nouvelle est sortie, elle a immédiatement suscité l'indignation du public parmi les internautes.

Mais ne vous inquiétez pas pour l'instant.

Le patron de Zhihu, "Fine Tuning", a déclaré que ce n'était probablement qu'un "bonheur".

Selon "Fine Tuning", les salutations et les crimes de gangs sont des problèmes inévitables dans n'importe quel domaine. Avec l'essor de l'openreview, les différents inconvénients du cmt sont devenus de plus en plus évidents. L'espace laissé aux petits cercles pour fonctionner deviendra plus petit à l'avenir, mais il y aura toujours de la place. Parce qu'il s'agit d'un problème personnel, pas d'un problème avec le système et le mécanisme de soumission. L'introduction d'un examen ouvert et d'une enchère + d'une correspondance aléatoire peut être utile.

Et son opinion personnelle est que peu importe que l'article soit publié dans NeurIPS, AAAI ou IJCNN, faites-le simplement connaître suffisamment pour que tout le monde sache ce que vous faites. La citation prouvera si cette chose est utile.

Alors, cette tendance est-elle répandue dans la revue des documents de la conférence d'aujourd'hui ? Et quelqu’un a-t-il gagné « renommée et fortune » grâce à cela ?

Tout peut vous rendre riche

Avant de discuter, parlons brièvement de ce qu'est cette offre.

Afin de faciliter l'affectation des relecteurs, certaines conférences mettront en place une séance d'enchères pour permettre aux relecteurs de choisir les articles qui les intéressent. Le système peut ensuite attribuer des articles en fonction de la sélection de ces évaluateurs. Cependant, les évaluateurs ne verront à ce stade que le titre et le résumé de l’article.

Et il y a beaucoup à dire à ce sujet.

Diverses révélations anonymes

Un autre internaute anonyme sur Zhihu a déclaré que le modèle est devenu plus petit. Il existe des captures d'écran du chat WeChat pour le prouver. En fait, même les meilleurs articles peuvent faire l'objet d'une offre les uns par les autres. . Les petites choses ne sont rien.

Certains internautes ont déclaré que lors de leur soumission à l'AAAI cette année, on leur avait demandé de renseigner sérieusement les utilisateurs en conflit, le domaine en conflit, etc., mais en fait cela était de peu d'utilité.

Cet utilisateur anonyme de Zhihu a même proposé une solution étonnante : utiliser des réseaux de neurones graphiques, des systèmes de recommandation, etc. pour déterrer automatiquement le réseau relationnel centré sur chaque tuteur, puis vérifier les résultats des grandes conférences Données d'enchères, examiner les données et l'état de notation, les nœuds et les relations anormaux peuvent être facilement découverts, car ils brillent comme des étoiles dans le réseau neuronal graphique.

Ou organisez simplement un concours d'exploration de données aux meilleures enchères.

Cependant, certains internautes ont souligné que ce soi-disant « paquet SA de 3 000 yuans » est en fait un buggy :

Vous savez, même si vous le forcez, les autres évaluateurs auront une limite et un faible Rejetez, donnez-le simplement gratuitement. Après tout, cette chose n’est pas basée sur les notes d’admission moyennes. Et si les différences étaient énormes, AC ne l'aurait pas donné.

Donc même si vous devez donner de l'argent, vous devriez l'utiliser sur la "lame". Si vous y réfléchissez, vous devez trouver SPC ou AC. Mais à ce stade, vous devez considérer deux questions (en fait une seule) : Premièrement, pensez-vous que vous pouvez trouver quelqu'un de ce niveau pour seulement 3 000 yuans ? Deuxièmement, si quelqu’un le fait vraiment pour vous, ne vous facturera-t-il que 3 000 ?

Bien sûr, en plus de se plaindre, il y a aussi un critique senior qui est "courageux en soi" et a dit que s'il voit un critique donner une note élevée à "Hydraulique", il le rejettera fortement directement puis écrivez un court essai pour le critiquer, et maintenant même le modèle a été élaboré.

On dit que toutes les conférences et revues ont des problèmes similaires, mais la proportion et la gravité sont différentes. Il n'est pas pratique d'en dire plus dans cet article.

La suggestion d'un utilisateur anonyme est vraiment talentueuse

Dans quelle mesure l'évaluation est-elle aléatoire

Dans quelle mesure l'évaluation de l'IA est-elle aléatoire ?

En 2021, NeurIPS a mené une expérimentation de cohérence des avis.

Selon l'introduction vidéo de "Electric Phantom Alchemy" par le docteur chinois CS de Hong Kong, dans cette expérience, il y a une probabilité de 10 % que le même manuscrit soit envoyé à deux groupes de réviseurs, et les deux groupes de les critiques ne se connaissent pas.

Deux groupes d'évaluateurs noteront séparément et deux présidents de zone prendront une décision sur les résultats de notation. De cette façon, nous pouvons analyser quantitativement la probabilité qu’un même manuscrit reçoive des résultats d’évaluation différents.

Les résultats montrent que la probabilité d'acceptation par le premier groupe d'évaluateurs et de rejet par le deuxième groupe d'évaluateurs est de 52%, soit plus de la moitié de la probabilité.

Et si le premier groupe d'évaluateurs rejette, la probabilité que le deuxième groupe d'évaluateurs rejette également est de 83 %.

Ce résultat est également cohérent avec le point de vue de Li Feifei.

Li Feifei a publié un jour un article très célèbre sur l'évaluation et a avancé ces deux points de vue : 1. Le processus d'évaluation est hautement aléatoire. 2. Les mauvais articles recevront de mauvais commentaires. Il s’agit d’une règle d’or qui ne change pas avec le temps et le hasard.

Les responsables de NeurIPS ont également effectué une telle comparaison. Chaque article n'a pas été examiné et déterminé au hasard. Ensuite, une courbe a été établie en fonction du taux d'acceptation et du taux de désaccord. le taux de désaccord.

Comme on peut le voir sur la figure, si le taux de réception est très faible ou très élevé, le taux de divergence n'est pas important.

Le taux de différence au milieu est le plus grand. Si le taux d'acceptation est de 50 %, la différence est la plus grande.

AAAI et IJCAI adoptent ce modèle, en utilisant un taux de rejet élevé en échange d'un caractère aléatoire plus faible.

Enfin, "Electric Phantom Alchemy" donne un tel résumé des conclusions sur l'examen de l'intelligence artificielle.

AAAI à l'aube de la tempête

Au début, les résultats de l'examen de l'AAAI 2022 étaient controversés.

Quelqu'un a déclaré sur les réseaux sociaux que son article avait obtenu 4 acceptations, mais avait finalement été rejeté.

L'auteur ci-dessous a déclaré que les quatre évaluateurs ont tous donné des avis de "biais d'acceptation" ou "d'acceptation", et les commentaires de l'évaluation étaient tous positifs : l'idée est intéressante, le modèle est assez solide, l'expérimentation et l'analyse est suffisamment complet.

Mais le résultat final fut : le rejet.

Pour l'AAAI 2023, le review format en deux étapes + double aveugle est toujours utilisé.

Dans l'étape 1, chaque article recevra deux évaluateurs. Si les deux avis reçus sont négatifs, le document sera purement et simplement rejeté. Le reste passera à la phase 2.

Dans la phase 2, chaque article recevra au moins deux nouveaux réviseurs. Les nouveaux évaluateurs ne verront pas les résultats de l’examen de phase 1 tant qu’ils n’auront pas soumis leurs commentaires.

Les auteurs des articles entrant dans la deuxième étape peuvent répondre à tous les commentaires de révision. Les discussions entre le comité de programme et le comité de programme senior seront basées sur les commentaires des auteurs.

En ce qui concerne la méthode de fonctionnement spécifique, vous pouvez vous référer au document suivant.

Cet article propose une nouvelle méthode de mise en correspondance évaluateur-article et a été appliqué (en tout ou en partie) à l'AAAI 2021, l'ICML 2022, l'AAAI 2022 et l'IJCAI 2022.

Adresse papier : https://arxiv.org/abs/2202.12273Au final, je peux seulement dire qu'il n'y a pas beaucoup de travail à faire lors de la soumission, et la seule chose le contributeur peut faire est d'essayer d'écrire un bon article et de faire de votre article le coin le plus à droite de la courbe expérimentale NeurIPS.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!