Le critique de l'AI Summit est en fait un étudiant de premier cycle ? Une physicienne a publié une plainte sur Twitter, et les grands acteurs de l'industrie l'ont appréciée les unes après les autres.

Pensez-vous que les évaluateurs des principales revues de conférences universitaires sont tous des experts dans leurs domaines respectifs ?

En fait, les évaluateurs du document de recherche sur lequel vous avez travaillé dur pendant plusieurs mois sont plus susceptibles d'être un groupe d'étudiants de premier cycle ou d'étudiants des cycles supérieurs ?

Récemment, Lenka Zdeborova, une physicienne de l'École polytechnique fédérale de Lausanne (EPFL), s'est plainte sur Twitter du mécanisme de révision de la conférence suprême.

Les candidats à l'école doctorale ont déjà de l'expérience dans la révision de manuscrits ? Et il y en a pas mal.

J'examine les candidatures pour la Graduate School of Computer Science de l'EPFL et je constate que de nombreux candidats ont de l'expérience en tant qu'évaluateurs pour les meilleures conférences ML et je me demande si une grande partie de l'évaluation par les pairs est effectuée par des étudiants de premier cycle. Pourquoi nous embêtons-nous même avec l’évaluation par les pairs ! ?

Lenka Zdeborová est professeur de physique et d'informatique à l'EPFL, où elle dirige la section Physique statistique de la School of Computing.

Elle est membre du comité de rédaction de nombreuses revues académiques telles que Journal of Physics A, Physical Review E, Physical Review X, SIMODS, Machine Learning: Science and Technology, Information and Inference, etc.

Lenka se spécialise dans l'application de concepts de physique statistique (tels que les méthodes avancées de champ moyen, les méthodes de réplication et les algorithmes de transmission de messages associés) aux problèmes d'apprentissage automatique, de traitement du signal, d'inférence et d'optimisation.

Certaines personnes dans l'industrie conviennent également que les étudiants diplômés de première année peuvent déjà réviser les manuscrits lors de la conférence supérieure, et personne ne pense que c'est un problème.

Les critiques que vous pensez être ces grands universitaires sont en fait les étudiants de premier cycle ou des cycles supérieurs auxquels ils enseignent...

Zhihu répond "Kaka "Kakabi" estime que ce phénomène est devenu monnaie courante. De l'ICLR à l'AAAI, le niveau des évaluateurs est inégal. S'ils ne sont pas qualifiés, votre article tombera entre les mains d'un étudiant de premier cycle.

Après s'être plaint de la qualité des critiques, la clé est de réfléchir à la façon d'écrire une œuvre qui ait du sens pour tout le monde et qui puisse prendre en compte le goût des critiques de la plupart des gens.

Source : Kaka Kakabi

Un autre répondant "Hysterical i" pense également que les évaluateurs comprennent rarement votre domaine, vous devez donc rendre les résultats de l'article clairs. Présentez-le clairement afin que les autres puissent' Je ne comprends pas, et c'est votre problème.

Source : Hysterical i

Comment réviser les manuscrits lors de la conférence supérieure

Alors, comment réviser les manuscrits lors de la conférence supérieure ?

L'évaluation par les pairs est la pierre angulaire de la science moderne. Presque toutes les grandes conférences sur l'apprentissage automatique (ML) (telles que NeurIPS, ICML, AAAI) s'appuient sur elle pour déterminer si les articles soumis sont pertinents pour la communauté et originaux. assez pour y publier.

Malheureusement, à mesure que le nombre de soumissions a augmenté de façon exponentielle au cours de la dernière décennie, la qualité des avis a diminué tout aussi rapidement.

Si vous avez déjà soumis un article à l'une de ces conférences, après avoir travaillé dur pendant des mois sur ce que vous pensiez être une idée brillante, ce que vous avez obtenu était merdique, inutile et (pire) un commentaire sarcastique signifie que vous le ferez. devez recommencer le processus de soumission sans aucune indication sur ce qui ne va pas avec votre article.

Geoffrey Hinton, lauréat du prix Turing, en a donné l'une des raisons dans une interview avec le magazine Wired en 2018 :

Maintenant, si vous soumettez un article avec une idée complètement nouvelle, il n'avait aucune chance de se réaliser. être accepté parce que ces jeunes critiques juniors ne pouvaient tout simplement pas le comprendre.

Ou il rencontrera un évaluateur principal qui a examiné trop d'articles et ne l'a pas compris du premier coup et a pensé que cela devait être un non-sens. Je pense que c'est vraiment mauvais.

Electro-Light Phantom Alchemy, répondeur de Zhihu, a fait une hypothèse concernant le rejet de la critique. Si vous constatez que votre article a reçu une note faible en raison de problèmes conceptuels que le critique n'a pas compris, il existe trois possibilités. :

(1) L'évaluateur est un étudiant de premier cycle/doctorat junior et il ne comprend pas ces concepts.

(2) Le critique est un super gars. Il attache une grande importance aux questions conceptuelles de base, et il n'est pas dans ce domaine depuis de nombreuses années.

(3) Le réviseur est un super patron, mais il n'a pas le temps, alors il laisse à ses jeunes doctorants le soin de réviser le manuscrit. Par conséquent, le cercle académique est un cycle et les étudiants de premier cycle se comportent plutôt comme des super patrons.

• Pensez-vous que le critique idéal est :

Ouvrez le journal lundi, regardez le résumé, lisez-le rapidement et évaluez la nouveauté. Mardi, regardez attentivement les méthodes et trouvez les défauts. Jetez un œil à l'expérience mercredi, lisez les articles pertinents de la ligne de base et vérifiez les détails expérimentaux. Commencez à rédiger des commentaires d’évaluation jeudi pour déterminer la note de l’évaluation. Vendredi, j'ajouterai quelques commentaires de révision et soumettrai les notes de révision.

• Critique réelle :

J'ai ouvert le document de révision à 8 heures du matin lundi, j'ai lu le résumé et j'ai senti que ce n'était rien de nouveau. Après avoir regardé les images, j’ai l’impression que je ne peux pas comprendre sans lire le texte. Je me suis tourné vers l'arrière et j'ai regardé les chiffres expérimentaux, et j'ai senti que l'amélioration n'était pas grande. Jetez un œil aux méthodes, il y a trop de pages à lire. J'ai encore quelque chose à faire dans l'après-midi, donc je vous donne 5 points et je pars. Les travaux de révision se terminent à 11h30 lundi matin.

Jetons un coup d'œil aux règles de révision de l'ICML2022 :

• Importance de la sélection des sujets : le but de cette partie de l'examen est de MR (Me ta-reviewer) Montrez à l'auteur à quel point vous comprenez l'article et ce que vous en pensez.

Rédaction Innovation, Pertinence, Importance :

• Sont-elles pertinentes pour notre communauté ? Sont-ils neufs ? Si la réponse est non (ou non partiel, par exemple en citant les résultats précis d'un article antérieur), une raison précise est nécessaire pour que l'auteur sache comment corriger l'article.
• Solidité :

Idéalement, un article devrait faire des affirmations bien étayées par des arguments théoriques ou des résultats expérimentaux.

• Qualité d'écriture :

Le document est-il bien organisé et clairement rédigé ? Cela explique-t-il bien la nouveauté et les résultats ? Le document contient-il suffisamment d’informations pour étayer ses affirmations ?

• Références :

Cet article se situe-t-il de manière appropriée dans la littérature contemporaine ? Sinon, veuillez préciser ce qui manque. Notez que, comme les articles ont un nombre limité de pages, il est souvent nécessaire de faire preuve de jugement pour savoir si les résultats doivent être mentionnés.



Ce sont les normes d'évaluation pour les évaluateurs de la première étape, et ceux qui satisfont aux normes d'évaluation peuvent entrer dans la deuxième étape.

Les articles qui réussissent la première étape seront examinés par le méta-réviseur (MR) et le président du projet. Ensuite, des réviseurs supplémentaires seront présents pour garantir la qualité de l'examen des articles.



Et pourquoi le niveau des évaluateurs parmi les meilleurs évaluateurs est maintenant inégal, et il y a même un groupe d'étudiants de premier cycle et d'étudiants diplômés. La raison principale est que l'industrie se développe trop rapidement et que le nombre d'étudiants augmente. Le nombre de soumissions est beaucoup plus rapide que celui des évaluateurs qualifiés. La vitesse de développement des rédacteurs.

Cela se traduit non seulement par une plus petite proportion de personnes capables de réviser, mais également par moins de temps que les réviseurs compétents peuvent consacrer à chaque article.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!