Les internautes ont condamné le président de l'ACL pour avoir critiqué publiquement arXiv et ont suggéré d'envisager d'autres grandes conférences

Emily M. Bender, professeur à l'Université de Washington et vice-présidente de la conférence ACL 2023, a fait sensation il y a quelques jours avec ses remarques

arXiv a ruiné l'atmosphère de la recherche, alors que lisons-nous chaque jour? Boaz Barak, professeur à l'Université de Harvard, a déclaré qu'arXiv a fait bien plus pour promouvoir le progrès scientifique et élargir la participation scientifique que toutes les interventions anonymes. Toute politique qui entrave arXiv est non seulement stupide, mais sape également le progrès scientifique et l'inclusion. Le sexe a l'effet inverse. Le géant du deep learning Yann LeCun a soutenu son point de vue

La discussion sur le point de vue d'Emily Bender n'est en fait pas complètement déraisonnable. Après tout, arXiv est une plateforme avec presque aucune évaluation : si vous soumettez un manuscrit à une conférence ou à une revue universitaire, l'auteur restera anonyme pendant la période d'évaluation, mais sur arXiv, les gens suivent toujours involontairement des institutions de recherche et des universitaires de renom. Cependant, depuis ce qui s'est passé hier, le sens de la discussion a complètement basculé d'un côté

Afin de comprendre les tenants et les aboutissants de l'affaire, il faut d'abord jeter un œil à l'incident de rejet du papier ACL qui a provoqué un tollé dans la communauté IA hier

Naomi Saphra, boursière postdoctorale à l'Université de New York (étudiant avec Kyunghyun Cho) a posté sur X le 4 septembre, disant que son article venait d'être rejeté par l'ACL, la plus haute conférence internationale dans le domaine de traitement du langage naturel. Il s'agissait de sa première soumission de document de conférence avec des étudiants, et elle avait déjà déclaré au premier auteur que les meilleures conférences sur le traitement du langage naturel étaient plus conviviales que les conférences sur l'apprentissage automatique. Pendant la période d'examen, le premier auteur a passé beaucoup de temps à réfuter, et les résultats expérimentaux ont également soutenu le point de l'article

Cependant, le plus important est que la raison pour laquelle elle a été rejetée était parce qu'elle avait soumis le manuscrit après la date limite de la politique d'anonymat. A soumis l'article à arXiv

Naomi Saphra a déclaré que la politique de l'ACL a causé du tort aux nouveaux chercheurs débutants, ce qui a amené la conférence à s'écarter de l'intention initiale du domaine du traitement du langage naturel

AI Top Conference interdit la publicité pendant la révision Le document a une longue histoire de controverse. De nos jours, dans le cercle de l'IA, de nombreuses personnes ont l'habitude de regarder chaque jour la plateforme de papier pré-imprimé arXiv, car cette plateforme est mise à jour quotidiennement. En comparaison, la recherche de la conférence annuelle est publiée beaucoup plus lentement

Dans le domaine de l'IA, si vous ne lisez pas les nouvelles, vous prendrez du retard

Après la plainte de Naomi Saphra, les gens ont commencé à critiquer l'ennuyeux courant Politique de la conférence sur l'IA

Sebastian Raschka, chercheur bien connu en apprentissage automatique et professeur adjoint à l'Université du Wisconsin-Madison, a mené des recherches. Il a souligné que cet article avait été rejeté non pas parce qu'il avait manqué de peu la date limite de soumission des articles de la conférence. minutes, mais parce qu'il était en retard de quelques minutes pour le soumettre à une plateforme papier de pré-impression tierce facultative. Que se passe-t-il?

Ils n'autorisaient pas les gens à discuter de leurs articles arxiv en ligne auparavant, peuvent-ils désormais également limiter le moment où les gens peuvent les télécharger sur arxiv ?

Sebastian Raschka a trouvé la politique de révision spécifiquement comme suit : à l'ACL 2023, les articles soumis par des méthodes directes ont une période d'anonymat et ne sont pas autorisés à voir leur signature divulguée sur la plateforme de papier de pré-impression. Les heures spécifiées sur arXiv font référence à l'heure de soumission, et non à l'heure de publication sur arXiv. La politique de révision découverte par Sebastian Raschka est précisément la suivante : à l'ACL 2023, les articles soumis par soumission directe auront une période d'anonymat et ne seront pas autorisés à être signés publiquement sur la plateforme de préimpression. L'heure désignée fait référence à l'heure de soumission sur arXiv, et non à l'heure publique sur arXiv

Le professeur Gautam Kamath de l'Université de Gaotielu a également déclaré : Je pense que cette politique est très stupide, et dans le processus de mise en œuvre réel, le la situation est meilleure qu'on ne l'imaginait Pire

Il a maintenant fixé une date limite pour le téléchargement sur arXiv, et l'article de Naomi Saphra et al a été rejeté car il a raté cette fois. Vous voyez, il a maintenant fixé une date limite pour que vous puissiez télécharger sur arXiv. C'est à cause de votre absence cette fois que l'article de Naomi Saphra et d'autres a été rejeté

Boaz Barak a dit sarcastiquement, se pourrait-il que l'auteur de l'article soit rejeté. paper Vous souhaitez passer du temps dans un monastère avant la publication des résultats de l'examen ? Nous sommes actuellement à l’ère des grands modèles, et la concurrence dans le domaine de la PNL est devenue extrêmement féroce. La carrière de nombreux jeunes chercheurs dépend de la diffusion de leurs travaux sur des plateformes à haute visibilité dans l’espoir d’obtenir davantage de citations. Cependant, les pratiques actuelles des principales conférences sur l'intelligence artificielle sont contraires à cela

Selon l'intention initiale des conférences comme l'ACL, il s'agit évidemment de favoriser les échanges académiques et de favoriser le développement de la recherche avancée. Cependant, les politiques douloureuses ont même amené les gens à remettre en question l'autorité de la conférence elle-même.

Le vice-président de Google, Fernando Pereira, a déclaré : L'ACL a depuis longtemps cessé d'être académique et suit désormais la voie d'une bureaucratie.

Fu Yao, étudiant en doctorat, a déclaré : J'ai participé aux conférences ACL et ICML cette année, et il y a un contraste frappant entre les deux. Le contenu de l’ACL 2023 est fondamentalement obsolète depuis plus d’un an, tandis que le contenu de l’ICML est plein de perspectives pour l’avenir. Si la jeune génération de chercheurs en traitement du langage naturel veut un avenir, elle devrait soumettre ses articles à NeurIPS/ICLR/ICML

Quelqu'un a mentionné que les réglementations qui ont conduit au rejet de l'article de Saphra remontent à 2017. Comparé au développement rapide de la technologie de l'IA, le développement des règles pour les conférences sur l'IA semble être relativement lent.

Fait intéressant, l'ACL n'a en réalité pas été modifiée très lentement. Depuis 2022, l'ACL a lancé un mécanisme appelé « Rolling Review », à savoir l'ACL Rolling Review (ARR), qui s'apparente au processus de révision des revues. Récemment, l'ACL a révisé le règlement. La soumission directe sera complètement annulée lors de la conférence de 2024, et tout le monde ne pourra choisir de soumettre qu'à l'ARR

Auparavant, les articles soumis directement à la conférence de l'ACL pouvaient être traités selon l'examen régulier. processus : 1. Chaque article sera examiné par 3 évaluateurs ou plus. L'auteur peut soumettre une réponse pour répondre aux commentaires de révision. Une fois l'article accepté, l'auteur peut modifier la version finale

Dans le cadre du mécanisme ARR, les articles soumis. sera examiné par un responsable principal. Le président de secteur (SAC) gère la soumission et l'auteur peut fournir une réponse mais ne peut pas réviser le document. L'article doit obtenir tous les commentaires de révision et les commentaires de révision complets (méta-revue) et le soumettre à l'ACL avant la date limite. Le contenu ne peut pas être modifié, mais la réponse de l'auteur peut être jointe. Une fois soumis à l'ACL, il ne peut pas être modifié et soumis à nouveau à l'ARR (à moins que la conférence ne donne un résultat d'acceptation)

Selon la tendance actuelle, l'ACL continuera à se développer dans le sens de plusieurs séries d'examens à l'avenir pour être plus proche aux exigences des normes des revues universitaires

Actuellement, nous n'avons pas trouvé de solution pour équilibrer une recherche de haute qualité et une vitesse d'évaluation rigoureuse et équitable. Bien que l'évaluation continue ait fait de son mieux, elle n'est toujours pas comparable à la vitesse d'arXiv

. Voici le contenu de référence :

Veuillez cliquer sur le lien suivant pour afficher des informations détaillées sur la conférence principale de l'ACL 2023 : https://2023.aclweb.org/calls/main_conference/

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!