Der Gutachter beim AI Summit ist tatsächlich ein Student? Eine Physikerin hat eine Beschwerde auf Twitter gepostet, und den Großen der Branche gefiel sie einer nach dem anderen.

Glauben Sie, dass Gutachter für erstklassige wissenschaftliche Konferenzzeitschriften alle Experten auf ihrem jeweiligen Gebiet sind?

Tatsächlich handelt es sich bei den Gutachtern der Forschungsarbeit, an der Sie mehrere Monate lang hart gearbeitet haben, höchstwahrscheinlich um eine Gruppe von Studenten oder Doktoranden?

Kürzlich beschwerte sich Lenka Zdeborova, eine Physikerin von der École polytechnique fédérale de Lausanne (EPFL), auf Twitter über den Gutachtermechanismus der Top-Konferenz.

Bewerber der Graduiertenschule haben bereits Erfahrung in der Begutachtung von Manuskripten? Und es gibt einige.

Ich prüfe Bewerbungen für die EPFL Graduate School of Computer Science und sehe, dass viele der Bewerber Erfahrung als Gutachter für Top-ML-Konferenzen haben, und ich frage mich, ob ein großer Teil der Peer-Reviews von Studenten im Grundstudium durchgeführt wird Beschäftigen wir uns überhaupt mit Peer-Review? ?

Lenka Zdeborová ist Professorin für Physik und Informatik an der EPFL, wo sie die Sektion Statistische Physik der Fakultät für Informatik leitet.

Sie ist Redaktionsmitglied vieler wissenschaftlicher Zeitschriften wie Journal of Physics A, Physical Review E, Physical Review X, SIMODS, Machine Learning: Science and Technology, Information and Inference usw.

Lenka ist auf die Anwendung von Konzepten aus der statistischen Physik (z. B. fortgeschrittene Mean-Field-Methoden, Replikationsmethoden und verwandte Message-Passing-Algorithmen) auf Probleme des maschinellen Lernens, der Signalverarbeitung, Inferenz und Optimierung spezialisiert.

Einige Leute in der Branche sind sich auch einig, dass Studienanfänger im ersten Studienjahr Manuskripte bereits auf der Top-Konferenz begutachten können, und niemand hält dies für ein Problem.

... Von ICLR bis AAAI ist die Anzahl der Gutachter unterschiedlich. Wenn sie nicht qualifiziert sind, fällt Ihre Arbeit in die Hände eines Studenten.

Nachdem man sich über die Qualität der Rezensenten beschwert hat, kommt es darauf an, darüber nachzudenken, wie man ein Werk schreibt, das für jeden Sinn macht und den Geschmack der Rezension der meisten Leute berücksichtigt.

Quelle: Kaka Kakabi

Ein anderer Befragter „Hysterical i“ glaubt auch, dass Rezensenten Ihr Fachgebiet selten verstehen, daher müssen Sie die Ergebnisse der Arbeit klar darlegen. Präsentieren Sie sie klar, damit andere es verstehen können. Ich verstehe es nicht, und das ist dein Problem.

Quelle: Hysterical i

Wie begutachtet man Manuskripte auf der Top-Konferenz

Wie begutachtet man Manuskripte auf der Top-Konferenz? Peer-Review ist der Grundstein der modernen Wissenschaft (wie NeurIPS, ICML, AAAI), um festzustellen, ob eingereichte Beiträge für die Community relevant und originell sind genug, um es dort zu veröffentlichen.

Da die Zahl der Einsendungen in den letzten zehn Jahren exponentiell gestiegen ist, ist die Qualität der Rezensionen leider ebenso schnell zurückgegangen.

Wenn Sie jemals einen Beitrag bei einer dieser Konferenzen eingereicht haben, nachdem Sie monatelang hart an einer Ihrer Meinung nach brillanten Idee gearbeitet haben, war das Ergebnis beschissen, nutzlos und (noch schlimmer) Ein sarkastischer Kommentar bedeutet, dass Sie es tun werden müssen den Einreichungsprozess noch einmal durchlaufen, ohne einen Hinweis darauf zu erhalten, was mit Ihrer Arbeit nicht stimmt.

Turing-Award-Gewinner Geoffrey Hinton nannte in einem Interview mit dem Wired-Magazin im Jahr 2018 einen der Gründe dafür:

Wenn man nun einen Beitrag mit einer völlig neuen Idee einreicht, hat dieser keine Chance angenommen, weil diese jungen Nachwuchsrezensenten es einfach nicht verstehen konnten.

Oder es trifft auf einen leitenden Gutachter, der zu viele Aufsätze überprüft hat, es beim ersten Mal nicht verstanden hat und dachte, es müsse Unsinn sein. Ich denke, das ist wirklich schlimm.

Zhihu-Antworter Electro-Light Phantom Alchemy ging davon aus, dass die Rezension abgelehnt wurde. Wenn Sie feststellen, dass Ihr Artikel aufgrund einiger konzeptioneller Probleme, die der Rezensent nicht verstanden hat, eine niedrige Punktzahl erhalten hat, gibt es drei Möglichkeiten:

(1) Der Gutachter ist ein Student/Junior-Doktorand und versteht diese Konzepte nicht.

(2) Der Rezensent ist ein super Typ. Er legt großen Wert auf grundlegende konzeptionelle Fragen und ist schon seit vielen Jahren nicht mehr in diesem Bereich tätig.

(3) Der Gutachter ist ein Superboss, aber er hat keine Zeit, also überlässt er es seinen Juniordoktoranden, das Manuskript zu begutachten. Daher ist der akademische Kreis ein Kreislauf, und Studenten im Grundstudium verhalten sich fast wie Superchefs.

• Glauben Sie, der ideale Gutachter ist:

Öffnen Sie die Arbeit am Montag, schauen Sie sich die Zusammenfassung an, lesen Sie sie schnell und bewerten Sie die Neuheit. Schauen Sie sich am Dienstag die Methoden genau an und finden Sie Fehler. Schauen Sie sich das Experiment am Mittwoch an, lesen Sie die relevanten Artikel der Baseline und überprüfen Sie die experimentellen Details. Beginnen Sie am Donnerstag mit dem Schreiben von Bewertungskommentaren, um die Bewertungspunktzahl zu ermitteln. Am Freitag werde ich einige Bewertungskommentare hinzufügen und die Bewertungsergebnisse einreichen.

• Eigentlicher Rezensent:

Ich öffnete den Rezensionsbeitrag am Montag um 8 Uhr, las die Zusammenfassung und hatte das Gefühl, dass es nichts Neues war. Nachdem ich mir die Bilder angesehen habe, habe ich das Gefühl, dass ich es nicht verstehen kann, ohne den Text zu lesen. Ich drehte mich nach hinten und schaute mir die experimentellen Zahlen an, und ich hatte das Gefühl, dass die Verbesserung nicht groß war. Schauen Sie sich die Methoden an, es gibt zu viele Seiten zum Lesen. Am Nachmittag habe ich noch etwas zu tun, also gebe ich dir 5 Punkte und gehe. Die Überprüfungsarbeit endet am Montagmorgen um 11:30 Uhr.

Werfen wir einen Blick auf die Überprüfungsregeln von ICML2022:

• Bedeutung der Themenauswahl:

Die Zweck dieses Teils der Überprüfung ist es, MR (Me ta-reviewer) Zeigen Sie dem Autor, wie gut Sie die Arbeit verstehen und was Sie darüber denken.

• Schreibinnovation, Relevanz, Wichtigkeit:

Sind sie für unsere Community relevant? Sind sie neu? Wenn die Antwort „Nein“ lautet (oder teilweise „Nein“, z. B. durch Zitieren präziser Ergebnisse aus einer früheren Arbeit), ist eine genaue Begründung erforderlich, damit der Autor weiß, wie er die Arbeit korrigieren kann.

• Gehaltlichkeit:

Idealerweise sollte ein Artikel Behauptungen aufstellen, die durch theoretische Argumente gestützt oder vollständig unterstützt werden durch experimentelle Ergebnisse.

• Qualität des Schreibens:

Ist die Arbeit gut organisiert und Deutlich geschrieben? Erklärt es die Neuheit und die Ergebnisse gut? Enthält das Papier genügend Informationen, um seine Behauptungen zu untermauern?

• Referenzen:

Ist dieser Artikel ordnungsgemäß rezensiert? zeitgenössische Literatur? Wenn nicht, geben Sie bitte an, was fehlt. Beachten Sie, dass aufgrund der begrenzten Seitenzahl von Aufsätzen häufig eine Beurteilung erforderlich ist, ob die Ergebnisse erwähnt werden sollten.

Dies sind die Bewertungsstandards für Gutachter in der ersten Stufe. Wer die Bewertungsstandards erfüllt, kann an der zweiten teilnehmen Bühne. Bühne.

Beiträge, die die erste Phase bestehen, werden vom Meta-Rezensenten (MR) und dem Projektleiter überprüft. Danach wird es zusätzliche Gutachter geben, um sicherzustellen, dass die Qualität der Papierbewertung.

Und warum ist die Qualität der Gutachter auf der Top-Konferenz jetzt ungleichmäßig, obwohl sogar eine Gruppe von Studenten auftaucht? Der Hauptgrund dafür ist, dass sich die Branche zu schnell entwickelt und die Zahl der Einreichungen viel schneller zunimmt als die Ausbildung qualifizierter Gutachter.

Dies führt nicht nur zu einem geringeren Anteil an Leuten, die in der Lage sind, Rezensionen zu schreiben, sondern auch, dass fähige Rezensenten weniger Zeit für jeden Artikel aufwenden können.

Das obige ist der detaillierte Inhalt vonDer Gutachter beim AI Summit ist tatsächlich ein Student? Eine Physikerin hat eine Beschwerde auf Twitter gepostet, und den Großen der Branche gefiel sie einer nach dem anderen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!