Sollte Dinghui die Akzeptanzschwelle senken? Nutzen Sie die Spieltheorie, um optimale Überprüfungs- und Entscheidungsmechanismen zu erforschen

In den letzten Jahren wurde im Bereich der künstlichen Intelligenz zunehmend Kritik am Begutachtungsmechanismus großer Computerkonferenzen geäußert. Der Widerspruch dahinter ergibt sich aus den widersprüchlichen Interessen der Papierautoren, Konferenzorganisatoren und Gutachter:

• Der Der Autor des Beitrags hofft, dass seine Beiträge von der Konferenz angenommen werden Manuskriptdruck).
• Daher ist die Frage, wie man Konferenzqualität und Begutachtungsdruck in einem Umfeld, in dem die Anzahl der Beiträge deutlich gestiegen ist, in Einklang bringen kann, die Kernfrage, um einen Interessenausgleich zwischen den drei Parteien zu erreichen. Letztes Jahr brachten Wissenschaftler aus dem Bereich der künstlichen Intelligenz zahlreiche Meinungen und Vorschläge zur Verbesserung des Konferenzbewertungs- und Entscheidungsmechanismus ein. Diese Ideen wurden in einem 23-seitigen Google-Dokument zusammengefasst. Eine der Ideen ist sehr interessant und wurde von vielen Menschen anerkannt:

Dokumentenlink: https://docs.google.com/document/d/1j7Mn2ZkquSzWJ_EzxdXBP3z_JQtrSeUa-CQ0gotAuYw/mobilebas ic

Diese Idee rührt von einem solchen kontraintuitiven Phänomen her, das in diesem Artikel als Wiedervorlageparadoxon bezeichnet wird:

Jedes Jahr wird eine große Anzahl von Beiträgen abgelehnt (die Akzeptanzrate von Top-Konferenzen für künstliche Intelligenz wie NeurIPS ist immer hoch). unter 30 %), werden die meisten dieser Beiträge mit nur geringfügigen Anpassungen oder gar keinen Änderungen erneut eingereicht und schließlich von derselben Konferenz oder Konferenzen auf demselben Niveau angenommen. Da die meisten Arbeiten irgendwann angenommen werden, warum nicht die Annahmeschwelle senken, damit nach weniger Wiedereinreichungen mehr Arbeiten angenommen werden können? Dadurch wird verhindert, dass die gleiche Arbeit wiederholt von Gutachtern gelesen wird, und der Gutachterdruck wird verringert.

Obwohl diese Idee sehr vernünftig erscheint, schlug der Autor dieses Artikels vor, ein spieltheoretisches Modell zu verwenden, um die Interaktion zwischen dem Autor und der Konferenz zu beschreiben, und gab eine negative Antwort auf diese Idee Forschungsarbeit wurde von Economics and Computation akzeptiert (2022). Unter diesem Modell wird in diesem Artikel die Leistung verschiedener Überprüfungs- und Entscheidungsmechanismen bei der Abwägung von Besprechungsqualität und Überprüfungsdruck erörtert, beispielsweise die folgenden Fragen:

Wie ermittelt man die optimale Akzeptanzschwelle?

Sollten wir die Anzahl der Gutachter einer Arbeit erhöhen?

• Welche Vorteile bringt eine Verbesserung der Bewertungsqualität?
• Sollte der Autor auch frühere Rezensionskommentare für die Arbeit abgeben? ... Der Manuskriptprozess ist als wiederholtes Spiel modelliert und der spezifische Prozess ist wie folgt:
• Zunächst muss jeder Autor einen Aufsatz einreichen. In jeder Einreichungsrunde trifft der Autor eine von zwei Entscheidungen: Er reicht die Arbeit bei einer Top-Konferenz oder bei einer sicheren Wette (z. B. einer weniger prestigeträchtigen Konferenz der zweiten Kategorie) ein. Die der Top-Konferenz vorgelegten Ergebnisse und die sichere Wette hängen vom Überprüfungsmechanismus und der Qualität des Papiers ab:
• Ting hat eine gewisse Wahrscheinlichkeit, das Papier anzunehmen, und sobald es angenommen wird, erhält der Autor einen größeren Gewinn;
• Sure Bet garantiert, dass das Papier sicher erhalten wird, jedoch mit geringeren Vorteilen.

Unter anderem hängt die Entscheidungsfindung bei der Bewertung vollständig von der Bewertungsmeinung des Gutachters ab. Wenn Sie beispielsweise einen Annahmeschwellenwert festlegen, wird die Arbeit nur dann akzeptiert, wenn die durchschnittliche Bewertungspunktzahl höher als der Schwellenwert ist Das Einkommen des Autors erhöht sich mit der erneuten Einreichung. Die Häufigkeit verringert sich exponentiell.

Die Ding-Konferenz verspricht einen Überprüfungs-/Entscheidungsmechanismus, und der Autor wird die beste Strategie für diesen Mechanismus entwickeln, während die Ding-Konferenz die beste Reaktionsstrategie für den Autor berücksichtigen und einen Mechanismus entwerfen muss, der einen Ausgleich schafft Die Qualität des Meetings und der Überprüfungsdruck bestimmen den optimalen Mechanismus.

2. Hauptschlussfolgerungen

• Unter Verwendung der oben genannten Modellierungsmethode zieht dieses Papier einige wichtige Schlussfolgerungen, darunter:

1) Die optimale Strategie des Autors

In einem vereinfachten Modell (komplexere Modelle finden Sie im Originaltext) geht dieser Artikel von folgenden Annahmen aus: Der Autor kennt die wahre Qualität seiner Arbeit und die Entscheidungsfindung. Die Gestaltung der Konferenz ist nicht denkwürdig (die Entscheidung jeder Begutachtungsrunde hängt nur von den Meinungen der Gutachter in dieser Runde ab), und der Autor hat unbegrenzte Möglichkeiten zur erneuten Einreichung. In diesem Fall hat der Autor eine optimale Strategie für den Schwellenwert:

• Wenn die Qualität des Papiers über dem Schwellenwert liegt, entscheidet sich der Autor dafür, das Papier an die Spitze einzureichen, und egal wie oft es abgelehnt wird ;
• Wenn die Qualität der Arbeit unter dem Schwellenwert liegt, wählt der Autor sofort eine sichere Wette aus.

Normalerweise ist die Einreichungsschwelle Θ des Autors niedriger als die Akzeptanzschwelle τ der Konferenz, wie in der Abbildung unten dargestellt.






Die obige Schlussfolgerung kann zur Erklärung des Wiedervorlageparadoxons verwendet werden: Warum verringert die Annahme weiterer Beiträge den Begutachtungsdruck nicht wesentlich? Dies liegt daran, dass eine Senkung der Akzeptanzschwelle τ der Konferenz gleichzeitig die Einreichungsschwelle Θ der Autoren senkt und dadurch mehr Einreichungen minderwertiger Beiträge anzieht. Wie in der folgenden Abbildung dargestellt, werden bei einer Senkung der Annahmeschwelle einige Beiträge (lila Bereich), die zuvor für die Einreichung bei der Konferenz der zweiten Kategorie ausgewählt wurden, nun für die Einreichung bei der obersten Konferenz ausgewählt.

2) Besprechungsqualität und Überprüfungsdruck

Der Überprüfungs-/Entscheidungsmechanismus der Konferenz muss die Besprechungsqualität und den Überprüfungsdruck abwägen, und die beiden können nicht beides haben.

• Konferenzqualität = die Summe der Qualität aller angenommenen Beiträge
• Begutachtungsdruck = die erwartete Häufigkeit, mit der ein Beitrag von der Einreichung bis zur endgültigen Annahme begutachtet wird

Die Änderung der Annahmeschwelle wird ebenfalls durchgeführt Ändern Sie die Besprechungsqualität und den Überprüfungsdruck (wie unten gezeigt).






Das Bild zeigt die Änderungskurve der Besprechungsqualität (Ordinate) und des Bewertungsdrucks (Abszisse) in Bezug auf die Akzeptanzschwelle, σ ist die Standardabweichung des Prüferrauschens.

Die folgenden drei Situationen können zu einem besseren Kompromiss zwischen Konferenzqualität und Überprüfungsdruck führen (weniger Überprüfungsdruck ist erforderlich, um die gleiche Konferenzqualität zu erreichen): niedriger;

• Geringere Reputation von „Daumen hoch“ – Im Vergleich zu „Sichere Wette“ bringt „Daumen hoch“ geringere Einnahmen;
• Mehr kurzfristige Autoreneinkommen – Größere Rabatte bei mehreren Wiederholungen.
• 3. Schlussfolgerung
Dieser Artikel soll akademische Konferenzen dazu aufrufen, die Anreize zu berücksichtigen, die verschiedene Mechanismen für Papierautoren bieten, wenn sie die Überprüfungs- und Entscheidungsmechanismen verbessern. Weitere interessante Schlussfolgerungen finden Sie im Originaltext von Von welchen Faktoren wird das Papier, wie z. B. die Papierakzeptanzrate, hauptsächlich beeinflusst? Was ist die optimale Strategie für Autoren, die die Qualität ihrer Arbeit nicht genau kennen? Welchen Einfluss hat die Verpflichtung von Autoren, frühere Rezensionskommentare zu einem Artikel abzugeben, auf die Konferenz?

Natürlich weist das theoretische Modell dieses Artikels viele Einschränkungen auf verschiedenen Ebenen auf: Beispielsweise berücksichtigt dieser Artikel nicht den negativen Feedbackeffekt des Rezensionsdrucks auf die Rezensionsqualität und den positiven Feedbackeffekt der Konferenzqualität auf das Autoreneinkommen und geht davon aus, dass die Qualität des Papiers während des Ablehnungsprozesses usw. nicht verbessert wird. Die Diskussion und Verbesserung des Konferenz-Peer-Review-Systems wird hier nicht enden. Es ist besonders wichtig, den Konferenz-Review-Mechanismus aus einer Spielperspektive zu verstehen. Interessierte Leser können sich gerne den Originaltext des Artikels ansehen oder an den Autor des Artikels schreiben um weitere Forschungsdetails zu besprechen.

Das obige ist der detaillierte Inhalt vonSollte Dinghui die Akzeptanzschwelle senken? Nutzen Sie die Spieltheorie, um optimale Überprüfungs- und Entscheidungsmechanismen zu erforschen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!