Chat-Screenshots enthüllen versteckte Regeln für KI-Rezensenten! AAAI 3000 Yuan ist stark zu akzeptieren?

Gerade als die Einreichungsfrist für AAAI 2023-Papiere näher rückte, erschien plötzlich ein Screenshot eines anonymen Chats in der AI-Einreichungsgruppe auf Zhihu.

Einer von ihnen behauptete, er könne einen „3.000 Yuan pro starkem Akzept“-Service anbieten.

Sobald die Nachricht bekannt wurde, erregte sie sofort öffentliche Empörung unter den Internetnutzern.

Aber mach dir noch keine Sorgen.

Zhihu-Chef „Fine Tuning“ sagte, dass dies höchstwahrscheinlich nur ein „Glück“ sei.

Laut „Fine Tuning“ sind Begrüßungen und Bandenkriminalität in jedem Bereich unvermeidbare Probleme. Mit dem Aufkommen von OpenReview werden die verschiedenen Nachteile von cmt immer deutlicher. Der Spielraum für kleine Kreise wird in Zukunft kleiner, aber es wird immer Platz geben. Denn es handelt sich um ein persönliches Problem und nicht um ein Problem mit dem Einreichungssystem und -mechanismus. Die Einführung einer offenen Überprüfung sowie der Gebots- und Zufallsübereinstimmung kann hilfreich sein.

Und seine persönliche Meinung ist, dass es keine Rolle spielt, ob der Artikel in NeurIPS, AAAI oder IJCNN veröffentlicht wird. Machen Sie ihn einfach genug bekannt, um alle wissen zu lassen, was Sie tun.

Ist dieser Trend in der heutigen Besprechung des Konferenzpapiers vorherrschend? Und hat irgendjemand dadurch „Ruhm und Reichtum“ erlangt?

Alles kann dich reich machen

Lassen Sie uns vor der Diskussion kurz darüber sprechen, was dieses Gebot ist.

Um die Zuweisung von Gutachtern zu erleichtern, veranstalten einige Konferenzen eine Ausschreibungssitzung, damit Gutachter Artikel auswählen können, die für sie von Interesse sind. Das System kann dann anhand der Auswahl dieser Gutachter Beiträge zuweisen. Allerdings sehen Gutachter zu diesem Zeitpunkt nur den Titel und die Zusammenfassung der Arbeit.

Und dazu gibt es viel zu sagen.

Verschiedene anonyme Enthüllungen

Ein anderer anonymer Internetnutzer auf Zhihu sagte, dass das Muster kleiner geworden sei, um dies zu beweisen. Tatsächlich können selbst die besten Papiere gegenseitig geboten werden . Kleine Dinge sind nichts.

Einige Internetnutzer sagten, dass sie bei der Einreichung bei AAAI in diesem Jahr ernsthaft gebeten wurden, widersprüchliche Benutzer, widersprüchliche Domänen usw. einzugeben, aber tatsächlich war dies von geringem Nutzen.

Dieser anonyme Zhihu-Benutzer hat sogar eine erstaunliche Lösung vorgeschlagen: Mithilfe grafischer neuronaler Netze, Empfehlungssysteme usw. kann automatisch das Beziehungsnetzwerk ermittelt werden, das sich auf jeden Tutor konzentriert, und dann werden die Ergebnisse der Gebotsdaten großer Konferenzen überprüft. Überprüfungsdaten und Bewertungsstatus sowie abnormale Knoten und Beziehungen können leicht ausgegraben werden, da sie wie Sterne im neuronalen Netzwerk des Graphen leuchten.

Oder veranstalten Sie einfach einen Top-Gebots-Data-Mining-Wettbewerb.

Einige Internetnutzer wiesen jedoch darauf hin, dass dieses sogenannte „3.000-Yuan-Paket SA“ tatsächlich fehlerhaft ist:

Wissen Sie, selbst wenn Sie es erzwingen, werden andere Rezensenten eine Grenze und eine Schwäche haben Lehnen Sie ab, geben Sie es einfach kostenlos weiter. Schließlich basiert diese Sache nicht auf durchschnittlichen Zulassungsergebnissen. Und wenn die Unterschiede riesig sind, wird AC sie nicht bieten können.

Auch wenn Sie Geld geben müssen, sollten Sie es für die „Klinge“ verwenden. Wenn Sie darüber nachdenken, müssen Sie SPC oder AC finden. Aber zu diesem Zeitpunkt müssen Sie zwei Fragen (eigentlich eine) berücksichtigen: Erstens: Glauben Sie, dass Sie jemanden dieses Niveaus für nur 3.000 Yuan bekommen können? Zweitens: Wenn jemand das wirklich für Sie tut, berechnet er Ihnen dann nur 3.000?

Natürlich gibt es neben der Beschwerde auch einen leitenden Rezensenten, der „selbst mutig“ ist und sagt, wenn er sieht, dass ein Rezensent „Hydraulics“ eine hohe Punktzahl gibt, wird er diese direkt energisch ablehnen und dann einen kurzen Aufsatz schreiben, um den Dissidenten zu kritisieren, und jetzt ist sogar die Vorlage erstellt.

Es wird gesagt, dass alle Konferenzen und Zeitschriften ähnliche Probleme haben, aber der Anteil und die Schwere sind unterschiedlich. Es ist unpraktisch, in diesem Artikel mehr zu sagen.

Der Vorschlag eines anonymen Benutzers ist wirklich talentiert

Wie zufällig ist die Bewertung?

Wie zufällig ist die KI-Bewertung?

Im Jahr 2021 führte NeurIPS ein Testkonsistenzexperiment durch.

Laut der Videoeinführung von „Electric Phantom Alchemy“ von Hong Kong Chinese CS Doctor besteht bei diesem Experiment eine Wahrscheinlichkeit von 10 %, dass dasselbe Manuskript an zwei Gruppen von Gutachtern gesendet wird, und die beiden Gruppen von Rezensenten kennen die Existenz des anderen nicht.

Zwei Gutachtergruppen bewerten getrennt, und zwei Feldvorsitzende entscheiden über die Bewertungsergebnisse. Auf diese Weise können wir quantitativ analysieren, wie wahrscheinlich es ist, dass dasselbe Manuskript unterschiedliche Begutachtungsergebnisse erhält.

Die Ergebnisse zeigen, dass die Wahrscheinlichkeit einer Annahme durch die erste Gutachtergruppe und einer Ablehnung durch die zweite Gutachtergruppe 52 % beträgt, was mehr als der Hälfte der Wahrscheinlichkeit entspricht.

Und wenn die erste Gutachtergruppe ablehnt, liegt die Wahrscheinlichkeit, dass auch die zweite Gutachtergruppe ablehnt, bei 83 %.

Dieses Ergebnis deckt sich auch mit der Sichtweise von Li Feifei.

Li Feifei hat einmal einen sehr berühmten Artikel über Rezensionen veröffentlicht und diese beiden Standpunkte vertreten: 1. Der Rezensionsprozess ist höchst zufällig. 2. Schlechte Beiträge erhalten schlechte Rezensionskommentare. Dies ist eine goldene Regel, die sich mit der Zeit und dem Zufall nicht ändert.

Ein solcher Vergleich wurde auch von NeurIPS-Beamten durchgeführt. Anschließend wurde eine Kurve basierend auf der Akzeptanzrate und der Unstimmigkeitsrate erstellt die Uneinigkeitsquote.

Wie in der Abbildung zu sehen ist, ist die Divergenzrate nicht groß, wenn die Empfangsrate sehr niedrig oder sehr hoch ist.

Die Differenzrate in der Mitte ist am größten. Wenn die Akzeptanzrate 50 % beträgt, ist die Differenz am größten.

Sowohl AAAI als auch IJCAI übernehmen dieses Modell und verwenden eine hohe Ablehnungsrate im Austausch für eine geringere Zufälligkeit.

Abschließend gibt „Electric Phantom Alchemy“ eine solche Zusammenfassung der Schlussfolgerungen zur Überprüfung der künstlichen Intelligenz.

AAAI an der Schwelle zum Sturm

Zunächst waren die Überprüfungsergebnisse von AAAI 2022 umstritten.

Jemand sagte in den sozialen Medien, dass sein Beitrag vier Mal angenommen wurde, aber schließlich abgelehnt wurde.

Der Autor unten gab an, dass die vier Rezensenten alle ihre Meinung zu „Akzeptanzbias“ oder „Akzeptanz“ äußerten und die Rezensionskommentare alle positiv waren: Die Idee ist interessant, das Modell ist solide genug, das Experiment und die Analyse ist umfassend genug.

Aber das Endergebnis ist: Ablehnung.

Für AAAI 2023 wird weiterhin das zweistufige + doppelblinde Überprüfungsformat verwendet.

In Stufe 1 erhält jede Arbeit zwei Gutachter. Sind beide eingegangenen Stellungnahmen negativ, wird die Arbeit komplett abgelehnt. Der Rest wird mit Phase 2 fortfahren.

In Phase 2 erhält jede Arbeit mindestens zwei neue Gutachter. Neue Prüfer sehen die Ergebnisse der Phase-1-Prüfung erst, wenn sie ihre Kommentare absenden.

Die Autoren von Artikeln, die in die zweite Phase eintreten, können auf alle Rezensionskommentare antworten. Die Diskussionen zwischen dem Programmausschuss und dem Senior Program Committee basieren auf dem Feedback der Autoren.

Bezüglich der spezifischen Betriebsmethode können Sie sich auf das folgende Dokument beziehen.

Dieser Artikel schlägt eine neuartige Methode zum Abgleich von Gutachtern und Beiträgen vor und wurde (ganz oder teilweise) bei AAAI 2021, ICML 2022, AAAI 2022 und IJCAI 2022 angewendet.

Papieradresse: https://arxiv.org/abs/2202.12273Am Ende kann ich nur sagen, dass es beim Einreichen nicht viel Arbeit gibt, und das Einzige Der Mitwirkende kann versuchen, einen guten Artikel zu schreiben und dafür zu sorgen, dass Ihre Arbeit die äußerst rechte Ecke der experimentellen NeurIPS-Kurve erreicht.

Das obige ist der detaillierte Inhalt vonChat-Screenshots enthüllen versteckte Regeln für KI-Rezensenten! AAAI 3000 Yuan ist stark zu akzeptieren?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!