Dinghui는 허용 기준을 낮춰야 할까요? 게임 이론을 사용하여 최적의 검토 및 의사결정 메커니즘 탐색

최근 몇 년 동안 인공지능 분야에서는 대규모 컴퓨터 회의의 심사 메커니즘에 대한 비판이 점점 더 많아졌습니다. 이 모든 뒤에 숨은 모순은 논문 저자, 회의 주최자 및 심사자의 일관되지 않은 관심에서 비롯됩니다.

• The 논문 저자는 자신의 논문이 컨퍼런스에서 승인되기를 바랍니다.
• 컨퍼런스 주최자는 컨퍼런스의 명성(컨퍼런스 품질)을 높이기 위해 더 높은 품질의 논문을 수용하기를 희망합니다.
• 리뷰어는 과도한 리뷰 작업을 피하기를 바랍니다. 원고 압력).

따라서 논문 수가 크게 늘어난 환경에서 어떻게 회의 품질과 검토 압력의 균형을 맞추느냐가 3자 이해관계의 균형을 이루기 위한 핵심 문제입니다. 작년에 인공지능 분야의 학자들은 회의 검토 및 의사결정 메커니즘을 개선하는 방법에 대한 수많은 의견과 제안을 23페이지 분량의 Google 문서에 요약했습니다. 아이디어 중 하나는 매우 흥미롭고 많은 사람들이 인정했습니다.

문서 링크: https://docs.google.com/document/d/1j7Mn2ZkquSzWJ_EzxdXBP3z_JQtrSeUa-CQ0gotAuYw/mobilebasic

이 아이디어는 이 기사에서 재제출 역설이라고 부르는 반직관적인 현상에서 비롯됩니다.

매년 수많은 논문이 거부됩니다(NeurIPS와 같은 최고의 인공 지능 컨퍼런스의 승인률은 항상 30% 미만), 이러한 논문의 대부분은 약간만 수정하거나 전혀 변경하지 않고 다시 제출되며 결국 동일한 컨퍼런스 또는 동일한 수준의 컨퍼런스에서 승인됩니다. 대부분의 논문은 결국 승인될 것이므로 승인 임계값을 낮추어 재제출 횟수를 줄여 더 많은 논문이 승인될 수 있도록 하면 어떨까요? 이렇게 하면 검토자가 동일한 논문을 반복적으로 읽는 것을 방지하고 검토에 대한 부담을 줄일 수 있습니다.

이 아이디어는 매우 합리적으로 보이지만, 이 기사의 저자는 저자와 회의 간의 상호 작용을 설명하기 위해 게임 이론 모델을 사용할 것을 제안했으며 이 아이디어에 대해 부정적인 답변을 제공했습니다. 논문은 경제 및 계산(2022)에서 승인되었습니다. 이 모델에서 이 기사에서는 다음 질문과 같이 회의 ​​품질과 검토 압력을 평가하는 다양한 검토 및 의사 결정 메커니즘의 성능에 대해 논의합니다.

• 최적의 승인 임계값을 결정하는 방법은 무엇입니까?
• 논문의 리뷰어 수를 늘려야 할까요?
• 리뷰 품질을 높이면 어떤 이점이 있나요?
• 저자는 논문에 대한 이전 리뷰 코멘트도 제공해야 하나요? ... 원고 과정은 반복 게임을 모델로 하며 구체적인 과정은 다음과 같습니다.
• 먼저 각 저자마다 제출할 논문이 있습니다. 각 제출 라운드에서 저자는 두 가지 결정 중 하나를 내립니다. 즉, 논문을 최고의 컨퍼런스에 제출할지 아니면 확실한 베팅(예: 덜 권위 있는 두 번째 카테고리 컨퍼런스)에 제출할지입니다. 최고의 컨퍼런스에 제출된 결과는 검토 메커니즘과 논문의 품질에 따라 결정됩니다.

Ting은 논문을 승인할 확률이 일정하며 일단 승인되면 저자는 더 큰 이익을 얻게 됩니다.

논문이 확실하게 수신될 것임을 보장하지만 혜택은 더 적습니다.

그중 리뷰의 의사결정은 전적으로 리뷰어의 리뷰 의견에 달려 있습니다. 예를 들어 게재 허용 기준을 설정하면 평균 리뷰 점수가 기준보다 높은 경우에만 논문이 승인됩니다. 재투고 횟수는 기하급수적으로 감소하므로 작성자의 수입은 늘어납니다.

Ding 회의는 검토/의사결정 메커니즘을 약속하며 작성자는 이 메커니즘에 대한 최선의 전략을 세울 것이며 Ding 회의는 작성자를 위한 최선의 대응 전략을 고려하고 균형을 이룰 수 있는 메커니즘을 설계해야 합니다. 회의의 질과 검토가 최적의 메커니즘을 압박합니다.

• 2. 주요 결론

위의 모델링 방법을 사용하여 이 문서는 다음을 포함하는 몇 가지 중요한 결론을 도출합니다.

1) 저자의 최적 전략

단순화된 모델(더 복잡한 모델은 원문 참조)에서 이 기사는 다음과 같은 가정을 합니다. 저자는 자신의 논문의 진정한 품질을 알고 있으며 결정은 다음과 같습니다. 학회를 만드는 것은 기억에 남지 않으며(각 검토 라운드의 결정은 해당 라운드의 검토자의 의견에만 달려 있음) 저자에게는 무제한의 재제출 기회가 있습니다. 이 경우 저자는 임계값 최적 전략을 가지고 있습니다.

• 논문의 품질이 임계값보다 높으면 저자는 논문을 최상위에 제출하도록 선택하며, 거부 횟수에 관계없이 , 저자는 논문이 승인될 때까지 다시 제출하도록 선택합니다. ;
• 논문의 품질이 기준치 미만인 경우 저자는 즉시 확실한 내기를 선택합니다.

일반적으로 저자의 제출 임계값 Θ는 아래 그림과 같이 학회 승인 임계값 τ보다 낮습니다.

위의 결론은 재제출의 역설을 설명하는 데 사용될 수 있습니다. 더 많은 논문을 수락한다고 해서 본질적으로 검토 부담이 줄어들지 않는 이유는 무엇입니까? 이는 학회의 승인 임계값 τ를 낮추면 동시에 저자의 제출 임계값 Θ도 낮아져 품질이 낮은 논문의 제출이 더 많아지기 때문입니다. 아래 그림과 같이 승인 기준을 낮추면 이전에 두 번째 카테고리 회의에 제출하도록 선택된 일부 논문(보라색 영역)이 이제 상위 회의에 제출되도록 선택됩니다.

2) 회의 품질과 검토 압력

회의의 검토/의사결정 메커니즘은 회의 품질과 검토 압력을 저울질해야 하는데, 둘 다 가질 수는 없습니다.

• 컨퍼런스 품질 = 승인된 모든 논문의 품질 합계
• 심사 압박 = 제출부터 최종 승인까지 논문이 검토될 예상 횟수

승인 임계값을 변경해도 회의 품질 및 검토 압력을 변경합니다(아래 참조).

그림은 합격 임계값에 대한 회의 품질(세로 좌표)과 리뷰 압력(가로 좌표)의 변화 곡선을 보여줍니다. σ는 리뷰어 노이즈의 표준 편차입니다.

다음 세 가지 상황은 회의 품질과 검토 압력 사이의 더 나은 균형으로 이어질 수 있습니다(동일한 회의 품질을 달성하려면 검토 압력이 덜 필요함).

• 더 나은 검토 품질— ——검토자 소음은
• 좋아요의 낮은 평판 ———— 확실한 내기에 비해 엄지손가락을 올리면 수입이 낮아집니다.
• 더 많은 단기 작가 ———— 여러 번 다시 게시할 때 더 큰 할인.

3. 결론

이 기사의 목적은 학술 회의에서 검토 및 의사 결정 메커니즘을 개선할 때 다양한 메커니즘이 논문 작성자에게 제공하는 인센티브를 고려하도록 요청하는 것입니다. 논문 합격률과 같은 논문의 원문은 주로 어떤 요인의 영향을 받나요? 논문 품질에 대한 정확한 지식이 없는 저자를 위한 최적의 전략은 무엇입니까? 저자에게 논문에 대한 이전 검토 의견을 제공하도록 요구하는 것이 컨퍼런스에 어떤 영향을 미치나요?

물론, 이 글의 이론적 모델은 다양한 수준에서 많은 한계를 가지고 있습니다. 예를 들어, 이 글은 리뷰 압력이 리뷰 품질에 미치는 부정적인 피드백 효과와 컨퍼런스 품질이 저자 수입에 미치는 긍정적인 피드백 효과를 고려하지 않습니다. , 거절 과정 등에서 논문의 품질이 향상되지 않을 것으로 간주합니다. 컨퍼런스 피어 리뷰 시스템에 대한 논의와 개선은 여기서 끝나지 않을 것입니다. 특히 게임 관점에서 컨퍼런스 리뷰 메커니즘을 이해하는 것이 중요합니다. 관심 있는 독자는 논문 원문을 보거나 기사 작성자에게 문의하시기 바랍니다. 더 많은 연구 세부 사항을 논의하기 위해.

위 내용은 Dinghui는 허용 기준을 낮춰야 할까요? 게임 이론을 사용하여 최적의 검토 및 의사결정 메커니즘 탐색의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!