채팅 스크린샷을 통해 AI 리뷰의 숨겨진 규칙을 밝혀보세요! AAAI 3000위안은 강력하게 받아들여집니까?

AAAI 2023 논문 제출 마감일이 다가오던 무렵, Zhihu에 갑자기 AI 제출 그룹의 익명 채팅 스크린샷이 나타났습니다.

그 중 한 명은 "3,000위안 강력 수락" 서비스를 제공할 수 있다고 주장했습니다.

해당 소식이 나오자마자 네티즌들의 공분을 샀습니다.

하지만 아직 걱정하지 마세요.

Zhihu 상사 "Fine Tuning"은 이것이 아마도 "행복"일 가능성이 높다고 말했습니다.

"Fine Tuning"에 따르면 인사와 갱 범죄는 어느 분야에서나 피할 수 없는 문제입니다. openreview의 등장으로 cmt의 다양한 단점이 점점 더 명확해졌습니다. 앞으로는 작은 서클이 운영할 수 있는 공간은 더 작아지겠지만 항상 여유가 있을 것입니다. 이는 개인적인 문제이지 투고 시스템이나 메커니즘의 문제가 아니기 때문입니다. 공개 검토 및 입찰 + 무작위 매칭을 도입하는 것이 도움이 될 수 있습니다.

그리고 그의 개인적인 의견은 기사가 NeurIPS, AAAI 또는 IJCNN에 게시되는지 여부는 중요하지 않다는 것입니다. 모든 사람에게 당신이 하고 있는 일을 알릴 수 있을 만큼만 홍보하면 이 기사가 유용한지 여부가 입증됩니다.

그렇다면 오늘 학회 논문 리뷰에도 이런 흐름이 만연한 걸까요? 그리고 이것으로 "명성과 부"를 얻은 사람이 있습니까?

모든 것이 당신을 부자로 만들 수 있습니다

논의하기 전에, 이 입찰이 무엇인지 간단히 이야기하겠습니다.

리뷰어 배정을 용이하게 하기 위해 일부 컨퍼런스에서는 리뷰어가 관심 있는 논문을 선택할 수 있도록 입찰 세션을 마련합니다. 그런 다음 시스템은 이러한 검토자의 선택에 따라 논문을 할당할 수 있습니다. 그러나 검토자는 이 단계에서 논문 제목과 초록만 볼 수 있습니다.

그리고 이것에 대해 할 말이 많습니다.

다양한 익명 폭로

Zhihu의 또 다른 익명 네티즌은 이를 증명하는 WeChat 채팅 스크린샷이 있다고 말했습니다. .작은 것은 아무것도 아니다.

일부 네티즌들은 올해 AAAI에 제출할 때 충돌하는 사용자, 충돌하는 도메인 등을 진지하게 채워달라고 요청했지만 실제로는 거의 소용이 없었다고 말했습니다.

이 익명의 Zhihu 사용자는 놀라운 솔루션을 제안하기도 했습니다. 그래프 신경망, 추천 시스템 등을 사용하여 각 튜터를 중심으로 한 관계 네트워크를 자동으로 발굴한 후 주요 회의 결과를 확인하는 입찰 데이터, 데이터를 검토하고 점수를 매기는 상태, 비정상적인 노드와 관계는 그래프 신경망에서 별처럼 빛나기 때문에 쉽게 알아낼 수 있습니다.

또는 단순히 최고의 입찰 데이터 마이닝 대회를 개최하세요.

그러나 일부 네티즌들은 이 일명 '3,000위안 패키지 SA'가 사실은 버그가 많다고 지적하기도 했습니다.

억지로 추천하더라도 다른 리뷰어들이 경계선을 갖고, 약한 거부, 그냥 무료로 제공합니다. 결국 이건 평균 입학성적을 기준으로 한 것이 아니다. 그리고 그 차이가 크다면 AC는 이를 인정하지 않았을 것입니다.

그러니 돈을 주더라도 '블레이드'에 사용해야 합니다. 생각해보면 SPC나 AC를 찾아야 합니다. 하지만 이때 두 가지 질문(실제로는 하나)을 고려해야 합니다. 첫째, 단돈 3,000위안으로 이 정도 수준의 사람을 구할 수 있다고 생각합니까? 둘째, 누군가가 정말로 당신을 위해 그 일을 해준다면, 그들은 당신에게 3,000달러만 청구할 것인가?

물론 불만에 더해 '유압'에 높은 점수를 준 리뷰어를 보면 직접적으로 강력히 거부하겠다고 '자신의 용기'를 내는 선배 리뷰어도 있습니다. 그리고 그것을 비판하는 짧은 에세이를 작성하면 이제 템플릿까지 작성되었습니다.

모든 학회와 저널이 비슷한 문제를 안고 있다고 하지만 그 비율과 심각도가 다릅니다. 이 기사에서 더 많은 것을 말하는 것은 불편합니다.

익명 사용자의 제안은 정말 재능이 있습니다.

리뷰는 얼마나 무작위인가요?

AI 리뷰는 얼마나 무작위인가요?

2021년 NeurIPS에서는 리뷰 일관성 실험을 실시했습니다.

홍콩 중국 CS닥터의 "전기 환상 연금술" 소개 영상에 따르면, 이 실험에서 동일한 원고가 두 그룹의 리뷰어에게 전송될 확률이 10%이고, 두 그룹의 리뷰어에게 전송될 확률은 10%입니다. 리뷰어들은 서로의 존재를 모릅니다.

두 그룹의 리뷰어가 별도로 채점하고 두 명의 현장 의장이 채점 결과를 결정합니다. 이런 방식으로 동일한 원고가 다른 심사 결과를 받을 가능성이 얼마나 되는지 정량적으로 분석할 수 있습니다.

결과에 따르면 첫 번째 그룹의 리뷰어가 합격할 확률과 두 번째 그룹의 리뷰어가 거부할 확률은 52%로 절반 이상인 것으로 나타났습니다.

첫 번째 리뷰어 그룹이 거부하면 두 번째 리뷰어 그룹도 거부할 확률은 83%입니다.

이 결과는 Li Feifei의 관점과도 일치합니다.

Li Feifei는 리뷰에 관해 매우 유명한 기사를 발표한 적이 있으며 다음 두 가지 관점을 제시했습니다. 1. 리뷰 과정은 매우 무작위적입니다. 2. 부실한 논문은 부실한 리뷰 코멘트를 받게 됩니다. 이것은 시간과 무작위에 따라 변하지 않는 황금률입니다.

NeurIPS 관계자도 이러한 비교를 실시했습니다. 각 논문을 검토하지 않고 무작위로 결정한 다음 합격률과 불일치율을 기준으로 곡선을 그렸습니다. 불일치율 .

그림에서 볼 수 있듯이 수신율이 매우 낮거나 매우 높을 경우 발산율은 크지 않습니다.

가운데의 차이율이 가장 큽니다. 합격률이 50%이면 차이가 가장 큽니다.

AAAI와 IJCAI 모두 이 모델을 채택하여 무작위성을 낮추는 대신 높은 거부율을 사용합니다.

마지막으로 "전기 환상 연금술"은 인공 지능 검토에 대한 결론을 이렇게 요약합니다.

AAAI on the cusp of the storm

처음에는 AAAI 2022의 심사 결과가 논란이 되었습니다.

누군가 소셜 미디어에서 자신의 논문이 4번이나 승인을 받았지만 결국 거절당했다고 말했습니다.

아래 저자는 4명의 리뷰어가 모두 "수용 편향" 또는 "수용"에 대한 의견을 냈으며 리뷰 댓글은 모두 긍정적이었습니다. 아이디어가 흥미롭고 모델이 충분히 견고하며 실험과 분석이 훌륭했습니다. 충분히 포괄적입니다.

하지만 최종 결과는 거절이었습니다.

AAAI 2023에서는 2단계 + 이중맹검 검토 형식이 계속 사용됩니다.

1단계에서는 각 논문에 두 명의 리뷰어가 배정됩니다. 접수된 두 의견이 모두 부정적이면 해당 논문은 즉시 거부됩니다. 나머지는 2단계로 진행됩니다.

2단계에서는 각 논문에 최소 2명의 새로운 리뷰어가 배정됩니다. 새로운 검토자는 의견을 제출할 때까지 1단계 검토 결과를 볼 수 없습니다.

2단계에 진입한 논문의 저자는 모든 리뷰 댓글에 응답할 수 있습니다. 프로그램 위원회와 고위 프로그램 위원회 간의 토론은 저자의 피드백을 바탕으로 이루어집니다.

구체적인 조작 방법은 다음 논문을 참고하세요.

본 논문은 새로운 리뷰어-논문 매칭 방법을 제안하며 AAAI 2021, ICML 2022, AAAI 2022 및 IJCAI 2022에 (전체 또는 일부) 적용되었습니다.

논문 주소: https://arxiv.org/abs/2202.12273결국 현재로서는 제출할 수 있는 작업이 많지 않다는 점만 말씀드리고, 기여자가 할 수 있는 유일한 일은 좋은 기사를 작성하고 논문을 NeurIPS 실험 곡선의 가장 오른쪽 모서리로 만드는 것입니다.

위 내용은 채팅 스크린샷을 통해 AI 리뷰의 숨겨진 규칙을 밝혀보세요! AAAI 3000위안은 강력하게 받아들여집니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!