Pengulas di Sidang Kemuncak AI sebenarnya seorang sarjana? Seorang ahli fizik wanita menyiarkan aduan di Twitter, dan lelaki besar dalam industri menyukainya satu demi satu.

Adakah anda berpendapat bahawa penyemak jurnal persidangan akademik teratas semuanya pakar dalam bidang masing-masing?

Malah, penyemak kertas penyelidikan yang telah anda usahakan selama beberapa bulan berkemungkinan besar adalah sekumpulan mahasiswa atau pelajar siswazah?

Baru-baru ini, Lenka Zdeborova, seorang ahli fizik wanita dari École polytechnique fédérale de Lausanne (EPFL), mengadu tentang mekanisme penyemak persidangan teratas di Twitter.

Adakah pemohon sekolah siswazah sudah mempunyai pengalaman dalam menyemak manuskrip? Dan terdapat sedikit.

Saya sedang menyemak permohonan untuk Sekolah Siswazah Sains Komputer EPFL dan saya melihat bahawa ramai daripada pemohon mempunyai pengalaman sebagai penyemak untuk persidangan ML teratas dan saya tertanya-tanya sama ada semakan rakan sebaya adalah besar Mengapakah patutkah kita bersusah payah membuat semakan rakan sebaya apabila sebahagian daripadanya dilakukan oleh mahasiswa! ?

Lenka Zdeborová ialah Profesor Fizik dan Sains Komputer di EPFL, di mana beliau mengetuai bahagian Fizik Statistik di Sekolah Pengkomputeran.

Beliau ialah ahli lembaga editorial bagi banyak jurnal akademik seperti Jurnal Fizik A, Kajian Fizikal E, Kajian Fizikal X, SIMODS, Pembelajaran Mesin: Sains dan Teknologi, Maklumat dan Inferens, dll.

Lenka pakar dalam menggunakan konsep daripada fizik statistik (seperti kaedah medan min lanjutan, kaedah replikasi dan algoritma penghantaran mesej yang berkaitan) kepada pembelajaran mesin, pemprosesan isyarat, inferens dan masalah pengoptimuman.

Sesetengah orang dalam kalangan juga bersetuju bahawa pelajar siswazah tahun pertama sudah boleh menyemak manuskrip di persidangan teratas, dan tiada siapa yang menganggap ini adalah masalah .

Pengulas yang anda fikir adalah orang-orang besar akademik ini sebenarnya adalah mahasiswa atau pelajar siswazah yang mereka ajar...

Responden Zhihu "Kakakakabi" percaya bahawa fenomena ini telah menjadi perkara biasa, dari ICLR hingga AAAI, pengulas Tahap tidak sekata, dan jika anda gagal menjaminnya, kertas anda akan jatuh ke dalam tangan seorang mahasiswa.

Selepas mengadu tentang kualiti pengulas, perkara utama ialah memikirkan cara menulis karya yang masuk akal untuk semua orang dan boleh mengambil kira citarasa ulasan kebanyakan orang.

Sumber: Kaka Kakabi

Dijawab oleh seorang lagi Penulis "Hysterical i" juga percaya bahawa pengulas jarang memahami bidang anda, jadi anda perlu membentangkan hasil kertas kerja dengan jelas dan jelas, supaya menjadi masalah anda jika orang lain tidak dapat memahaminya.

Sumber: Histeria i

Cara menyemak manuskrip

Jadi, bagaimana sebenarnya proses semakan itu dilalui?

Peer-review ialah asas sains moden, dan hampir semua persidangan pembelajaran mesin (ML) teratas (seperti NeurIPS, ICML, AAAI) bergantung padanya untuk memutuskan kertas kerja yang akan dibuat. dikemukakan. Adakah ia relevan kepada masyarakat dan cukup asli untuk diterbitkan di sana.

Malangnya, memandangkan bilangan penyerahan telah berkembang dengan pesat sepanjang dekad yang lalu, kualiti ulasan telah merosot secepat itu.

Jika anda pernah menyerahkan kertas kerja ke salah satu persidangan ini, selepas bekerja keras selama berbulan-bulan mengenai idea yang anda fikirkan sebagai idea yang bernas, apa yang anda dapat adalah buruk, tidak berguna dan ( lebih teruk) komen sarkastik bermakna anda perlu melalui proses penyerahan sekali lagi tanpa sebarang petunjuk tentang apa yang salah dengan kertas anda.

Pemenang Anugerah Turing Geoffrey Hinton memberikan salah satu sebab untuk situasi ini dalam temu bual dengan majalah Wired pada 2018:

Sekarang jika anda menyerahkan kertas kerja dengan idea baharu sepenuhnya, ia tidak berpeluang untuk diterima kerana pengulas muda muda ini tidak akan memahaminya.

Atau ia akan bertemu dengan pengulas kanan yang telah menyemak terlalu banyak kertas kerja dan tidak memahaminya buat kali pertama, dan Fikirkan ia mesti mengarut. Saya rasa ini sangat teruk.

Penjawab Zhihu Electro-Optical Phantom Alchemy membuat andaian tentang penolakan semakan Jika anda mendapati kertas anda ditolak kerana beberapa isu konsep yang tidak dilakukan oleh penyemak faham. Terdapat tiga kemungkinan:

(1) Penyemak ialah seorang pelajar sarjana muda/bawah PhD pelajar, dia tidak faham konsep ini.

(2) Pengulas adalah seorang lelaki yang sangat mementingkan isu konseptual asas, dan dia tidak berada dalam bidang ini selama bertahun-tahun.

(3) Penyemak adalah bos super, tetapi dia tidak mempunyai masa, jadi dia menyerahkan kepada pelajar kedoktoran juniornya untuk menyemak manuskrip. Oleh itu, bulatan akademik adalah kitaran, dan pelajar sarjana berkelakuan seperti bos super.

• Pengulas ideal anda:

Buka kertas pada hari Isnin, lihat abstrak dan baca dengan cepat , menilai kebaharuan. Pada hari Selasa, lihat dengan teliti kaedah dan cari kesalahan. Lihat percubaan pada hari Rabu, baca kertas garis dasar yang berkaitan dan semak butiran percubaan. Mula menulis ulasan ulasan pada hari Khamis untuk menentukan skor ulasan. Pada hari Jumaat, saya akan menambah beberapa ulasan ulasan dan menyerahkan markah ulasan.

• Pengulas sebenar:

Saya membuka kertas ulasan pada pukul 8 pagi pada hari Isnin, membaca abstrak dan merasa Tiada yang baru. Selepas melihat gambar, saya rasa seperti tidak dapat memahaminya tanpa membaca teks. Saya menoleh ke belakang dan melihat nombor eksperimen, dan saya merasakan peningkatan itu tidak besar. Lihatlah kaedahnya, terlalu banyak halaman untuk dibaca. Saya masih mempunyai sesuatu untuk dilakukan pada sebelah petang, jadi saya akan memberi anda 5 mata dan pergi. Kerja semakan tamat pada pukul 11:30 pagi Isnin.

Mari kita lihat peraturan semakan ICML2022:

• Kepentingan pemilihan topik:

Tujuan bahagian semakan ini adalah untuk menunjukkan anda kepada MR ( Meta-reviewer) dan pengarang Sejauh mana anda memahami kertas kerja dan pendapat anda mengenainya.

• Inovatif penulisan, perkaitan, kepentingan:

Adakah ia relevan dengan komuniti kita? Adakah mereka baru? Jika jawapannya tidak (atau tidak separa, contohnya memetik keputusan tepat daripada kertas kerja terdahulu), sebab yang tepat diperlukan supaya pengarang tahu cara membetulkan kertas tersebut.

• Ketulenan:

Sebaik-baiknya, kertas kerja harus membuat tuntutan yang disokong dengan baik oleh hujah teori atau hasil eksperimen.

• Kualiti Penulisan:

Adakah kertas kerja disusun dengan baik dan ditulis dengan jelas? Adakah ia menerangkan kebaharuan dan hasilnya dengan baik? Adakah kertas itu mengandungi maklumat yang mencukupi untuk menyokong tuntutannya?

• Rujukan:

Adakah kertas ini sesuai diletakkan dalam kesusasteraan kontemporari? Jika tidak, sila nyatakan apa yang tiada. Ambil perhatian bahawa kerana kertas mempunyai had halaman, pertimbangan selalunya diperlukan sama ada keputusan harus disebut.

Ini ialah piawaian semakan untuk pengulas pada peringkat pertama, dan mereka yang memenuhi piawaian semakan boleh memasuki peringkat kedua.

Kertas yang melepasi peringkat pertama akan disemak oleh penyemak meta (MR) dan pengerusi projek Selepas itu, akan ada penyemak tambahan untuk memastikan kualiti semakan kertas.

Dan mengapa tahap penyemak di pengulas teratas sekarang tidak sekata, malah terdapat sekumpulan pelajar dan pelajar siswazah ialah industri Ia berkembang terlalu pantas, dan bilangan penyerahan meningkat lebih cepat daripada kadar memupuk penyemak yang berkelayakan.

Ini bukan sahaja menghasilkan bahagian yang lebih kecil daripada orang yang mampu menyemak, tetapi juga kurang masa yang boleh diberikan oleh penyemak yang berkebolehan untuk setiap artikel.

Atas ialah kandungan terperinci Pengulas di Sidang Kemuncak AI sebenarnya seorang sarjana? Seorang ahli fizik wanita menyiarkan aduan di Twitter, dan lelaki besar dalam industri menyukainya satu demi satu.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!