Statistik akademik ML dan NLP 2021: Google menduduki tempat pertama, dan pakar pembelajaran pengukuhan Sergey Levine mendahului senarai

2021 adalah tahun yang sangat produktif untuk pemprosesan bahasa semula jadi (NLP) dan pembelajaran mesin (ML) Kini tiba masanya untuk mengira kertas dalam bidang NLP dan ML tahun lepas.

MAREK REI, seorang penyelidik dalam pembelajaran mesin dan pemprosesan bahasa semula jadi di University of Cambridge, meringkaskan dan menganalisis kertas kerja klasik pada tahun 2021 dan meringkaskan statistik penerbitan ML dan NLP pada tahun 2021. persidangan dan jurnal utama dalam industri perisikan telah dianalisis, termasuk ACL, EMNLP, NAACL, EACL, CoNLL, TACL, CL, NeurIPS, AAAI, ICLR, dan ICML.

Analisis kertas kerja dilengkapkan menggunakan satu siri alatan automatik, yang mungkin tidak sempurna dan mungkin mengandungi beberapa kelemahan dan ralat. Atas sebab tertentu, sesetengah pengarang mula menerbitkan kertas kerja mereka dalam bentuk yang dikelirukan untuk mengelakkan sebarang bentuk pertindihan kandungan atau pengekstrakan kandungan automatik, dan kertas kerja ini dikecualikan daripada proses analisis.

Sekarang mari kita lihat statistik MAREK REI.

Berdasarkan statistik persidangan akademik

Jumlah penyerahan kepada kebanyakan persidangan terus meningkat dan memecahkan rekod. ACL nampaknya terkecuali, AAAI hampir mendatar, manakala NeurIPS masih mengekalkan pertumbuhan yang stabil.

Berdasarkan statistik institusi

Institusi penyelidikan terkemuka dalam bilangan kertas kerja yang diterbitkan pada tahun 2021 ialah tidak dinafikan Google ; Microsoft berada di kedudukan kedua CMU, Universiti Stanford, Meta dan MIT berada di belakang, dan Universiti Tsinghua berada di kedudukan ketujuh. Microsoft, CAS, Amazon, Tencent, Cambridge, Washington, dan Alibaba menyerlah dengan bahagian kertas yang cukup besar di persidangan NLP, manakala organisasi terkemuka lain nampaknya menumpukan terutamanya pada bidang ML.

Daripada data 2012-2021, Google menerbitkan 2170 kertas kerja dan menduduki tempat pertama, mengatasi kertas kerja 2013 yang diterbitkan oleh Microsoft. CMU menerbitkan 1,881 kertas kerja, menduduki tempat ketiga.

Kebanyakan institusi terus meningkatkan jumlah penerbitan tahunan mereka. Bilangan kertas kerja yang diterbitkan oleh Google digunakan untuk berkembang secara linear, dan kini trend ini telah berkurangan, tetapi ia masih menerbitkan lebih banyak makalah daripada sebelumnya; syarikat yang menerbitkan lebih sedikit kertas Institusi yang merosot.

Oleh statistik pengarang

Seterusnya, mari kita lihat pada 2021 Penyelidik yang menerbitkan kertas kerja paling banyak setiap tahun. Sergey Levine (Penolong Profesor Kejuruteraan Elektrik dan Sains Komputer, Universiti California, Berkeley) menerbitkan 42 kertas kerja, menduduki tempat pertama Liu Tieyan (Microsoft), Zhou Jie (Universiti Tsinghua), Mohit Bansal (University of North Carolina di Chapel Hill), Graham Neubig (CMU) juga mempunyai kedudukan yang agak tinggi dalam bilangan kertas yang diterbitkan.

Melihat pada 2012-2021, makalah yang diterbitkan oleh Sergey Levine menduduki tempat pertama tahun lalu Ia melonjak ke tempat pertama; Yoshua Bengio (Montreal), Graham Neubig (CMU), Zhang Yue (Westlake University), Zhou Ming (Ketua Saintis Kerja Inovasi), Ting Liu (Institut Teknologi Harbin) dan lain-lain juga berada pada kedudukan yang agak tinggi dari segi bilangan kertas kerja yang mereka terbitkan .

Sergey Levine mencipta rekod baharu dengan margin yang besar Mohit Bansal juga mempunyai peningkatan yang ketara dalam bilangan kertas , 2021 Menerbitkan 31 kertas kerja pada tahun 2020, sama seperti jumlah kertas kerja Yoshua Bengio berkurangan pada tahun 2020, tetapi kini meningkat semula.

Statistik kertas kerja yang diterbitkan sebagai pengarang pertama

Penyelidik yang paling banyak menerbitkan kertas kerja biasanya merupakan posdoc dan penyelia. Sebaliknya, orang yang menerbitkan lebih banyak makalah sebagai pengarang pertama biasanya orang yang melakukan penyelidikan sebenar.

Ramit Sawhney (Pengarah Teknikal Tower Research Capital) menerbitkan 9 kertas kerja berpengaruh pada tahun 2021, Jason Wei (Google) dan Tiago Pimentel (pelajar PhD di Universiti Cambridge) menerbitkan masing-masing 6 kertas kerja berpengaruh adalah diterbitkan.

Dari pengedaran 2012-2021, Ivan Vulić (University of Cambridge) dan Zeyuan Allen-Zhu (Microsoft) kedua-duanya adalah pengarang pertama Diterbitkan 24 berpengaruh kertas kerja, terikat untuk tempat pertama; Yi Tay (Google) dan Li Jiwei (Shannon Technology) menduduki tempat kedua, masing-masing telah menerbitkan 23 dan 22 karya berpengaruh sebagai pengarang pertama di NeurIPS (University of Wisconsin-Madison). Kertas kerja NeurIPS sebagai pengarang pertama.

Bilangan penerbitan mengikut negara pada 2021, Amerika Syarikat Bilangan penerbitan adalah yang terbesar, dengan China dan UK kedudukan kedua dan ketiga masing-masing. Di Amerika Syarikat dan United Kingdom, NeurIPS menyumbang bahagian terbesar, manakala AAAI menyumbang bahagian terbesar di China.

Koordinat menegak dari atas ke bawah ialah 500, 1000, 1500, 2000, 2500 dan seterusnya

Hampir semua negara peringkat teratas terus meningkatkan bilangan penerbitan mereka dan mencatat rekod baharu pada 2021. Peningkatan itu adalah yang terbesar bagi Amerika Syarikat, seterusnya memperluaskan pendahulunya.

Di AS, Google, Microsoft dan CMU sekali lagi mendahului senarai dari segi bilangan penerbitan.

Di China, Universiti Tsinghua, Akademi Sains China dan Universiti Peking menerbitkan kertas kerja terbanyak pada tahun 2021.

Berdasarkan statistik korelasi topik

Melalui visualisasi, Organisasi ini berkumpul bersama terutamanya berdasarkan kedekatan geografi, dengan syarikat di tengah.

Kita juga boleh memvisualisasikan pengarangnya, tetapi visualisasi ini agak sukar untuk difahami.

Berdasarkan statistik kata kunci

Kami juga boleh melukis lukisan yang mengandungi khusus perkadaran kata kunci kertas dan jejak perubahan dalam perkadaran ini dari semasa ke semasa.

Perkataan "neural" nampaknya berada pada aliran menurun sedikit, walaupun anda masih boleh melihatnya dalam 80% kertas. Pada masa yang sama, perkadaran "berulang" dan "konvolusi" juga menurun, dan perkataan "pengubah" muncul dalam lebih daripada 30% kertas.

Jika anda melihat perkataan "musuh" sahaja, kita akan mendapati bahawa ia adalah perkara biasa dalam ICLR, dengan hampir separuh daripada kertas kerja menyebutnya. Perkadaran "musuh" dalam ICML dan NeurIPS nampaknya telah memuncak sebelum ini, manakala AAAI tidak.

Dalam beberapa tahun kebelakangan ini, istilah "transformer" telah menjadi sangat popular. Ia digunakan secara meluas dalam kertas kerja NLP, dengan lebih 50% daripada kertas kerja yang diterbitkan mengandunginya, dan popularitinya semakin meningkat di semua persidangan ML.

Atas ialah kandungan terperinci Statistik akademik ML dan NLP 2021: Google menduduki tempat pertama, dan pakar pembelajaran pengukuhan Sergey Levine mendahului senarai. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!