2021 年の ML および NLP 学術統計: Google が 1 位、強化学習の専門家 Sergey Levine がリストのトップに

2021 年は、自然言語処理 (NLP) と機械学習 (ML) にとって非常に生産的な年でした。昨年の NLP と機械学習の分野の論文を数えることになりました。

ケンブリッジ大学の機械学習と自然言語処理の研究者、MAREK REI は、2021 年の古典論文を要約および分析し、2021 年の ML および NLP 出版物の統計をまとめました。 ACL、EMNLP、NAACL、EACL、CoNLL、TACL、CL、NeurIPS、AAAI、ICLR、ICML などのインテリジェンス業界の主要な会議や雑誌が分析されました。

論文の分析は一連の自動ツールを使用して完了しますが、これは完璧ではなく、いくつかの欠陥やエラーが含まれる可能性があります。何らかの理由で、一部の著者はコンテンツの重複や自動コンテンツ抽出を防ぐために難読化された形式で論文を出版し始めたため、これらの論文は分析プロセスから除外されました。

次に、MAREK REI の統計結果を見てみましょう。

学会統計に基づく

ほとんどの学会への投稿数は増加を続けており、記録を更新しています。 ACL は例外のようで、AAAI はほぼ横ばいですが、NeurIPS は依然として着実に成長しています。

機関統計に基づく

論文数でトップクラスの研究機関2021 年は間違いなく Google であり、マイクロソフトが 2 位、CMU、スタンフォード大学、メタ、MIT が僅差でランクインし、清華大学が 7 位にランクされました。 Microsoft、CAS、Amazon、Tencent、Cambridge、Washington、Alibaba は、NLP カンファレンスでかなりの割合の論文を発表して際立っていますが、他のトップ組織は主に ML 分野に焦点を当てているようです。

2012 年から 2021 年のデータによると、Google は 2,170 件の論文を公開し、Microsoft が公開した 2013 年の論文を上回り第 1 位にランクされました。 CMU は 1,881 件の論文を発表し、第 3 位にランクされました。

#ほとんどの教育機関は、年間出版物の数を増やし続けています。 Google が出版する論文の数は以前は直線的に増加していましたが、現在はその傾向が緩和されていますが、それでも以前よりも多くの論文を出版しています。CMU は昨年頭打ちでしたが、今年はそれを埋め合わせています。IBM は唯一のようですわずかに多くの論文を出版する企業 衰退している機関。

#著者統計別

次に、2021 年を見てみましょう。年間に最も多くの論文を発表する研究者。 Sergey Levine (カリフォルニア大学バークレー校電気工学およびコンピューターサイエンス助教授) が 42 件の論文を発表し、1 位にランクされました; Liu Tieyan (マイクロソフト)、Zhou Jie (清華大学)、Mohit Bansal (ノースカロライナ大学チャペルヒル校)、 Graham Neubig (CMU) も論文数で比較的上位にランクされています。

2012 年から 2021 年にかけて、セルゲイ・レヴィーン氏が発表した論文は 1 位にランクされ、昨年は 6 位でしたが、今年は 6 位でした。 Yoshua Bengio (モントリオール)、Graham Neubig (CMU)、Zhang Yue (Westlake University)、Zhou Ming (イノベーションワークス主任研究員)、Ting Liu (ハルビン工業大学) らも比較的上位にランクインしました。彼らが発表した論文の数に関して。

#Sergey Levine が大幅な差で新記録を樹立、Mohit Bansal の論文数も大幅に増加、2021 年に 31 件の論文を発表2020年にはグレアム・ノイビッヒと同じ;ヨシュア・ベンジオの論文数は2020年に減少しましたが、現在は再び増加しています。

筆頭著者として出版された論文の統計

最も多くの論文を出版する研究者は、通常、ポスドクおよび指導教員です。対照的に、筆頭著者としてより多くの論文を発表する人は、通常、実際に研究を行っている人です。

Ramit Sawhney (Tower Research Capital のテクニカル ディレクター) は 2021 年に 9 本の影響力のある論文を発表し、Jason Wei (Google) と Tiago Pimentel (ケンブリッジ大学の博士課程の学生) はそれぞれ 6 本の影響力のある論文を発表しました。出版されました。

2012 年から 2021 年の配布では、Ivan Vulić (ケンブリッジ大学) と Zeyuan Allen-Zhu (Microsoft) が両方とも筆頭著者です。同点で 1 位、Yi Tay (Google) と Li Jiwei (Shannon Technology) が 2 位で、それぞれ筆頭著者として 23 本と 22 本の影響力のある論文を発表しました。NeurIPS に関する論文、Ilias Diakonikolas (ウィスコンシン大学マディソン校) が 15 本を発表しました。 NeurIPS の論文が筆頭著者として挙げられます。

国内統計に基づく

2021 年の国別出版物の数, 米国の出版数が最も多く、中国と英国がそれぞれ2位と3位となっている。米国と英国ではNeurIPSが最大の割合を占め、中国ではAAAIが最大の割合を占めています。

#垂直座標は上から下に 500、1000、1500、2000、2500 などです。

上位国のほぼすべてが出版物の数を増やし続け、2021 年も新記録を樹立しました。米国の増加幅が最も大きく、リードをさらに広げた。

米国では、Google、Microsoft、CMU が出版物の数で再びリストをリードしています。

##中国では、清華大学、中国科学院、北京大学が 2021 年に最も多くの論文を発表しました。

トピック相関統計に基づいて

#可視化により、これらの組織はクラスター化されます主に地理的な近さに基づいて連携し、その中間に企業が存在します。

#作者を視覚化することもできますが、この視覚化は少し理解しにくいです。

# キーワードに基づく統計

特定の内容を含む図面を描画することもできます。論文の割合をキーワードにして、この割合の経時的な変化を追跡します。

「ニューラル」という言葉は、わずかに減少傾向にあるようですが、依然として 80% の論文で使用されています。同時に、「リカレント」と「コンボリューション」の割合も減少しており、「トランスフォーマー」という単語は論文の 30% 以上に出現しています。

「敵対的」という言葉だけを見てみると、ICLR では非常に一般的であり、ほぼ半数の論文で言及されていることがわかります。 ICML と NeurIPS における「敵対的」の割合は以前にピークに達したようですが、AAAI はピークに達していません。

ここ数年、「トランスフォーマー」という用語が非常に人気になりました。これは NLP 論文で特に広く使用されており、出版された論文の 50% 以上に NLP が含まれており、その人気はすべての ML カンファレンスで着実に高まっています。

#

以上が2021 年の ML および NLP 学術統計: Google が 1 位、強化学習の専門家 Sergey Levine がリストのトップにの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。