EMNLP 2022カンファレンスが正式に終了、最優秀長編論文、最優秀短編論文、その他の賞を発表

最近、自然言語処理分野のトップカンファレンスであるEMNLP 2022がアラブ首長国連邦の首都アブダビで開催されました。

#今年の会議には合計 4,190 件の論文が投稿され、最終的に 829 件の論文が採択されました (長編論文 715 件、論文 114 件)。全体の合格率は 20% で、例年とあまり変わりませんでした。

#カンファレンスは現地時間 12 月 11 日に終了し、今年の論文賞も発表されました。ベストショートペーパー（1枚）、ベストデモペーパー（1枚）。

#最優秀長編論文

#論文: タングラム図形を使用した抽象的な視覚的推論

著者: Anya Ji、小島典之、Noah Rush、Alane Suhr、Wai Keen Vong、Robert D. Hawkins、Yoav Artzi

• 組織: Kang Nair大学、ニューヨーク大学、アレン研究所、プリンストン大学
• 論文リンク: https://arxiv.org/pdf/2211.16492.pdf
論文要約:

この論文では、研究者は、要約を学習するためのユーザー リソース ライブラリである「KiloGram」を紹介します。人間と機械の視覚的推論。 KiloGram は 2 つの方法で既存のリソースを大幅に改善します。まず、研究者らは 1,016 個の形状を厳選してデジタル化し、既存の研究で使用されているものよりも 2 桁大きいコレクションを作成しました。このコレクションは、命名バリエーション全体の範囲を大幅に拡大し、人間の命名行動についてより包括的な視点を提供します。第 2 に、コレクションは各タングラムを単一の全体的な形状としてではなく、元のパズルのピースで構成されるベクトル形状として扱います。この分解により、形状全体とその部分についての推論が可能になります。研究者らは、このデジタル ジグソーパズル グラフィックの新しいコレクションを使用して、命名行動の多様性を反映した大量のテキスト記述データを収集しました。 クラウドソーシングを利用してアノテーション プロセスを拡張し、単一のサンプルではなく、形状ごとに複数のアノテーションを収集して、それが引き出したアノテーションの分布を表しました。合計 13,404 個の注釈が収集され、それぞれが完全なオブジェクトとその分割された部分を説明しました。

KiloGram の可能性は広範囲に及びます。このリソースを使用して、最近のマルチモーダル モデルの抽象的な視覚的推論機能を評価したところ、事前トレーニングされた重みが示す抽象的な推論機能は限られており、微調整によって大幅に向上することが観察されました。彼らはまた、特に言語と視覚入力を共同でエンコードする場合、明示的な記述により人間とモデルの両方による抽象的な推論が容易になることも観察しました。

図 1 は、それぞれ 2 つの異なる注釈を持つ 2 つのタングラムの例です。各注釈には、形状全体の説明 (太字)、パーツのセグメント化 (色付き)、および各パーツの名前 (各パーツに接続されている) が含まれます。上の例は、ほぼ完全に一致していることについては変動が少ないことを示していますが、下の例は、言語とセグメンテーションの相違については変動が大きいことを示しています。

キログラムアドレス: https://lil.nlp .cornell .edu/kilogram

この会議の最優秀長文論文ノミネートは、Kayo ying 氏と Graham Neubig 氏の 2 人の研究者が受賞しました。

論文: 対照的な説明による言語モデルの解釈

• 著者: Kayo ying、Graham Neubig

論文要約: モデル解釈可能性メソッドは、テキスト分類などのタスクに関する NLP モデルの決定を説明するためによく使用されます。これらのタスクの出力スペースは比較的小さいです。ただし、言語生成に適用すると、出力空間は多くの場合数万のトークンで構成され、これらの方法では有益な説明を提供できません。言語モデルは、品詞、数値、時制、意味など、トークンを予測するためにさまざまな特徴を考慮する必要があります。既存の説明方法は、これらすべての特徴の証拠を単一の説明に組み合わせているため、人間の理解にはあまり適していません。

言語モデリングにおけるさまざまな意思決定を区別するために、研究者は対照的な説明に焦点を当てた言語モデルを探索してきました。彼らは、際立った入力トークンを探し、モデルがあるトークンを予測し、別のトークンを予測しなかった理由を説明します。研究によると、主要な文法現象を検証する際には、対照的な説明が非対照的な説明よりもはるかに優れており、人間の観察者にとって対照的なモデルのシミュレーション可能性が大幅に向上することが実証されています。研究者らはまた、モデルが同様の証拠を使用した対照的な意思決定グループを特定し、モデルがさまざまな言語生成の意思決定にどの入力トークンを使用したかを記述することができました。

コードアドレス: https://github.com/kayoyin/interpret-lm

ベストショートペーパー

論文: トピック規則化された著者表現学習

## 著者: Jitkapat sawatphol、Nonthakit Chaiwong、 Can Udomcharoenchaikit、Sarana Nutanong
機関: VISTEC Institute of Science and Technology、タイ

要約 ： この研究では、研究者らは、トピック間のパフォーマンスを向上させ、目に見えない著者も処理できる蒸留フレームワークである著者表現正規化を提案しました。このアプローチは、あらゆる著者表現モデルに適用できます。実験結果は、クロストピック設定では 4/6 のパフォーマンスが向上することを示しています。同時に、研究者の分析では、多数のトピックを含むデータセットでは、トピックをまたがって設定されたトレーニング シャードにトピック情報漏洩の問題があり、そのためトピック間の属性を評価する能力が弱まっていることが示されています。 ベスト デモ ペーパー

ペーパー: ハブでの評価と評価: データとモデルの測定のより良いベスト プラクティス

著者: Leandro von Werra、Lewis Tunstall、Abhishek Thakur、Alexandra Sasha Luccioni など。
組織:ハグフェイス
• 論文リンク: https://arxiv.org/pdf/2210.01970.pdf

#論文要約:評価は機械学習 (ML) の重要な部分であり、この研究では、ハブでの評価と評価を支援するツールのセットを紹介します。 ML のモデルとデータセットのツールを評価します。 Evaluate は、さまざまなモデルとデータセットを比較するためのライブラリであり、さまざまなメトリクスをサポートしています。 Evaluate ライブラリは、評価の再現性をサポートし、評価プロセスを文書化し、評価の範囲を拡張してモデルのパフォーマンスのより多くの側面をカバーするように設計されています。これには、さまざまなドメインやシナリオ向けの 50 を超える効率的な仕様の実装、インタラクティブなドキュメント、実装と評価の結果を簡単に共有する機能が含まれています。

プロジェクトアドレス: https://github.com/huggingface/evaluate

さらに、研究者はまた、 Evaluation on the Hub を開始したこのプラットフォームでは、ボタンをクリックするだけで、Hugging Face Hub 上の 75,000 を超えるモデルと 11,000 のデータセットの大規模な評価を無料で行うことができます。

以上がEMNLP 2022カンファレンスが正式に終了、最優秀長編論文、最優秀短編論文、その他の賞を発表の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。