NLPer 内では大きな違いがあります。米国のトップ3大学が調査報告書を発表：実務家の62％が冬が近づいていることに同意

自然言語理解 (NLP) は、人工知能の至宝として知られています。大規模な言語モデルのサポートにより、人間はついにコンピューターに言語を理解させる能力を獲得しました。

ただし、この「理解」は依然として引用符で囲む必要があります。現在の NLP モデルの効果から判断すると、このモデルは執筆やテキスト分類などの一部の分野で人間を支援できますが、 .、人間のレベルに真に到達するにはまだ遠く、言語知性の面ではまだ長い道のりがあります。

今年の5月から6月にかけて、ワシントン大学、ニューヨーク大学、ジョンズ・ホプキンス大学の11人の研究者がNLP研究コミュニティでアンケートを開始し、NLPの分野で物議を醸す幅広い問題を実施しました。この分野における業界の影響力、業界の規模、汎用人工知能 (AGI) のリスクに関する懸念、言語モデルが言語を理解できるかどうか、今後の研究の方向性、倫理的問題などに関するコメントが求められます。

調査ホームページ: https://nlpsurvey.net/

レポートアドレス: https://nlpsurvey.net/nlp-metasurvey-results.pdf

次のような質問:

言語モデルは言語を理解できますか?将来的にはできるでしょうか？

従来のモデルのベンチマーク パラダイムはまだ利用可能ですか?

研究者が構築して公開するのに倫理的な予測モデルはどれですか?

次に最も影響力のある進歩は産業界から来るのでしょうか、それとも学術界から来るのでしょうか?

調査結果から判断すると、これらの問題に関する回答者の意見はほぼ半々です。研究者らは、質問に答えるだけでなく、コミュニティの予測が現実と一致しない誤った社会学的信念（偽の社会学的信念）を発見するために、質問に対する回答の分布を予測するよう回答者に依頼しました。という考えと分野全体の現状との間に乖離が生じている。他の結果の中でも、コミュニティがベンチマークの有用性と現実世界の問題を解決する NLP モデルの能力を大幅に過大評価し、言語構造、帰納的バイアス、および学際的な科学の重要性を過小評価していることもわかります。合計 480 名がアンケートに回答し、そのうち 327 名 (68%) が 2019 年から 2022 年の間に少なくとも 2 冊の ACL 出版物を共著しており、調査の対象者に含まれています。 ACL Anthology が提供したデータによると、6,323 人が条件を満たしており、上級 NLP 実践者の約 5% が調査に参加したことになります。

地理的位置で分けると、58% が米国 (ACL の統計値より 35% 多い)、23% がヨーロッパ、8% がアジア (ACL の 26% よりはるかに少ない)統計値）。このうち中国のNLP研究者は3％（ACL統計値は9％）を占める。

この分野の現状

このパートには 6 つの質問が含まれています。ユーザーは「同意する」、「少し同意する」、「まったく同意しない」のいずれかで回答する必要があります。 、「「アイデンティティ」に同意しない」。

#1. 民間企業の影響力が強すぎるのでしょうか?

回答者の 77% が同意しました。

2. 業界は最も広く引用される研究結果を生み出すでしょうか?

回答者の 86% は、今後 10 年間で最も広く引用される論文は、学術界よりも産業界からのものである可能性が高いことに同意しました。

しかし、多くの回答者は、作品の引用数はその価値や重要性を表す適切な代用ではなく、この分野における業界の優位性が続くことは、基本的な絶対的評価などにマイナスの影響を与えるだろうと信じていました。 GPT-3 や PaLM などのシステムのリーダーシップ。

そして、学界の回答者のうち、約 82% が産業界の影響が大きすぎると考えていますが、産業界の回答者の同意者は 58% のみでした。

3. NLP は 10 年以内に寒い冬を迎えるでしょうか?

NLP 研究開発への投資と雇用の機会がピーク時に比べて少なくとも 50% 減少することに同意したのは回答者のわずか 30% でした。

30% という数字は大きな数字ではありませんが、NLP 研究者の一部が、この分野は近い将来に大きな変化が起こり、少なくとも投資資金は減少すると信じていることも反映しています。業界の過度な影響によるイノベーションの停滞、少数の十分なリソースを備えた研究機関が業界を独占する、NLP と他の AI サブフィールドの境界がなくなるなど、悲観的になる理由はたくさんあるでしょう。 . .

4. NLP は 30 年後には寒い冬を迎えるのでしょうか?

回答者の 62% は、長期的には NLP 分野が「消滅」するか、さらには冷める可能性があることに同意しました。

5. NLP 分野で出版された関連著作のほとんどは、科学的価値の点で疑わしいものですか?

回答者の 67% が同意しました。

6. 著者が匿名でレビューすることは重要ですか?

回答者の 63% が同意しました。査読中の著者の匿名性は、査読中の研究の配布に対する制限を正当化するのに十分な価値があります。

スケーリング、誘導バイアス、および関連分野

このセクションには 4 つの質問が含まれています。

# 1. スケールによってほとんどすべての主要な問題を解決できますか?

21 世紀のすべてのコンピューティング リソースとデータ リソースが使用された場合、既存のテクノロジの大規模実装で重要な問題を実際に解決できることに同意した回答者はわずか 17% でした。世界問題の問題や NLP の応用。

2. 言語構造を導入する必要はありますか?

回答者の 50% は、NLP のいくつかの重要な問題を実際に解決するには、言語理論に基づいた言語構造の個別の普遍的表現 (単語の意味、構文、意味マップなど) が不可欠であることに同意しました。問題やアプリケーションが必要です。

3. 専門家の帰納的バイアスは必要ですか?

回答者の 51% は、専門家によって設計された強力な帰納的バイアス (普遍的な文法、記号システム、または認知的にインスピレーションを得た計算プリミティブなど) が、NLP や現実世界の重要な問題を実際に解決するのに役立つことに同意しました。申請が必要です。

4. Ling/CogSci は最も引用されるモデルに貢献しますか?

回答者の 61% は、2030 年に最も引用された 5 つのシステムのうち少なくとも 1 つが、過去 50 年間の言語学または認知科学における特定の科学的研究に基づいている可能性が高いことに同意しました。重要な結果からのインスピレーション。

AGI と主要なリスク

1. AGI は重要な懸念事項ですか?

回答者の 58% は、汎用人工知能 (AGI) の発展の可能性とそれに関連する利点/リスクを理解することが NLP 研究者にとって重要な優先事項であるべきであることに同意しました。

2. 最近の開発は、私たちを AGI に向けて進めていますか?

回答者の 57% は、大規模 ML モデリング (言語モデリングや強化学習など) の最近の開発が AGI に向けた重要なステップであることに同意しました。

3. 人工知能はすぐに革命的な社会変化をもたらす可能性がありますか?

回答者の 73% は、今世紀中に、AI/ML の進歩による労働の自動化が、少なくとも世界の規模と同等の経済再編と社会変革をもたらす可能性が高いことに同意しました。産業革命 。

4. 人工知能の意思決定は核爆弾レベルの災害を引き起こす可能性があるでしょうか?

回答者の 36% は、人工知能または機械学習システムによって行われた決定が、少なくとも今世紀の全面核戦争と同じくらい深刻な災害を引き起こす可能性があることに同意しました。

言語理解

1. 言語モデルは言語を理解できますか?

回答者の 51% が同意しました。テキストのみでトレーニングされた一部の生成モデルは、十分なデータとコンピューティング リソースがあれば、ある意味で自然言語を理解できます

2. マルチモーダル モデルは言語を理解できますか?

回答者の 67% が同意しました。画像、センサー、アクチュエーターのデータなどにアクセスするように訓練されたモデルなど、マルチモーダルな生成モデルの場合、十分なデータとコンピューティング リソースがある限り、自然言語を理解できます。

3. プレーン テキストの評価でモデルの言語理解能力を測定できますか?

回答者の 36% が同意しました。原理的には、プレーンテキスト分類または言語生成ベンチマークでのパフォーマンスを追跡することで、モデルが自然言語をどの程度理解しているかを評価できます。

NLP の今後の研究の方向性

1. 実践者は言語モデルの規模にあまりにも注意を払いすぎていますか?

回答者の 72% が同意しました。現在、この分野では機械学習モデルのスケーリングに重点が置かれすぎています。

2. ベンチマーク データ セットに注目しすぎていませんか?

回答者の 88% は、現在の NLP モデルがベンチマークでのパフォーマンスの最適化に重点を置きすぎていることに同意しました。

3.「モデルアーキテクチャ」は間違った方向に進んでいませんか?

回答者の 37% が同意しました。過去 5 年間に発表されたモデル アーキテクチャに関する研究のほとんどは間違った方向に進んでいます。

4.「言語生成」は間違った方向に進んでいるでしょうか？

回答者の 41% は、過去 5 年間に発表されたオープンエンド言語生成タスクに関する研究のほとんどが間違った方向に進んでいることに同意しました。

5.「解釈可能なモデルの研究」は間違った方向に進んでいませんか？

回答者の 50% は、解釈可能なモデルの構築に関して過去 5 年間に発表された研究のほとんどが間違った方向に進んでいることに同意しました。

6. 「ブラックボックスの解釈可能性」は間違った方向に進んでいませんか？

###

回答者の42%は、ブラックボックスモデルの解釈に関して過去5年間に発表された研究のほとんどが間違った方向に進んでいることに同意しました。

7.学際的な洞察を取り入れるためにもっと努力すべきでしょうか?

回答者の 82% は、現状と比較して、NLP 研究者は関連する科学分野 (社会言語学、認知科学、ヒューマン コンピューター インタラクションなど) を取り入れることをより優先すべきであることに同意しました。 。

AI 倫理

1. 過去において NLP の影響はポジティブでしたか?

89% がインタビュー対象者全体として、NLP 研究は世界にプラスの影響を与えていることに同意しました。

2. NLP の将来の影響はプラスになるでしょうか?

回答者の 87% が、一般的に NLP 研究が将来世界にプラスの影響を与えることに同意しました。

3. 簡単に悪用できるシステムを構築するのは非倫理的ですか?

回答者の 59% が同意しました。

4. 倫理と科学は矛盾する可能性がありますか?

回答者の 74% は、NLP 研究の文脈において、倫理的配慮が科学の進歩と矛盾する場合があることに同意しました。

5.倫理的な問題は主にデータの品質とモデルの精度に起因するのでしょうか?

回答者の 25% は、現在の機械学習システムによって引き起こされる主な倫理的問題は、データの品質/範囲とモデルの精度を向上させることで原則的に解決できることに同意しました。

6. 心理的特徴を予測することは非倫理的ですか?

回答者の 48% は、人々の内部心理的特性 (感情、性同一性、性的指向など) を予測する機械学習システムの開発は本質的に非倫理的であることに同意しました。

7.二酸化炭素排出量は重要な考慮事項ですか?

回答者の 60% は、大規模モデルのトレーニングによる二酸化炭素排出量が NLP 研究者にとって大きな懸念事項であることに同意しました。

8. NLP は規制されるべきですか?

回答者の 41% は、NLP システムの開発と導入は政府によって規制されるべきであることに同意しました。

以上がNLPer 内では大きな違いがあります。米国のトップ3大学が調査報告書を発表：実務家の62％が冬が近づいていることに同意の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。