NLPers 내에서 큰 차이가 있습니다! 미국 3대 대학이 설문조사 보고서를 발표했습니다. 실무자의 62%가 겨울이 다가오고 있다는 데 동의했습니다.

자연어 이해(NLP)는 인공 지능의 핵심으로 알려져 있습니다. 대규모 언어 모델의 지원으로 인간은 마침내 컴퓨터가 언어를 이해할 수 있게 되었습니다.

그러나 이 "이해"는 여전히 따옴표로 묶어야 합니다. 현재 NLP 모델의 효과로 판단하면 모델이 쓰기, 텍스트 분류 등 일부 분야에서 인간에게 도움을 줄 수는 있지만, 인간 수준의 언어 지능에 도달하려면 아직 갈 길이 멀다.

올해 5월부터 6월까지 워싱턴대학교, 뉴욕대학교, 존스홉킨스대학교 연구진 11명이 NLP 연구 커뮤니티에 설문지를 출시하여 이 분야의 산업, 산업 규모, 인공지능(AGI)의 위험성에 대한 우려, 언어 모델의 언어 이해 여부, 향후 연구 방향, 윤리적 문제 등

설문조사 홈페이지: https://nlpsurvey.net/

보고 주소: https://nlpsurvey.net/nlp-metasurvey-results.pdf

질문 형식:

언어 모델이 이해할 수 있습니까? 언어? ? 앞으로도 할 수 있을까?

기존 모델 벤치마킹 패러다임이 여전히 사용 가능합니까?

연구원이 구축하고 출판하는 데 윤리적인 예측 모델은 무엇인가요?

다음으로 가장 영향력 있는 발전은 산업계에서 나올까요, 아니면 학계에서 나올까요?

설문조사 결과에 따르면, 이러한 문제에 대한 응답자의 견해는 거의 반반입니다. 연구자들은 질문에 답하는 것 외에도 커뮤니티 예측이 현실과 일치하지 않는 잘못된 사회학적 신념(거짓 사회학적 신념)을 발견하기 위해 응답자에게 질문에 대한 답변의 분포를 예측하도록 요청할 것입니다. 실험 결과는 예상대로입니다. 전체 분야의 아이디어와 현재 상태 사이에는 큰 격차가 있습니다. 다른 결과 중에서도 커뮤니티는 벤치마크의 유용성과 실제 문제를 해결하기 위한 NLP 모델의 능력을 크게 과대평가하고, 언어 구조, 귀납적 편견 및 학제간 과학의 중요성을 과소평가하고 있음을 알 수 있습니다. 총 480명이 설문지를 작성했으며, 그 중 327명(68%)이 2019년부터 2022년 사이에 최소 2개의 ACL 간행물을 공동 집필했으며 설문조사의 대상 인구에 속합니다. ACL 앤솔로지(ACL Anthology)가 제공한 데이터에 따르면 6,323명이 조건을 충족했는데, 이는 고위 NLP 실무자의 약 5%가 설문조사에 참여했다는 의미다.

지리적 위치로 나누면 58%는 미국(ACL 통계 값보다 35% 높음), 23%는 유럽, 8%는 아시아(26% ACL 통계 값보다 훨씬 적음)입니다. 그 중 중국 NLP 연구자가 3%를 차지한다(ACL 통계치는 9%).

현장 현황

6가지 질문으로 구성되어 있습니다. 사용자는 "동의함", "약간 동의함", "별로 동의하지 않음", "동의하지 않음"으로 대답해야 합니다.

1. 민간기업의 영향력이 너무 크나요?

77%의 응답자가 동의합니다.

2. 업계에서 가장 널리 인용되는 연구 결과가 나올까요?

응답자의 86%는 향후 10년 동안 널리 인용될 논문이 학계보다는 업계에서 나올 가능성이 더 높다는 데 동의합니다.

그러나 많은 인터뷰 대상자들은 작품의 인용 횟수가 그 가치나 중요성을 제대로 표현하지 못하며, 해당 분야에서 업계의 지속적인 지배가 다음과 같은 기본 시스템에 부정적인 영향을 미칠 것이라고 생각합니다. GPT -3과 PaLM의 절대적인 리더십.

그리고 학계 응답자 중 약 82%가 산업의 영향력이 너무 크다고 생각하는 반면, 업계 응답자는 58%만이 동의합니다.

3. 10년 안에 NLP가 추운 겨울을 맞이하게 될까요?

응답자의 30%만이 NLP R&D에 대한 투자와 취업 기회가 피크 기간에 비해 최소 50% 감소할 것이라고 동의했습니다.

30%는 큰 숫자는 아니지만, 이 부분의 NLP 연구자들은 이 분야가 가까운 미래에 큰 변화를 겪게 될 것이며 적어도 투자 자금은 줄어들 것이라고 믿고 있음을 반영합니다. 과도한 산업 영향력으로 인한 혁신 정체, 업계가 소수의 자원이 풍부한 실험실로 산업을 독점하게 될 것, NLP와 다른 AI 하위 분야 간의 경계가 사라질 것 등 비관론에는 여러 가지 이유가 있을 수 있습니다.

4. NLP는 30년 만에 추운 겨울을 맞이하게 될까요?

응답자의 62%는 장기적으로 NLP 분야가 "소멸"되거나 냉각될 수도 있다는 데 동의했습니다.

5. NLP 분야에 출판된 관련 연구의 대부분은 과학적 가치가 의심스럽습니다(모호함)?

67%의 응답자가 동의합니다.

6. 저자가 익명으로 리뷰하는 것이 중요합니까?

응답자의 63%가 동의했습니다. 검토 중 저자의 익명성은 검토 중인 연구의 배포에 대한 제한을 정당화할 만큼 가치가 있습니다.

스케일링, 유도 바이어스 및 관련 영역

이 섹션에는 네 가지 질문이 있습니다.

1. 규모를 조정하면 거의 모든 주요 문제를 해결할 수 있나요?

응답자의 17%만이 21세기의 모든 컴퓨팅 리소스와 데이터 리소스를 사용한다면 기존 기술의 대규모 구현만으로도 중요한 실제 문제나 NLP 응용 프로그램을 실제로 해결하기에 충분할 것이라는 데 동의했습니다.

2. 언어 구조를 소개해야 하나요?

응답자의 50%는 언어 이론(예: 단어 의미, 구문 또는 의미 그래프 포함)을 기반으로 한 언어 구조의 개별적인 보편적 표현이 NLP에서 필요한 몇 가지 중요한 실제 문제나 응용 프로그램을 실제로 해결하는 데 유용하다는 데 동의합니다.

3. 전문가의 귀납적 편견이 필요한가?

응답자의 51%는 전문가가 설계한 강력한 귀납적 편향(보편 문법, 기호 시스템 또는 인지적으로 영감을 받은 계산 기본 요소 등)이 NLP의 일부 중요한 실제 문제나 응용 프로그램을 실제로 해결하는 데 필요하다는 데 동의했습니다.

4. Ling/CogSci가 가장 많이 인용된 모델에 기여할까요?

응답자의 61%는 2030년에 가장 많이 인용된 5개 시스템 중 적어도 하나가 지난 50년 동안의 언어 또는 인지 과학 연구의 구체적이고 사소하지 않은 결과에서 파생될 가능성이 높다는 데 동의합니다. 명확한 영감.

AGI 및 주요 위험

1. AGI가 중요한 문제인가요?

응답자의 58%는 일반 인공지능(AGI)의 잠재적인 개발과 이와 관련된 이점/위험을 이해하는 것이 NLP 연구자에게 중요한 우선순위가 되어야 한다는 데 동의했습니다.

2. 최근의 발전이 우리를 AGI로 이끌고 있나요?

57%의 응답자는 대규모 ML 모델링(예: 언어 모델링 및 강화 학습)의 최근 개발이 AGI를 향한 중요한 단계라는 데 동의합니다.

3. 인공지능이 곧 혁명적인 사회 변화를 가져올 수도 있다?

응답자의 73%는 이번 세기에 AI/ML의 발전으로 인한 노동 자동화가 적어도 산업 혁명 규모의 경제 구조 조정과 사회 변화로 이어질 가능성이 높다는 데 동의했습니다.

4. 인공지능의 의사결정이 핵폭탄급 재앙으로 이어질 수 있을까?

응답자의 36%는 인공 지능이나 기계 학습 시스템에 의한 결정이 최소한 금세기 전면적인 핵전쟁만큼 심각한 재난을 초래할 수 있다는 데 동의했습니다.

언어 이해

1. 언어 모델이 언어를 이해할 수 있나요?

응답자의 51%가 동의합니다. 텍스트로만 훈련된 일부 생성 모델은 충분한 데이터와 컴퓨팅 리소스가 있으면 어떤 의미에서 자연어를 이해할 수 있습니다

2. 다중 모드 모델이 언어를 이해할 수 있습니까?

67%의 응답자가 동의합니다. 이미지, 센서 및 액추에이터 데이터 등에 액세스하도록 훈련된 모델과 같은 다중 모드 생성 모델의 경우 충분한 데이터와 컴퓨팅 리소스가 있는 한 자연어를 이해할 수 있습니다.

3. 일반 텍스트 평가가 모델의 언어 이해 능력을 측정할 수 있나요?

36%의 응답자가 동의했습니다. 원칙적으로 일반 텍스트 분류 또는 언어 생성 벤치마크에 대한 성능을 추적하여 모델이 자연어를 얼마나 잘 이해하는지 평가할 수 있습니다.

NLP의 향후 연구 방향

1. 실무자들이 언어 모델의 규모에 너무 많은 관심을 기울이는 걸까요?

응답자의 72%가 동의합니다. 현재 이 분야에서는 기계 학습 모델 확장에 너무 많은 초점을 맞추고 있습니다.

2. 벤치마크 데이터 세트에 너무 많은 관심을 기울이시나요?

응답자의 88%는 현재 NLP 모델이 벤치마크에서 성능을 최적화하는 데 너무 많은 초점을 맞추고 있다는 데 동의합니다.

3. "모델 아키텍처"가 잘못된 방향으로 가고 있습니까?

37%의 응답자가 동의합니다. 지난 5년간 발표된 모델 아키텍처에 관한 연구의 대부분은 잘못된 방향으로 가고 있습니다.

4. "언어 생성"이 잘못된 방향으로 가고 있습니까?

응답자의 41%는 지난 5년 동안 발표된 개방형 언어 생성 작업에 대한 대부분의 연구가 잘못된 방향으로 가고 있다는 데 동의합니다.

5. "해석 가능한 모델에 대한 연구"는 잘못된 방향으로 가고 있습니까?

응답자의 50%는 해석 가능한 모델 구축에 관해 지난 5년 동안 발표된 대부분의 연구가 잘못된 방향으로 가고 있다는 데 동의합니다.

6. "블랙박스 해석성"이 잘못된 방향으로 가고 있나요?

응답자의 42%는 블랙박스 모델 해석에 관해 지난 5년간 발표된 연구 대부분이 잘못된 방향으로 가고 있다는 데 동의합니다.

7. 학제간 통찰력을 흡수하기 위해 더 많은 노력을 기울여야 할까요?

응답자의 82%는 현재 상황과 비교할 때 NLP 연구자가 관련 과학 분야(예: 사회 언어학, 인지 과학, 인간-컴퓨터 상호 작용)의 통찰력과 방법을 통합하는 데 더 큰 우선순위를 두어야 한다는 데 동의했습니다.

AI 윤리

1. 과거 NLP의 영향이 긍정적이었나요?

응답자의 89%는 일반적으로 NLP 연구가 세상에 긍정적인 영향을 미쳤다고 동의했습니다.

2. NLP의 미래 영향은 긍정적일까요?

응답자의 87%는 일반적으로 NLP 연구가 미래 세계에 긍정적인 영향을 미칠 것이라는 데 동의했습니다.

3. 쉽게 악용될 수 있는 시스템을 구축하는 것은 비윤리적인 것인가요?

응답자의 59%가 동의합니다.

4. 윤리와 과학이 충돌할 수 있나요?

응답자의 74%는 NLP 연구의 맥락에서 윤리적 고려 사항이 때때로 과학적 진보와 충돌한다는 데 동의했습니다.

5. 윤리적 문제는 주로 데이터 품질과 모델 정확성에 기인합니까?

응답자의 25%는 현재 기계 학습 시스템에서 제기되는 주요 윤리적 문제가 원칙적으로 데이터 품질/범위 및 모델 정확도를 개선함으로써 해결될 수 있다는 데 동의했습니다.

6. 심리적 특성을 예측하는 것은 비윤리적인가요?

응답자의 48%는 사람들의 내부 심리적 특성(예: 감정, 성 정체성, 성적 지향)을 예측하기 위한 기계 학습 시스템을 개발하는 것이 본질적으로 비윤리적이라는 데 동의했습니다.

7. 탄소발자국은 중요한 고려사항인가요?

응답자의 60%는 대형 모델 훈련에 따른 탄소 배출량이 NLP 연구자의 주요 관심사가 되어야 한다는 데 동의했습니다.

8. NLP를 규제해야 합니까?

응답자의 41%는 NLP 시스템의 개발 및 배포가 정부에 의해 규제되어야 한다는 데 동의합니다.

위 내용은 NLPers 내에서 큰 차이가 있습니다! 미국 3대 대학이 설문조사 보고서를 발표했습니다. 실무자의 62%가 겨울이 다가오고 있다는 데 동의했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!