최근 대규모 언어 모델(예: 사고 체인[2], 스크래치 패드[3])이 보여주는 강력한 기능에 큰 관심이 있었고 많은 작업이 수행되었습니다. 우리는 이를 대형 모델의 창발적 기능이라고 통칭합니다[4]. 이러한 기능은 [5] 대형 모델에만 존재할 수 있고 소형 모델에는 존재하지 않으므로 이를 "창발적"이라고 부릅니다. 복잡한 추론, 지식 추론, 배포 외 견고성 등 이러한 기능 중 상당수는 매우 인상적입니다. 이에 대해서는 나중에 자세히 설명하겠습니다.
특히 이러한 기능은 NLP 커뮤니티가 수십 년 동안 추구해 온 기능과 유사하며, 따라서 상황별 학습을 위해 소규모 모델을 미세 조정하는 것에서 대규모 모델을 사용하는 것으로 연구 패러다임이 전환될 가능성이 있음을 나타냅니다. First Mover의 경우 패러다임 변화가 명백할 수 있습니다. 그러나 과학적 엄격함을 위해 대규모 언어 모델로 전환해야 하는 매우 명확한 이유가 필요합니다. 비록 이러한 모델이 비싸고 [6] 사용하기 어렵고 [7] 적당히 효과적입니다 [8]. 이 기사에서는 이러한 기능이 무엇인지, 대규모 언어 모델이 제공할 수 있는 것이 무엇인지, 더 넓은 범위의 NLP/ML 작업에서 잠재적 이점이 무엇인지 자세히 살펴보겠습니다.
원본 링크: yaofu.notion.site/A-Closer-Look-at-Large-Language-Models-Emergent-Abilities-493876b55df5479d80686f68a1abd72f
전제: 독자는 다음과 같은 지식을 가지고 있다고 가정합니다.
Pictures from Wei et. 생각을 촉구하는 것은 대규모 언어 모델에서 추론을 이끌어냅니다. X축은 모델 크기입니다. GSM8K는 초등학교 수준의 수학 문제 모음입니다.
위 렌더링에서 모델의 성능을 관찰할 수 있습니다.
이는 근본적으로 일부 능력이 작은 모델에는 존재하지 않을 수 있지만 큰 모델에서는 얻을 수 있음을 보여줍니다.
Wei et al.이 2022년에 분류한 것과 같은 다양한 종류의 긴급 역량이 있습니다[9]. 일부 기능은 흥미롭지만, 단어 문자열의 마지막 글자를 철자하는 것과 같은 기능은 언어 모델이나 3자리 덧셈이 아닌 Python의 작업이라고 생각합니다. 이는 언어 모델 대신 프로세서가 수행하는 작업입니다.
이 기사에서 우리는 주로 다음 기능에 관심을 둡니다.
1. 최근 NLP 커뮤니티가 주목했지만 이전 NLP 모델에서는 달성하기 어려웠던 기능
2. 인간에게서 유래된 언어의 가장 심오한 필수 능력(능력의 깊이)
3. 인간 지능의 최고 수준에 도달할 수 있는 능력(능력의 상한선)
2. 창발의 대표적인 세 가지 예 능력많은 흥미로운 능력 능력은 모두 위에 언급된 범주로 분류될 수 있습니다. 그 중에서 우리는 주로 다음 세 가지 일반적인 능력을 논의합니다:
각각에 대해 자세히 논의해 보겠습니다.
복잡한 추론
다음은 프롬프트 단어를 사용하는 것이 미세 조정을 훨씬 능가하는 GSM8K 데이터 세트의 예입니다.
이 질문은 10세 어린이에게는 쉽지만, 주로 수학과 언어가 혼합되어 있기 때문에 언어 모델이 어렵습니다.
GSM8K는 원래 2021년 10월 OpenAI에서 제안되었습니다 [10]. 당시 그들은 첫 번째 버전 [11]GPT3을 사용하여 약 35%의 정확도로 전체 훈련 세트를 미세 조정했습니다. 이 결과는 저자를 상당히 비관적으로 만듭니다. 그 결과는 언어 모델의 확장 법칙을 보여주기 때문입니다. 모델 크기가 기하급수적으로 증가함에 따라 성능은 선형적으로 증가합니다(이에 대해서는 나중에 논의하겠습니다). 그래서 그들은 섹션 4.1에서 다음과 같이 생각합니다.
"175B 모델은 80% 솔루션 비율을 달성하기 위해 최소한 2배의 추가 크기 훈련 데이터가 필요한 것으로 보입니다.
3개월 후인 2022년 January, Wei et al. [12] 540BPaLM 모델을 기반으로 8개의 사고 체인 프롬프트 예만 사용하여 정확도를 56.6% 향상했습니다(훈련 세트를 2배로 늘리지 않음). 2022년 3월 후반에 Wang et al.[13]은 동일한 540B PaLM 모델을 기반으로 다수결 투표를 통해 정확도를 74.4%로 향상시켰습니다. 현재 SOTA는 AI2(Fu et. al. Nov 2022[14])에 대한 내 작업에서 나온 것입니다. 여기서 우리는 복잡한 사고 체인을 사용하여 175B Codex에서 82.9%의 정확도를 달성했습니다. 위의 진행 상황에서 볼 수 있듯이 기술 발전은 실제로 기하급수적으로 증가하고 있습니다.
사고 체인 프롬프트는 모델의 창발 능력을 규모로 보여주는 전형적인 예입니다.
어떤 학생들은 모델이 초등학교 수학을 할 수 있고 아무 의미도 없다고 생각할 수도 있습니다(어떤 의미에서는 실제로 그다지 멋지지 않습니다). 하지만 GSM8K는 시작일 뿐이며 최근 작업으로 고등학교 [16], 대학 [17], 심지어 국제 수학 올림피아드 문제 [18]까지 최첨단 기술을 적용했습니다. 이제 좀 시원해졌나요?
Knowledge Reasoning
다음 예는 지식이 필요한 추론 능력(질문답변, 상식추론 등)입니다. 이 경우 큰 모델을 유도하는 것이 작은 모델을 미세 조정하는 것보다 반드시 더 나은 것은 아닙니다(어느 모델이 더 나은지는 두고 볼 일입니다). 하지만 이 경우 주석 효율성은 다음과 같은 이유로 증폭됩니다.
사진은 Yu et al. 2022에서 가져온 것입니다. 이전 SOTA 모델은 외부 지식 소스에서 검색해야 합니다. GPT-3은 검색 없이 이전 모델과 동일하게 더 나은 성능을 발휘합니다.
표에서 볼 수 있듯이 수학 문제 예시와 달리 GPT-3는 이전의 미세 조정 모델에 비해 크게 뛰어난 성능을 발휘하지는 않습니다. 하지만 외부 문서에서 검색할 필요는 없으며 그 자체에 지식이 포함되어 있습니다 [23].
이러한 결과의 중요성을 이해하려면 역사를 되돌아보면 됩니다. NLP 커뮤니티는 처음부터 지식을 효율적으로 인코딩하는 방법이라는 과제에 직면해 있었습니다. 사람들은 모델 외부나 내부에 지식을 저장하는 방법을 끊임없이 모색하고 있습니다. 1990년대부터 사람들은 모델 외부의 지식을 저장하면서 거대한 도서관에 언어와 세계의 규칙을 기록하려고 노력해 왔습니다. 그러나 이것은 매우 어렵습니다. 결국 모든 규칙을 다 적용할 수는 없습니다. 따라서 연구자들은 비정형 텍스트, 반정형(예: Wikipedia) 또는 완전 구조(예: 지식 그래프) 형식으로 지식을 저장하기 위해 도메인별 지식 기반을 구축하기 시작했습니다. 일반적으로 구조화된 지식은 구성하기 어렵습니다(지식의 구조적 시스템을 설계해야 하기 때문에), 추론하기 쉽습니다(건축이기 때문에), 비구조화된 지식은 구성하기 쉽습니다(직접 저장하기만 하면 됩니다) , 하지만 추론에 사용하기가 매우 어렵습니다 (아키텍처 없음). 그러나 언어 모델은 미리 정의된 패턴 없이도 비정형 텍스트에서 지식을 쉽게 추출하고 지식을 기반으로 한 추론을 효율적으로 수행할 수 있는 새로운 방법을 제공합니다. 다음 표에서는 장점과 단점을 비교합니다.
배포 외 견고성
우리가 논의하는 세 번째 능력은 배포 외 견고성입니다. 2018년부터 2022년까지 NLP, CV, 일반 머신러닝 분야에서 분포 이동/적대적 견고성/조합 생성에 대한 연구가 많이 있었습니다. 테스트 세트 분포가 훈련 분포와 다를 때 행동이 발생하는 것으로 나타났습니다. 모델의 성능이 크게 저하될 수 있습니다. 그러나 대규모 언어 모델의 맥락 학습에서는 그렇지 않은 것 같습니다. 2022년 Si et al. 동일하지 않은 배포 설정에서는 RoBERTa보다 우수하며 성능 저하도 훨씬 적습니다.
마찬가지로 이번 실험에서는 동일한 분포의 프롬프트 단어 기반 GPT-3의 효과가 미세 조정된 RoBERTa의 효과만큼 좋지 않았습니다. 그러나 세 가지 다른 배포(도메인 전환, 노이즈, 적대적 교란)에서는 RoBERTa보다 성능이 뛰어납니다. 이는 GPT3가 더 강력하다는 것을 의미합니다.
또한, 유통 변동이 있어도 좋은 프롬프트 단어가 가져오는 일반화 성능은 여전히 유지됩니다. 예:
Picture from Fu et al. 2022. 테스트 분포가 훈련 분포와 다르더라도 복잡한 단서는 항상 단순한 단서보다 더 나은 성능을 발휘합니다.
Fu et al.의 2022
[25]
연구에 따르면 입력 프롬프트가 복잡할수록 모델 성능이 더 좋아지는 것으로 나타났습니다. 이러한 추세는 분포 이동의 경우에도 계속되었습니다. 테스트 분포가 원래 분포와 다르거나 노이즈 분포에서 나오거나 다른 분포에서 전송되었는지 여부에 관계없이 복잡한 단서가 항상 단순 단서보다 성능이 뛰어났습니다.
지금까지의 요약
위 기사에서는 대형 모델에서만 사용할 수 있는 세 가지 긴급 기능에 대해 논의했습니다. 그들은:
위에 나열된 장점을 보면 대규모 언어 모델이 정말 좋다고 생각할 수도 있습니다. 더 논의하기 전에 이전 작업을 검토하면 매우 이상한 질문을 발견할 수 있습니다. GPT-3은 2020년에 출시되었지만 왜 지금까지 패러다임 전환을 발견하고 생각하지 않았습니까?
이 질문에 대한 답은 두 가지 유형의 곡선, 즉 로그 선형 곡선과 위상 변화 곡선에 있습니다. 아래와 같이:
왼쪽 그림: 비례의 법칙. 모델 크기가 기하급수적으로 커지면 해당 모델 성능도 선형적으로 증가합니다. 오른쪽: 모델 크기가 특정 규모에 도달하면 새로운 기능이 나타나 성능이 크게 향상됩니다.
처음에 (OpenAI) 연구자들은 언어 모델 성능과 모델 크기 사이의 관계를 로그-선형 곡선으로 예측할 수 있다고 믿었습니다. 즉, 모델 크기가 기하급수적으로 증가하면 성능도 선형적으로 증가할 것이라고 믿었습니다. 이 현상은 Kaplan et al이 원본 2020 GPT3 기사에서 논의한 대로 언어 모델의 확장 법칙으로 알려져 있습니다. 중요한 것은 그 단계에서는 가장 큰 GPT-3조차도 힌트를 사용한 소형 모델의 미세 조정을 능가할 수 없다는 것입니다. 따라서 그 당시에는 값비싼 대형 모델을 사용할 필요가 없었습니다(단어의 라벨링이 매우 효율적이었음에도 불구하고). 2021년까지 Cobbe et al.[28]은 스케일링 법칙이 미세 조정에도 적용된다는 것을 발견했습니다. 이는 다소 비관적인 결과입니다. 왜냐하면 모델 크기에 제한이 있을 수 있다는 의미이기 때문입니다. -- 비록 모델 아키텍처 최적화가 모델 성능을 어느 정도 향상시킬 수는 있지만 효과는 여전히 범위(모델에 해당)에 고정됩니다. 규모), 이보다 더 획기적인 돌파구를 찾기는 어렵습니다. 스케일링 법칙(2020~2021)의 통제 하에서 GPT-3는 T5-11B 미세 조정을 능가할 수 없고 T5-11B 미세 조정은 이미 매우 까다롭기 때문에 NLP 커뮤니티는 다음에 더 많은 관심을 기울이고 있습니다. 더 작은 모델이나 효율적인 매개변수 적응을 조사합니다. 접두사 조정[29]은 나중에 2021년에 He et al.에 의해 통합된 프롬프트와 적응의 교차점의 예입니다. 당시의 논리는 간단했습니다. 미세 조정 효과가 좋으면 효율적인 매개변수 적응에 더 많은 노력을 기울여야 하고, 프롬프트 단어 방법이 더 좋으면 대규모 언어 모델을 훈련하는 데 더 많은 에너지를 투자해야 합니다.
이후 2022년 1월, Thought Chain의 작품이 공개되었습니다. 저자가 보여주듯이 사고 사슬 단서는 성능 확장 곡선에서 명확한 단계 전환을 나타냅니다. 모델 크기가 충분히 크면 성능이 크게 향상되고 확장 곡선을 확실히 초과합니다. 프롬프트에 사고 체인을 사용할 때 대형 모델은 복잡한 추론에 대한 미세 조정보다 훨씬 더 나은 성능을 발휘하고 지식 추론에 대해 매우 경쟁력 있는 성능을 발휘하며 배포 견고성에 대한 특정 잠재력을 가지고 있습니다. 이러한 효과를 얻으려면 약 8개의 예만 필요하므로 패러다임이 바뀔 수 있습니다. (참고: 이 기사는 ChatGPT가 온라인으로 전환되기 한 달 전에 완료되었습니다. ChatGPT가 온라인으로 전환된 후 전체 분야는 충격을 받고 패러다임이 바뀌었다는 것을 깨달았습니다. ).
4. 패러다임 시프트는 무엇을 의미하나요? 패러다임 전환이란 정확히 무엇을 의미하나요? 아래에서는 미세 조정과 프롬프트 단어 방법을 비교합니다.
프롬프트 단어의 이점은 분명합니다. 더 이상 전체 데이터에 대한 지루한 데이터 주석 및 미세 조정이 필요하지 않습니다. 프롬프트 단어를 작성하고 요구 사항을 충족하는 결과를 얻으면 됩니다. 동조.
주목해야 할 다른 두 가지 사항은 다음과 같습니다.
상황별 학습은 지도 학습인가요?
상황별 학습이 지도 학습보다 정말 나은가요?
위에서 언급한 논리를 검토해 보겠습니다. 미세 조정이 더 좋으면 매개변수를 효율적으로 최적화하는 방법을 열심히 연구해야 하고, 프롬프트 단어가 더 좋으면 더 나은 대규모 언어 모델을 훈련하기 위해 열심히 노력해야 합니다.
그래서 우리는 대규모 언어 모델이 엄청난 잠재력을 가지고 있다고 믿지만 아직 미세 조정이나 단서 단어가 더 낫다는 결정적인 증거가 없기 때문에 패러다임이 실제로 바뀌어야 하는지, 아니면 바뀌어야 하는지 확신할 수 없습니다. 어느 정도. 미래에 대한 명확한 이해를 제공하기 위해 이 두 패러다임을 주의 깊게 비교하는 것은 매우 의미가 있습니다. 더 많은 논의는 다음 기사로 미루겠습니다.
두 개의 숫자: 62B와 175B.
62B 이 숫자는 Chung et al.의 2022년 [31] 작업:
62B보다 작은 모든 모델의 경우 프롬프트 단어를 직접 사용하는 것이 더 좋습니다. 생각의 사슬. 사상 사슬을 사용한 첫 번째 더 나은 모델은 BBH의 Flan-cont-PaLM 62B 결과입니다. 사고 체인을 사용하는 540B 모델은 더 많은 작업에서 좋은 결과를 얻을 수 있지만 모든 작업이 미세 조정보다 나은 것은 아닙니다. 또한, 이상적인 크기는 540B 미만일 수 있습니다. 2022년 Suzgun et al.[32]의 연구에서 저자는 175B InstructGPT 및 175B Codex가 프롬프트 단어를 직접 사용하는 것보다 더 낫다는 것을 보여주었습니다. 위의 결과를 결합하면 63B와 175B라는 두 개의 숫자를 얻습니다. 따라서 이 게임에 참여하려면 먼저 평균 크기보다 큰 모델이 있어야 합니다. 그러나 OPT, BLOOM 및 GPT-3의 첫 번째 버전과 같이 사고 체인에서 훨씬 더 나쁜 성능을 발휘하고 사고 체인을 학습할 수 없는 다른 대형 모델도 있습니다. 사이즈는 둘 다 175B 입니다. 이는 다음 질문으로 이어집니다. 아니요. 규모는 필요하지만 충분조건은 아닙니다. 일부 모델은 충분히 크지만(예: OPT 및 BLOOM, 둘 다 175B) 사고 체인을 수행할 수 없습니다. 생각 연결에 사용할 수 있는 두 가지 모델[33]이 있습니다. 창발능력이 왜 존재하는지는 아직 불분명하지만, 창발능력을 낳을 수 있는 요인을 알아냈습니다: 그러나 이 모든 요인은 현 단계에서는 추측일 뿐입니다. 새로운 기능을 생성하기 위해 모델을 훈련하는 방법을 공개하는 것은 매우 의미가 있습니다. 자세한 내용은 다음 기사에 남겨두겠습니다. 이 글에서 우리는 언어 모델의 창발적 능력을 주의 깊게 연구했습니다. 우리는 복잡한 추론, 지식 추론, 분포 외 견고성의 중요성과 기회를 강조합니다. Emergent 기능은 스케일링 법칙을 초월하고 스케일링 곡선에서 위상 전환을 나타낼 수 있기 때문에 매우 흥미롭습니다. 연구 패러다임이 실제로 Fine-tuning에서 상황별 학습으로 전환될 것인지에 대해 자세히 논의했지만, 분포 내 시나리오와 분포 외 시나리오에서 미세 조정 및 상황별 학습의 효과가 여전히 나타나기 때문에 아직 명확한 답을 얻지 못했습니다. 비교할 필요가 있습니다. 마지막으로, 창발적 기능을 생성하는 세 가지 잠재적인 요소, 즉 명령 미세 조정, 코드 미세 조정 및 사고 체인 미세 조정에 대해 논의합니다. 제안과 토론을 매우 환영합니다. 또한 아직 논의되지 않은 두 가지 흥미로운 문제를 언급했습니다. 이 두 가지 문제에 대해서는 이후의 기사에서 논의하겠습니다. 6. 규모만 중요한가요?
7. 결론 결론
중국어-영어 비교표
위 내용은 화제의 해석: ChatGPT가 촉발한 대형 모델의 창발적 능력과 패러다임 전환의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
