PaLM을 넘어! 북경대학교 석사가 DiVeRSe를 제안하여 NLP 추론 순위를 완전히 갱신했습니다.

​대규모 언어 모델은 1,750억 개의 매개변수를 갖춘 GPT-3, 5,400억 개의 매개변수를 갖춘 PaLM 등 현대 자연어 처리 기술의 초석이라고 할 수 있습니다. 다운스트림 작업.

하지만 추론 작업은 여전히 ​​어려운 문제이며, 특히 정답을 얻기 위해 다단계 추론이 필요한 질문에는 더욱 그렇습니다.

최근 연구자들은 적절하게 설계된 프롬프트가 모델이 다단계 추론을 수행하여 최종 답변을 생성하도록 안내할 수 있는 한 이 방법을 사고 연쇄 추론이라고도 한다는 사실을 발견했습니다.

사고 체인 기술은 산술 벤치마크 GSM8K에서 정확도를 17.9%에서 58.1%로 높였으며 나중에 도입된 자체 일관성 메커니즘은 정확도를 74.4%로 더욱 높였습니다

예를 들어 복잡한 추론 작업 일반적으로 정답으로 이어질 수 있는 추론 경로가 여러 개 있습니다. 자기 일관성 있는 방법은 사고 체인을 통해 언어 모델에서 다양한 추론 경로 집합을 샘플링한 다음 그 중에서 가장 일관성 있는 답변을 반환합니다.

최근 북경 대학교와 Microsoft의 연구원들은 세 가지 주요 혁신을 포함하고 모델의 추론 기능을 더욱 향상시키는 새로운 자기 일관성 있는 방법인 DiVeRSe를 기반으로 합니다.

페이퍼 링크: https://arxiv.org/abs/2206.02336

코드 링크: https://github.com/microsoft/DiVeRSe

먼저, 자기 일관성 있는 접근 방식의 영향을 받은 "다른 아이디어, 동일한 답변 "언어 모델의 다양한 추론 경로 샘플링에서 영감을 받은 DiVerSe는 다양성 측면에서 한 단계 더 나아갑니다. "모든 길은 로마로 통한다"라는 개념에 따라 여러 프롬프트를 사용하여 답변을 생성하며, 이는 더욱 완전한 답변을 생성할 수 있습니다. 그리고 보완적인 답변.

연구원들은 먼저 각 질문에 대해 5개의 서로 다른 프롬프트를 제공한 다음 각 프롬프트에 대해 20개의 추론 경로를 샘플링하고 마지막으로 각 질문에 대해 100개의 답변 추론 경로를 생성합니다.

핵심 질문은 다양한 프롬프트를 얻는 방법입니다. 샘플 라이브러리를 얻은 후 K개의 샘플을 샘플링하여 프롬프트를 구성하고 이를 5번 반복합니다.

샘플이 충분하지 않으면 self를 사용하세요. -즉각적 다양성을 향상시키기 위한 교수법, 즉 표본의 일부로부터 의사 추론 경로와 쌍을 생성합니다.

둘째, 추론 경로를 생성할 때 언어 모델에는 이전 단계의 오류를 수정하는 메커니즘이 없어 최종 예측 결과에 혼란이 발생할 수 있습니다. DiVeRSe는 투표 메커니즘을 안내하기 위해 각 추론 경로의 정확성을 검증하기 위해 검증자의 아이디어를 활용합니다. 즉, 모든 추론 메커니즘이 똑같이 중요하거나 좋은 것은 아닙니다.

질문에 대한 100개의 추론 경로가 있고 그 중 60개는 "답은 110"이고 그 중 40개는 "답은 150"이라고 가정합니다. 검증인(즉, 원래의 자기 일관성 있는 방법)이 없으면 "답은 110입니다"가 다수결이므로 110을 최종 답변으로 처리하고 150이 되는 40개의 추론 경로를 삭제할 수 있습니다.

verifier는 추론 경로에 점수를 매깁니다. 입력은 질문 x, 경로 z 및 답변 y이며, 출력은 양성 확률입니다.

검증기를 사용하여 "정답은 110"의 60개 추론 경로의 평균 점수가 0.3이라고 가정하고, "정답은 150"의 40개 추론 경로의 평균 점수는 0.8이라고 가정합니다. 그러면 최종 답은 150이 되어야 하는데, 40*0.8>60*0.3

셋째, 답은 여러 단계의 추론을 바탕으로 생성되기 때문에 경로가 정답을 생성하면 모든 단계를 고려하여 최종 정확성에 기여한다. . 그러나 오답이 발생했다고 해서 모든 단계가 틀렸거나 오류에 기여했다는 의미는 아닙니다.

즉, 결과가 틀려도 일부 중간 단계는 여전히 정확할 수 있지만 이후의 일부 편차 단계는 최종 오답으로 이어집니다. DiVeRSe는 각 단계에 세밀한 라벨을 할당하는 메커니즘을 설계하고 단계 인식 검증기를 제안했으며, 단순히 최종 답변을 보는 대신 각 단계의 추론에 정확성을 할당했습니다.

본체는 여전히 2분류자이지만, 핵심 질문은 단계 수준 부정 라벨을 어떻게 얻을 것인가입니다. 왜냐하면 최종 답변이 틀리면 사람의 참여 없이는 어떤 단계가 잘못되었는지 알 수 없기 때문입니다. 정답과 과정이 모두 정확해야 합니다.

연구원들은 지원 개념을 제안했습니다. 예를 들어 산술 작업에서는 중간 단계의 결과와 동일한 다른 예의 중간 결과가 있어야 합니다.

이 세 가지 개선 사항을 바탕으로 연구원들은 5개의 산술 추론 데이터 세트에 대한 실험을 수행했으며, code-davinci-002를 기반으로 한 DiVeRSe 방법이 평균 개선율로 새로운 SOTA 알고리즘을 달성했음을 알 수 있습니다. 6.2%

두 가지 상식 추론 과제에서 DiVeRSe의 성능이 PaLM 기반 자기 일관성(-2.2%)보다 약간 낮았습니다. 그 이유는 상식 추론 과제 때문일 것으로 추측됩니다. 개방형 작업이 아닌 객관식 작업입니다. 생성 작업으로 인해 더 많은 거짓양성 사례가 발생했습니다.

귀납적 추론 작업에서 DiVeRSe는 CLUTRR 작업에서 95.9%의 점수를 달성하여 이전 SOTA 미세 조정 결과(+28.9%)를 능가했습니다.

절제 실험에서는 투표 검증 메커니즘이 개선된 것을 확인할 수 있습니다. 성능이 더 분명해졌습니다.

대부분의 실험에서 투표 검증기를 단계 인식 버전으로 확장하면 성능이 향상될 수 있습니다. GSM8K의 code-davinci-002의 경우 단계 인식 버전의 검증기는 성능이 약간 저하됩니다.

가능한 이유는 code-davinci-002가 더 강력하고 GSM8K에 대해 더 높은 품질의 추론 경로를 생성할 수 있으므로 단계 수준 정보의 필요성이 줄어들기 때문입니다. 즉, text-davinci는 짧거나 불완전한 추론 경로를 생성할 가능성이 더 높지만 code-davinci는 점점 늘어나는 콘텐츠를 생성하는 데 더 친숙합니다.

논문의 첫 번째 저자는 Yifei Li입니다. 그는 2020년에 Northeastern University에서 소프트웨어 공학 학사 학위를 취득했습니다. 그는 현재 Peking University에서 석사 학위를 취득하고 있습니다. 그의 주요 연구 방향은 자연어 처리입니다. , 특히 대규모 언어 모델에서 프롬프트가 표시됩니다. -조정 및 추론.

기사의 두 번째 저자는 Microsoft Research Asia의 DKI 연구원인 Zeqi Lin입니다. 그는 2014년과 2019년에 북경대학교에서 학사 학위와 박사 학위를 받았습니다. 그의 주요 연구 방향은 기계 학습과 소프트웨어 분석에의 응용입니다. 및 데이터 분석.

위 내용은 PaLM을 넘어! 북경대학교 석사가 DiVeRSe를 제안하여 NLP 추론 순위를 완전히 갱신했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!