최신 PNAS 연구: 문제 해결률 81%, 신경망 Codex가 고급 수학 세계의 문을 열다

최근 PNAS에 새로운 연구가 발표되었는데, 이는 다시 한번 신경망의 기능을 새롭게 개선했습니다. 이번에는 신경망을 이용하여 고급 수학 문제를 풀었는데, MIT 수학 과정에서 어려운 수학 문제들이었습니다!

이번 새로운 연구에서 연구팀은 OpenAI의 Codex 모델이 프로그램 합성을 수행하여 대규모 수학 문제를 해결할 수 있음을 입증했으며, 소규모 샘플 학습을 통해 데이터 세트의 수학 강좌 문제 중 81%를 자동으로 해결할 수 있음을 입증했으며, Codex 이러한 작업에 대한 성능은 인간 수준에 도달합니다.

원본 링크: https://www.pnas.org/doi/10.1073/pnas.2123433119

이 연구의 출현은 신경망이 고급 수학 합의를 해결할 수 없다는 일반적인 믿음을 뒤집습니다. 문제에. 연구진은 코덱스가 이런 능력을 발휘할 수 있었던 이유가 바로 팀이 대대적인 혁신을 이뤘기 때문이라고 지적했다. 그동안 실패한 연구들은 텍스트 기반의 사전 훈련만 사용했고, 이번에 등장한 코덱스 신경망은 그렇지 않았다. 텍스트를 기반으로 Pre-training만 하고, 코드도 미세 조정합니다.

연구된 문제 데이터 세트는 MIT의 6개 수학 과정과 Columbia University의 1개 수학 과정에서 선택되었습니다. MIT의 단일 변수 미적분, 다변수 미적분, 미분 미적분 방정식, 확률 입문 및 7개 과정에서 25개의 문제가 무작위로 선택되었습니다. 컬럼비아 대학교에서 통계, 선형 대수학, 컴퓨터 과학을 위한 수학, COMS3251 전산 선형 대수학을 전공했습니다.

동시에 연구팀은 수학적 추론을 평가하는 데 사용되는 최신 고급 수학 문제 벤치마크인 MATH를 사용하여 OpenAI Codex의 능력을 테스트했습니다. MATH는 초등 대수학, 대수학, 계산 및 확률의 6가지 주요 수학 섹션을 다룹니다. , 중급 수준에는 대수학, 정수론, 기초 미적분학이 각각 15문제씩 있습니다.

캡션: 연구에 사용된 코스 문제 데이터세트 및 MATH 벤치마크

연구에 따르면 Codex는 질문 데이터세트 및 MATH 데이터세트의 265개 문제 중 213개를 자동으로 해결한 것으로 나타났습니다.

1 혁신은 어디에 있습니까

Transformer 출시 이후 Transformer 기반 언어 모델은 제로샷 및 퓨샷 언어 작업을 포함한 다양한 자연어 처리(NLP) 작업에서 큰 성공을 거두었습니다. 그러나 Transformer는 텍스트에 대해서만 사전 훈련되었기 때문에 이러한 모델은 기본적으로 수학적 문제를 해결할 수 없습니다. GPT-3가 전형적인 예입니다.

나중에 퓨샷 학습과 CoT(사고 연쇄) 프롬프트를 통해 GPT-3의 수학적 추론 능력은 코드 없이도 향상되었습니다. 스몰샷 학습과 CoT 힌트를 사용해도 GPT-3는 대학 수준의 수학 문제와 MATH 벤치마크에는 여전히 무력합니다.

수학적 문제 해결에 대한 과거의 연구는 상대적으로 단순한 수학적 수준에서 특정 결과를 달성했을 수도 있습니다. 예를 들어 MAWPS 및 Math23k와 같은 공동 훈련 결과를 기반으로 표현식 트리를 검증하거나 예측하는 기술은 초등학교 수준의 수학 문제를 81% 이상의 정확도로 해결할 수 있지만 고등학교, 올림피아드 수학 또는 대학 수준의 문제는 해결할 수 없습니다. 수학 문제. 산술 표현식 트리를 예측하기 위해 그래프 신경망(GNN)과 결합된 공동 훈련을 통해 최대 95%의 정확도로 기계 학습의 대학 수준 문제를 해결할 수 있습니다. 그러나 이 작업 역시 수치적 답변에 국한되어 과적합이 발생하여 다른 강좌로 일반화할 수 없었습니다.

이 작업의 가장 큰 혁신 중 하나는 Codex와 같은 Transformer 모델이 텍스트에 대해 사전 학습되었을 뿐만 아니라 코드에 대해서도 미세 조정되어 수학 문제에 대한 대규모 솔루션을 생성할 수 있다는 것입니다. 문제 프로그램.

연구팀은 테스트를 위해 입력 이미지나 증명이 필요하지 않은 데이터 세트에서 무작위로 질문 샘플을 선택했습니다. 그 중 텍스트로만 사전 학습된 언어 모델(GPT-3 text-davinci-002)은 강좌 문제의 18%, MATH 벤치마크 문제의 25.5%만을 자동으로 해결했습니다.

반면, 제로샷 학습과 텍스트로 사전 훈련되고 코드로 미세 조정된 신경망(OpenAI Codex code-davinci-002)을 사용하여 합성된 프로그램은 강좌 문제의 71%, 문제의 72.2%를 자동으로 해결할 수 있습니다. 수학 벤치마크 질문입니다.

동일한 신경망 Codex와 퓨샷 학습을 사용하여 강좌 문제의 81%, MATH 벤치마크 테스트 문제의 81.1%를 자동으로 풀 수 있습니다. 그러나 나머지 모델이 자동으로 풀 수 없었던 강좌 문제의 19%와 MATH 벤치마크 문제의 18.9%가 최종적으로 수동 프롬프트를 통해 해결되었습니다.

소표본 학습법의 추가는 이 연구의 두 번째 주요 혁신입니다. 위 그림에서 볼 수 있듯이, 제로샷 학습이 질문에 답할 수 없는 경우 (질문, 코드) 쌍(쌍)을 사용하여 스몰샷 학습을 수행하게 됩니다.

1) OpenAI의 텍스트-유사성 활용- Babbage-001 내장 엔진은 모든 질문을 내장합니다.

2) 내장 코사인 유사성을 사용하여 코스에서 가장 유사한 해결 질문을 계산합니다.

3) 가장 유사한 질문을 해당 코드와 결합합니다. 작은 샘플 문제의 예.

그림 참고: 4가지 방법의 자동 문제 해결률 비교

위 그림은 Codex의 제로샷 학습, 스몰샷 학습과 GPT-3의 제로샷 학습 및 스몰샷 학습입니다. 4가지 방법의 자동 문제 해결률 비교. 주황색 막대로 표시되는 Small Sample 학습 Codex는 자동 문제 해결 속도에서 우수한 성능을 가지며, 기본적으로 모든 수학 분야에서 다른 세 가지 방법보다 성능이 뛰어남을 그림에서 알 수 있습니다.

이 연구의 세 번째 주요 혁신은 수학적 문제를 해결하기 위한 파이프라인을 제공하고 그 솔루션이 왜 그런지 설명하는 것입니다. 다음 그림은 MIT의 5개 수학 과정에서 파이프라인의 실행 흐름을 보여줍니다.

18.01 단일 변수 미적분 문제를 예로 들면, 문제와 자동으로 생성된 접두사 "Use SymPy"가 주어지면 Codex가 프롬프트되고 프로그램이 출력됩니다. 프로그램을 실행하면 정답이 있는 방정식이 생성됩니다. 그런 다음 프로그램은 자동으로 Codex를 다시 묻는 메시지를 표시하여 코드 설명이 생성됩니다.

2 문제 해결 후

수학 문제를 풀고 답을 설명하는 것 외에도 Codex는 각 코스마다 새로운 질문을 생성하는 데에도 사용됩니다.

생성된 질문의 수준을 평가하기 위해 팀에서는 이러한 강좌 또는 동일한 수준의 강좌에 참여한 MIT 학생들을 대상으로 설문조사를 실시했습니다. 주로 기계로 생성된 질문과 수동으로 작성한 질문의 품질과 난이도를 비교했습니다. 질문.

MIT의 6개 코스 각각에는 필기 질문 5개와 모델 생성 질문 5개가 혼합되어 무작위로 제시됩니다. 60개의 질문 각각에 대해 참여 학생들은 3개의 설문조사 질문에 답하도록 요청 받았습니다:

1) 이 질문이 사람이 작성한 것이라고 생각하십니까, 아니면 기계가 생성한 것이라고 생각하십니까?

2) 이 질문이 특정 강좌에 적합하다고 생각하시나요? 부적절하다고 생각하시나요?

3 ) 1(가장 쉬움)과 5(가장 어려움) 척도에서 이 질문의 난이도를 어떻게 평가하시겠습니까?

반납된 설문지에는 학생 설문조사 결과가 다음과 같이 요약되어 있습니다.

• 기계 문제와 사람이 작성한 문제의 난이도는 비슷합니다.
• 기계로 만든 질문보다 사람이 작성한 질문이 과정에 더 적합합니다.
• 사람이 작성한 답변은 잘못 식별하기 어려운 반면, 기계 생성 질문은 학생들이 기계 생성 또는 사람이 작성한 것으로 간주합니다.

기계로 생성된 질문은 학생들이 구별할 수 없게 되었으며, 이는 Codex가 새로운 콘텐츠를 생성하는 데 있어서 인간의 성과 수준에 도달했음을 나타냅니다.

그러나 모델이 해결할 수 없는 문제도 있습니다. 예를 들어 이미지나 기타 비텍스트 형식으로 나타나는 경우 답할 수 없는 문제, 증명해야 하는 해법이 있는 문제, 계산적으로 어려운 문제 등이 있습니다. 예를 들어, 매우 큰 소수를 분해하는 것은 이 모델로 해결할 수 없습니다. 그러나 이 마지막 유형의 질문은 실제 학생들도 답할 수 없기 때문에 어떤 수학 수업에도 나타나서는 안 됩니다.

위 내용은 최신 PNAS 연구: 문제 해결률 81%, 신경망 Codex가 고급 수학 세계의 문을 열다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!