쑨원대학교 HCP 연구소 팀: AI 문제 해결의 새로운 혁신, 신경망이 수학적 추론의 문을 열다

인간은 성장 과정의 여러 단계에서 수많은 수학적 문제를 해결하기 위해 많은 지식을 습득해야 합니다. 그러나 지식 포인트를 이해한다고 해서 문제를 해결할 수 있어야만 인간의 지혜를 반영할 수 있는 것은 아닙니다. 최근 몇 년 동안 신경망은 컴퓨터 비전, 패턴 매칭, 자연어 처리, 강화 학습 등의 분야에서 큰 성공을 거두었습니다. 그러나 신경망 모델의 이산 조합 추론 능력은 인간에 비해 훨씬 낮습니다. 그렇다면 신경망은 수학 문제를 이해하고 해결할 수 있을까요? 그렇다면 신경망의 문제 해결 능력은 얼마나 좋은가?

데이터 형식 측면에서 수학적 문제는 수열로 간주될 수 있으며, 그 해법(문제 해결 단계 또는 표현식)은 수열의 형태로 제시되는 경우가 많습니다. 그러면 수학적 문제를 해결하는 것은 자연어에서 수학적 언어로의 번역 문제로 간주될 수 있습니다. 신경망 모델은 수학적 문제를 형식적으로 해결할 수 있습니다. 다양한 이전 연구를 통해 신경망이 번역 문제에 대해 매우 우수한 성능을 달성할 수 있으며 여러 데이터 세트에서 인간의 성능을 능가한다는 사실을 알 수 있습니다. 그러나 이는 기계 번역과 크게 다릅니다. 문제의 의미를 이해하는 능력 외에도 수학적 문제를 해결하려면 모델에 대수적 일반화 개체와 엔터티의 개별 조합을 추론하는 능력이 필요한 경우가 많습니다.

수학적 문제를 해결하는 심층 모델의 능력을 탐구하기 위해 쑨원대학교 인간-기계 지능 통합 연구소는 이전 연구를 기반으로 초등 수학 응용 문제와 기하 계산 문제를 사용하여 일련의 실험을 수행했습니다. 연구는 심층 모델의 의미론적 이해, 인지적 추론 및 수학적 문제 해결 능력을 향상시킵니다. 이 기사에서는 Sun Yat-sen University의 인간-기계-객체 지능형 통합 연구소에서 수행한 수학적 문제 해결 분야의 일련의 연구를 간략하게 소개합니다.

논문 1: 수학 단어 문제에 대한 의미적으로 정렬된 유니버설 트리 구조의 해결사

2020 자연어 처리의 경험적 방법 컨퍼런스

문서 주소: https://aclanthology.org/2020.emnlp-main.309.pdf

실용 수학 단어 문제 해결사는 일변수 일차 방정식, 일차 방정식 등 다양한 유형의 수학 단어 문제를 해결할 수 있어야 합니다. 두 변수의 그룹, 이차방정식 등 그러나 대부분의 수학 응용 문제 해결 작업은 4가지 산술 연산용으로만 설계되어 있으며 이러한 유형의 설계는 더 많은 문제 유형으로 확장하기 어려운 경우가 많습니다. 동시에 신청 질문입니다. 또한, 현재 대부분의 수학 단어 문제 해결사에는 문제 텍스트와 솔루션 표현 간의 의미론적 제약이 부족합니다.

위 문제에 대응하여 쑨원대학교 인간-기계 지능 통합 연구실 팀은 여러 표현식을 연결하기 위한 추가 연산자를 도입하여 하나의 변수에 대한 선형 방정식과 시스템을 제안했습니다. 두 변수의 일차방정식은 , 이차방정식과 기타 유형의 표현식이 통일된 방식으로 표현되므로 그림 1과 같이 솔버 설계를 단순화하고 다양한 유형의 응용 문제를 해결할 수 있습니다.

그림 1 통합 표현 트리 표현 체계 설계

통합 표현 트리 표현 체계를 기반으로 그림과 같이 의미 정렬 트리 구조 범용 솔버(SAU-Solver)를 제안합니다. 그림 2에서. 우리의 트리 구조 범용 솔버는 2계층 GRU를 기반으로 하는 문제 인코더와 통합 표현식 트리 표현을 기반으로 하는 트리 구조 디코더의 두 부분으로 구성됩니다. 그리고 훈련 과정에서 표현 하위 트리와 질문 컨텍스트의 일관성을 제한함으로써 우리의 일반 솔버는 문제와 표현 사이의 의미적 관계를 보다 완벽하게 고려하고 다양한 유형의 수학적 문제를 탐색할 수 있습니다. 이를 통해 솔버의 표현 생성 기능이 향상됩니다.

그림 2 의미 정렬 트리 구조 솔버

또한 솔버의 다양성과 해결 능력을 더 잘 측정하기 위해 현재 주석 데이터 세트에서 단일 유형의 문제에 대한 중간 크기의 다중 질문 데이터 세트 HMWP도 구축했습니다. 한 변수의 일차 방정식, 두 변수의 일차 방정식 시스템, 한 변수의 2차 방정식 등과 같은 다양한 표현 유형에 대한 수천 개의 수학 텍스트 문제를 해결합니다. 우리의 실험에서는 단일 유형의 데이터 세트보다 여러 질문 유형이 포함된 데이터 세트가 해결사에게 더 어려운 것으로 나타났습니다. 또한 문제 해결 능력을 더 잘 측정하고 해결사 커뮤니티에서 연구를 촉진할 수도 있습니다.

실험에서는 제안된 SAU-Solver를 HMWP, Math23K, ALG514 및 Dolphin18K-Manual의 기존 방법과 비교했습니다. 실험 결과는 아래 그림에 나와 있으며 이는 우리 방법의 다양성과 더 나은 수학적 문제 해결 능력을 입증합니다.

자세한 연구 내용은 원문을 참고해주세요.

Paper 2 : 보조 작업과 관련된 수학 단어 문제에 대한 신경 상징적 솔버

제 59 차 연례 계산 언어 협회 및 자연 언어 처리에 관한 제 11 회 국제 공동 회의

논문 주소: https://arxiv.org/abs/2107.01431

현재 초등 수학 단어 문제 해결사는 다양한 수학적 기호 제약 조건을 고려하지 않고 단순히 인코더를 사용합니다. - 디코더 프레임워크 문제, 불합리한 예측을 낳게 됩니다. 상징적 제약과 상징적 추론의 도입은 수학적 응용 문제를 자동으로 해결하는 데 매우 중요합니다.

이에 쑨원대학교 인간-기계 지능 통합 연구실 팀은 신경기호 컴퓨팅 패러다임을 도입하고 보조 작업 형태로 명시적 지식 주입을 수행하는 새로운 신경기호 솔버(NS-Solver)를 제안했습니다. , 따라서 다양한 수준에서 기호 제약 조건을 구현합니다. 기술 아키텍처는 그림 3에 나와 있습니다. NS-Solver는 세 가지 구성 요소로 네트워크의 백본에 구축됩니다. 1) 2계층 양방향 GRU 네트워크를 통해 수학적 문제의 효율적인 의미론적 이해 및 표현을 수행하는 문제 판독기 2) 기호 추론 기반의 프로그래머 문제 의미론과 상식 예측 결과에 따라 솔루션 표현을 생성합니다. 3) 실행자님, Sympy 라이브러리를 사용하여 표현식을 풀고 최종 답을 얻으세요.

기호 제약과 관련하여 추가 훈련 신호를 활용하고 상식 예측 결과를 사용하여 기호 테이블을 명시적으로 제한하고 문제 해결 검색 공간을 줄이는 다양한 보조 작업을 제안합니다. 1) 자기 지도 숫자 예측 작업: 통해 질문의 의미를 더 잘 이해하기 위해 질문의 숫자 위치와 수를 예측합니다. 2) 상식 수량자 예측 작업: 상식 지식을 주입하고 예측 결과를 사용하여 기호 테이블을 제한하고 검색 공간을 줄입니다. 확인: 의미론적 수준에서 문제 해결 확인 솔버의 출력과 목표 표현식 간의 일관성 4) 이중 활용 과제: 문제에서 표현 및 표현까지의 양방향 제약을 통해 문제 해결자의 문제 의미론적 이해를 강화합니다. 문제에.

그림 3 신경 기호 솔버(NS-Solver)

또한 솔버의 성능을 더 잘 검증하기 위해 더 큰 규모의 다중 문제도 구성했습니다. 수학 응용 문제 데이터 세트 CM17K를 입력하여 수학 문제 해결 커뮤니티의 연구를 더욱 촉진합니다. CM17K에는 6215개의 4변수 산술 문제, 5193개의 단일 변수 선형 방정식, 3129개의 단일 변수 비선형 방정식 및 2498개의 방정식이 포함되어 있습니다. CM17K와 Math23K의 데이터 통계는 아래 표와 같습니다. CM17K는 Math23K보다 문제 정보가 길고 풀이 표현이 길며 상식이 더 많이 포함되어 있다는 것을 통계에서 알 수 있습니다. 이는 CM17K가 문제 해결의 난이도 측면에서 문제 해결자의 성능을 더 잘 특성화한다는 것을 의미합니다.

실험에서는 제안된 NS-Solver를 Math23K 및 CM17K에서 기존 방법과 비교하고 Ablation 실험을 수행하여 NS-Solver의 우수한 문제 해결 능력과 다양성을 입증했습니다. 실험 결과는 다음 두 표에 나와 있습니다.

또한 아래 그림과 같이 보조 작업에 대한 Ablation 실험도 진행했습니다. 실험 결과는 각 보조 작업이 NS-Solver의 문제 해결 능력을 향상시킬 수 있음을 입증합니다.

자세한 연구 내용은 원문을 참고해주세요.

문서 3: GeoQA – 다중 모달 수치 추론에 대한 벤치마크에 답하는 기하학적 질문

전산 언어학 협회의 조사 결과: ACL-IJCNLP 2021

문서 주소 : https://arxiv.org/pdf/2105.14517.pdf

최근 자동 수학 문제 해결이 점점 더 주목을 받고 있습니다. 자동 수학 문제 해결 대부분의 작업은 수학 단어 문제를 자동으로 해결하는 데 중점을 둡니다. 그러나 기하학 문제에 초점을 맞춘 작품은 거의 없습니다. 수학 응용 문제와 비교하여 기하학 문제는 텍스트 설명과 그래픽 및 차트에 대한 이해가 동시에 필요합니다. 왜냐하면 기하학 문제에서는 문제 텍스트와 그래픽 및 차트가 일반적으로 서로를 보완하고 필수 불가결하기 때문입니다. 기하학 문제를 자동으로 해결하기 위한 기존 방법은 규칙에 크게 의존하며 작은 데이터 세트에서만 평가됩니다.

그림 4 샘플 기하학 질문

기하 문제의 자동 해결에 대한 연구를 촉진하기 위해 중산대학교 인간-기계 지능 통합 연구소 팀은 다음으로 구성된 기하학 질문을 구성했습니다. 5010개의 객관식 질문 중 질문 답변 데이터세트 GeoQA입니다. 그림 4에 표시된 것처럼 GeoQA 데이터 세트의 각 샘플에는 질문 설명, 기하학적 이미지, 질문 옵션, 답변, 질문 유형, 지식 포인트, 솔루션 분석 및 문제 해결 단계로 표시된 공식 절차가 있습니다. 문제 크기 측면에서 이 데이터 세트는 이전 작업에서 일반적으로 사용된 GeoS 데이터 세트보다 25배 더 큽니다. GeoQA 데이터세트의 관련 통계정보는 아래 표와 같습니다.

GeoQA 데이터 세트에서 사용되는 공식 프로그램 연산자와 관련 상수는 아래 표에 나와 있습니다.

기하학 문제 해결사에 대한 연구를 더욱 촉진하기 위해 GeoQA 데이터 세트를 기반으로 몇 가지 기본 모델을 구축하는 것 외에도 다중 모드 의미론 정보를 이해하고 생성할 수 있는 신경기하학 문제 해결사 NGS를 제안했습니다. 해석 가능한 공식 프로그램. 신경기하학 문제 해결사 NGS의 전체 설계는 그림 5에 나와 있습니다.

그림 5 신경 기하학 문제 해결사(NGS)의 개략도

우리 NGS는 주로 텍스트 인코더, 기하학 인코더, 공동 추론 모듈 및 프로그램 디코더로 구성됩니다. 텍스트 인코더는 질문 텍스트의 의미론적 표현을 담당하고, 기하학적 도형 인코더는 기하학적 도형의 표현을 담당합니다. 텍스트 표현과 그래픽 표현 모두 다중 모드 의미 표현을 위한 공동 추론 모델에 입력되고 프로그램 디코딩을 위해 프로그램 디코더에 공급되며 해석 가능하고 실행 가능한 공식 솔루션 프로그램이 출력됩니다.

또한, 기하 도형 인코더에 의한 기하 도형의 표현 능력을 향상시키고, 질문에 포함된 다중 모드 정보를 완벽하게 통합하고 효율적으로 표현할 수 있는 공동 추론 모듈을 촉진하기 위해 다양한 도형 인코더도 도입했습니다. 모델 표현 능력을 향상시키고 정리 지식을 주입하기 위한 보조 작업. 이러한 보조 작업에는 다음이 포함됩니다. 1) 퍼즐 위치 예측: 기하학적 도형에 대한 픽셀 수준 그래픽 이해는 기하학적 도형을 여러 패치로 자르고 무작위로 배열한 다음 지오메트리 인코더가 이를 재배열하도록 함으로써 달성됩니다. 기하학적 도형 인코더는 객체 수준 그래픽 이해를 달성하기 위해 현재 기하학적 도형에 어떤 기하학적 요소가 나타나는지 예측하는 방법을 학습합니다. 3) 지식 포인트 예측: 공동 추론 모듈에서 질문 텍스트 표현과 기하학적 도형 표현의 다중 모드 융합을 수행합니다. 동시에 전반적인 문제 표현을 개선하기 위해 지식 포인트 분류 작업이 도입되었습니다. NGS에서는 퍼즐 위치 예측과 기하학 요소 예측을 사용하여 기하학 인코더를 사전 훈련합니다. 지식 포인트 예측 작업은 NGS를 사용한 다중 작업 훈련의 하위 작업으로 사용됩니다.

실험에서 기사에서는 GeoQA를 기반으로 여러 개의 신경망 기반 기본 모델을 구축하고 NGS를 비교했습니다. NGS의 실험 결과와 GeoQA의 기본 모델은 아래 표에 나와 있습니다.

위 표에서 볼 수 있듯이 NGS는 GeoQA에서 기본 모델보다 더 나은 문제 해결 성능을 달성할 수 있습니다. 그러나 기하학적 문제를 해결하는 데 있어 다양한 모델과 인간 사이에는 여전히 큰 격차가 있음을 알 수 있습니다.

이 외에도 NGS에서 다양한 디자인의 유효성을 검증하기 위해 다양한 ablation 실험도 진행했습니다. 보다 자세한 연구 내용은 원문을 참고하시기 바랍니다.

문서 4: 편견 해결 완화를 위한 편견 없는 수학 단어 문제 벤치마크

전산 언어학 협회의 조사 결과: NAACL 2022

문서 주소: https:/ /aclanthology.org/2022.findings-naacl.104.pdf

이 작업에서 Sun Yat-sen University Human-Machine Intelligence Integration Laboratory 팀은 현재 모델을 평가하는 문제 해결 방법을 재검토합니다. 수학적 응용 문제를 해결하는 벤치마크 Bias(편향 해결). 이러한 문제 해결 편향은 주로 데이터 편향과 학습 편향에 의해 발생합니다. 데이터 편향은 훈련 데이터 세트가 각 질문의 다양한 서술 방식을 모두 다루지 못하여 문제 해결 모델이 얕은 의미만 학습할 수 있고 질문 의미의 깊은 의미를 이해하지 못하는 문제를 말합니다. 그림 6(a)에서 볼 수 있듯이 문제 해결 모델은 얕은 의미론만 학습하고 이를 사용하여 문제를 해결하기 때문에 문제의 문제 부분을 제거한 후에도 문제 해결자는 여전히 69.4%에 도달할 수 있습니다.

학습 편향은 MWP가 여러 등가 표현식으로 풀 수 있음을 의미하지만 현재 데이터 세트는 등가 방정식 중 하나만 레이블로 사용하여 모델이 레이블을 학습하고 다른 등가 방정식을 무시하도록 강제합니다. 학습 훈련에 편견이 있습니다. 그림 6(b)에서 볼 수 있듯이 훈련 과정에서 모델은 GroundTruth 표현식과 일치하지 않는 표현식을 생성할 수 있지만 답은 정확합니다. 그러나 데이터 세트는 특정 동등한 표현식만 레이블로 사용하기 때문에 손실 함수를 계산할 때 해당 표현식은 잘못된 표현식으로 간주되며, 올바른 두 표현식 사이의 손실이 솔루션 모델에 역전파되어 모델이 과도하게 수정되는 결과가 발생합니다.

그림 6 데이터 편향 및 학습 편향의 예

데이터 편견을 완화하기 위해 Sun Yat-sen University 인간-기계 지능 통합 연구소 팀은 질문 질문을 최대한 다루는 방식으로 새로운 MWP 벤치마크 UnbiasedMWP라는 이름을 다시 지정했습니다. 기본 문제로 2907개의 단어문제를 모은 후, 각 문제에 담긴 이야기에 최대한 많은 문제를 주석으로 달았습니다.

수동 주석 과정을 단순화하기 위해 먼저 질문의 핵심 내용을 기반으로 합리적인 표현을 생성한 다음 질문을 역으로 다시 작성합니다. 합리적인 표현식을 생성하기 위해 세 가지 표현식 변형을 설계했습니다. 1) 변수 분류(Va) 변형: 질문의 백본에서 두 개의 숫자 변수를 무작위로 선택하고 수학 연산자(+, -, *, /)를 사용하여 결합합니다. n0 + n1, n0 − n1 등 2) 부분식(Sub) 변환: 원문의 대상 표현식에 포함된 모든 부분식을 연산자에 의해 수정하여 새로운 표현식을 얻는다. 3) 전체 표현(Whole) 변형: 원래 질문의 대상 표현식에 포함된 연산자를 변경하여 새로운 표현식을 얻습니다. 위의 세 가지 변형에서 얻은 새로운 표현 세트는 수동으로 필터링되고, 새로운 질문으로 주석을 달 수 없는 표현식은 필터링되고, 나머지 표현식에는 질문으로 수동으로 주석이 추가됩니다.

학습 편향을 완화하기 위해 학습 과정에서 모델 출력 결과에 더 가까운 타겟 표현을 GroundTruth로 선택하는 동적 타겟 선택 전략을 제안합니다. 등가 표현식을 얻기 위해 수학 연산에서 교환법칙을 사용하여 표현식 트리를 변형하여 여러 등가 표현식을 얻습니다. 그림 7과 같습니다.

그림 7 등가 표현식 트리 생성의 도식 다이어그램

실험에서 기사는 먼저 여러 SOTA 기준 모델에 대한 UnbiasedMWP 데이터 세트를 검증했습니다. 실험 결과는 아래 표에 나와 있습니다.

실험 결과에서 알 수 있듯이 기존 Math23K에 비해 우리 데이터 세트 UnbiasedMWP는 데이터 편향이 적습니다. 왜냐하면 문제 문제를 제거하면 모델의 해법 성능이 급격히 하락하기 때문입니다. 문제를 해결하기 위해 모델이 깊은 의미 정보에 주의를 기울일 필요가 있도록 데이터 세트를 더 효과적으로 만들 수 있다는 측면입니다.

동적 목표 선택 전략이 학습 편향을 줄일 수 있는지 확인하기 위해 동적 목표 선택 전략을 여러 문제 해결 모델에 적용했습니다. 실험 결과는 아래 표에 나와 있습니다.

실험 결과에서 우리의 동적 목표 선택 전략이 학습 편향을 효과적으로 줄이고 모델의 해결 효과를 향상시킬 수 있음을 알 수 있습니다. 보다 자세한 연구 내용은 원문을 참고하시기 바랍니다.

문서 5: LogicSolver: 논리적 프롬프트 강화 학습을 통한 해석 가능한 수학 단어 문제 해결을 향하여

전산 언어학 협회의 조사 결과: EMNLP 2022

종이 주소: https://arxiv.org/pdf/2205.08232.pdf

최근 몇 년 동안 딥 러닝 모델은 특히 답변 정확도 측면에서 수학적 응용 문제를 자동으로 해결하는 데 큰 성공을 거두었습니다. 그러나 이러한 모델은 높은 해결 성능을 달성하기 위해 통계적 단서(얕은 경험적 방법)만 사용하고 문제의 수학적 논리를 실제로 이해하고 추론하지 않기 때문에 설명하기 어렵습니다.

이 문제를 해결하고 해석 가능한 수학 단어 문제 해결 분야의 발전을 촉진하기 위해 Sun Yat-sen University 인간-기계 지능 통합 연구소 팀은 최초의 고품질 설명 수학 단어 문제 데이터 세트 InterMWP를 구축했습니다. 이 데이터 세트에는 대수적 지식을 바탕으로 한 11,495개의 수학 단어 문제와 210개의 논리 공식이 포함되어 있습니다. 각 단어 문제의 풀이 표현에는 논리 공식이 주석으로 표시되어 있습니다. 기존 수학적 응용 문제 해결 데이터 세트와 달리, 우리의 InterMWP는 해결자가 해결식을 출력해야 할 뿐만 아니라, 문제 해결자가 해결식에 해당하는 대수적 지식을 기반으로 논리식을 출력하도록 요구하여 모델을 구현합니다. 출력. InterMWP 데이터 세트와 다른 문제 해결 데이터 세트 간의 유사점과 차이점은 그림 8에서 확인할 수 있습니다. 구체적인 주석 처리 과정은 원문을 참고하시기 바랍니다.

그림 8 InterMWP 데이터 세트 예

수학적 논리 지식을 활용하고 MWP 문제 해결사에 해석 가능성을 부여하기 위해 우리 팀은 새로운 수학적 응용 문제 솔루션인 LogicSolver 프레임워크를 추가로 구축했습니다. 그림 9에 나와 있습니다. 이 프레임워크는 검색을 통해 논리식 라이브러리에서 관련 논리 지식을 프롬프트 정보로 추출하여 질문 인코더에 의한 MWP의 의미적 표현을 향상시키고 MWP의 논리적 설명 생성 능력을 향상시킵니다.

그림 9 LogicSolver 설계 다이어그램

LogicSolver는 주로 논리적 지식 검색 구성 요소, 논리 프롬프트 강화 MWP 솔버 및 설명 생성 구성 요소의 세 가지 주요 구성 요소로 구성됩니다. 논리적 지식 검색 구성요소. 각 MWP에 대해 MWP 솔루션을 향상시키기 위한 힌트로 210개의 논리식에서 관련성이 높은 상위 k 논리식을 검색합니다. MWP 모델을 구동하여 솔루션 표현식을 생성하기 위해 질문 텍스트와 논리식 프롬프트를 입력으로 연결합니다. 마지막으로 논리식에 따른 설명을 얻기 위해 논리식 트리의 각 내부 노드(즉, 연산자)에 해당하는 논리식을 해법에 대한 설명으로 예측하는 논리 생성기를 배치합니다.

실험에서 우리는 InterMWP 데이터 세트에 여러 기본 모델을 구축하고 LogicSolver를 이러한 기본 모델과 비교했습니다. 실험 결과는 아래 표에 나와 있습니다.

실험 결과에서 우리 LogicSolver의 답 정확도, 수식 정확도, 논리 수식 정확도가 향상될 수 있음을 알 수 있으며 이는 LogicSolver가 해결 성능(Answer Acc 및 Formula Acc)을 향상시키고 있음을 보여줍니다. 더 나은 논리적 해석 가능성(Logic Acc)을 갖습니다. 보다 자세한 연구 내용은 원문을 참고하시기 바랍니다.

논문 6: UniGeo: 수학적 표현 재구성을 통한 기하학 논리 추론 통합

Jiaqi Chen, Tong Li, Jinghui Qin, Pan Lu, Liang Lin, Chongyu Chen 및 Xiaodan Liang

2022 자연어 처리의 경험적 방법 컨퍼런스

자동 기하학 문제 해결은 심층 모델의 다중 모드 추론 기능을 평가하기 위한 벤치마크입니다. 그러나 대부분의 기존 작업에서는 기하학적 계산 문제의 자동 해결과 기하학적 문제의 자동 증명이 서로 다른 작업으로 간주되어 서로 다른 주석 처리가 적용되므로 서로 다른 수학적 작업에서 심층 모델의 통일된 추론을 방해합니다. 본질적으로 기하계산 문제와 기하 증명 문제는 문제 표현이 비슷하고, 이를 해결하는데 필요한 수학적 지식도 겹친다. 따라서 기하학적 계산 문제와 자동 기하학적 문제의 두 가지 작업에 대한 통합 표현과 학습은 이 두 가지 문제에 대한 심층 모델의 의미적 이해와 상징적 추론을 향상시키는 데 도움이 될 수 있습니다.

이를 위해 Sun Yat-sen University Human-Machine Intelligence Fusion Laboratory 팀은 수천 개의 기하학 질문이 포함된 벤치마크 데이터 세트 UniGeo를 구축했습니다. UniGeo에는 4,998개의 기하학적 계산 문제와 9,543개의 기하학적 증명 문제가 포함되어 있습니다. 우리는 각 증명 문제에 대해 다단계 증명 주석을 제공하며 이러한 주석은 실행 가능한 기호 프로그램으로 쉽게 변환될 수 있습니다. 계산 질문에도 그림 10과 같이 유사한 주석이 사용됩니다. 그림 10과 같이 주석을 달면 UniGeo는 기하학적 계산 문제와 기하학적 증명 문제를 공식적인 기호 언어로 잘 표현할 수 있습니다.

그림 10 UniGeo 데이터 샘플

기하 계산 문제와 기하 증명 문제를 균일하게 주석 처리하기 위해 형식 기호 언어를 사용한 후, 이 두 문제의 통일된 표현 능력을 검증하기 위해 효과적으로 기하계산 문제와 기하 증명 문제에 대한 모델의 의미론적 이해와 상징적 추론 능력을 향상시켜 보다 효율적인 계산 문제 해결 및 증명 문제 증명을 달성합니다. Sun Yat-sen University Human-Machine-Object 지능형 통합 연구소 팀은 그림 11과 같이 기하학적 문제 해결 및 증명의 통합 처리를 위해 Geoformer를 구축하여 기하학적 계산 문제와 기하학적 증명 문제를 동시에 처리합니다.

그림 11 GeoFormer 회로도

또한 통일된 기하학적 추론을 달성하기 위한 효율적인 Geoformer를 학습하기 위해 중산대학교 인간-기계 지능 통합 연구소 팀이 추가로 제안했습니다. 수학적 표현 예측 훈련 작업은 MLM 작업과 결합되어 그림 12와 같이 Geoformer에서 작업 사전 훈련을 수행합니다.

그림 12 수식 사전 훈련의 도식

실험에서 우리는 UniGeo 벤치마크를 기반으로 여러 기준 모델을 구축하고 제안된 GeoFormer의 성능을 비교했습니다. 실험 결과는 아래 표에 나와 있습니다.

실험 결과에서 볼 수 있듯이 우리가 제안한 GeoFormer는 계산 및 증명 문제 하위 데이터 세트 모두에서 기본 모델보다 전반적으로 더 나은 성능을 얻을 수 있습니다. 마찬가지로 GeoFormer는 계산 및 증명 문제의 통합 솔루션이 필요한 전체 데이터 세트에서 NGS 및 BERT 기준 모델보다 우수합니다. 수학적 표현 사전 훈련 및 MLM 사전 훈련 후 GeoFormer+Pretraining은 GeoFormer에 비해 성능이 더욱 향상됩니다. 이러한 실험 결과는 GeoFormer의 효율성을 충분히 입증했으며, 기하학적 계산 문제와 기하학적 증명 문제에 대한 통일된 모델 추론이 해당 작업에도 도움이 된다는 것을 보여줍니다.

이 작업은 EMNLP2022 본 컨퍼런스에 포함되었습니다. 자세한 연구 내용을 계속 지켜봐 주시기 바랍니다.

문서 7: 수학 단어 문제 해결을 위한 템플릿 기반 대조 증류 사전 훈련

Jinghui Qin*, Zhicheng Yang*, Jiaqi Chen, Xiaodan Liang 및 Liang Lin

깊지만 학습 모델은 수학적 문제 해결 분야에서 좋은 진전을 이루었지만 이러한 모델은 문제 설명에 포함된 해결 논리를 무시하고 이러한 문제 해결 논리가 문제 템플릿(해결책)에 해당하는 경우가 많습니다. 그림 13에 표시된 것처럼 두 가지 다른 단어 문제가 각각 동일한 솔루션에 해당할 수 있습니다.

그림 13 언어 설명은 다르지만 해결 방법은 동일한 단어 문제의 예

또한 사전 훈련된 언어 모델(PLM)은 풍부한 지식을 포함하고 고품질 의미 표현 능력을 갖추고 있어 MWP 문제 해결에 도움이 될 것입니다.

사전 훈련된 언어 모델에 포함된 풍부한 지식을 최대한 활용하고 솔루션 로직을 사용하여 응용 문제를 보다 효율적으로 해결하기 위해 쑨원대학교 인간-기계 지능 통합 연구소 팀은 비교 증류를 제안했습니다. 솔루션 템플릿과 사전 훈련된 언어 모델 기반 사전 훈련 방법은 그림 14와 같이 솔버의 문제 인코더에 대한 도메인 사전 훈련을 수행합니다. 이 방법은 사전 훈련된 언어 모델에서 지식과 고품질 의미 표현 능력을 효과적으로 유지하기 위해 지식 증류를 활용하는 동시에 수학적 논리 지식을 효과적으로 고려하기 위해 다관점 대조 학습을 사용합니다.

구체적으로는 먼저 두 질문 사이의 솔루션 템플릿이 표현 공간에서 서로 가까워야 하는지 여부를 결정하는 기호로 일관성이 있는지 여부를 사용합니다. 그런 다음 교사 인코더, 학생 인코더 및 해당 Momentum 인코더의 비교 학습을 포함하는 다관점 비교 학습을 제안하여 동일한 솔루션 템플릿을 사용하는 두 가지 질문 표현이 교사 표현 공간과 학생 표현에서 서로 상호 작용할 수 있도록 합니다. 공간. 솔루션 로직 주입을 달성하기 위해 가까이 다가가세요. 또한, 사전 훈련된 언어 모델로 초기화된 학생 인코더에 포함된 지식과 고품질 표현 능력을 최대한 유지하기 위해 지식 증류를 사용하여 특징 표현을 사용하여 학생 인코더의 표현을 제한한다. 학습된 Teacher 인코더와 동일한 표현 기능을 갖고 이를 통해 의미 보존을 달성합니다.

그림 14 솔루션 템플릿과 사전 학습된 언어 모델을 기반으로 한 비교 증류 사전 학습 방법

실험에서는 다양한 사전 학습된 언어 모델을 초기화로 사용하고 이를 검증합니다. 방법 효과. 문제 인코더 MathEncoder를 각각 BERT-base 및 Roberta-base 가중치로 초기화하고 GTS의 디코더를 표현식 디코더로 사용합니다. MathEncoder를 기반으로 하는 솔버를 MathSolver라고 통칭합니다. MathSolver를 Math23K 및 CM17K의 여러 메서드와 비교했습니다. 실험 결과는 아래 표에 나와 있습니다.

실험 결과에서 볼 수 있듯이, 우리가 제안한 방법은 솔버의 문제 해결 능력을 효과적으로 향상시킬 수 있으며 다양한 사전 학습된 언어 모델에 적용될 수 있습니다. 결과는 신경망 및 학습 시스템의 IEEE 트랜잭션에 제출되었습니다. 자세한 내용을 계속 지켜봐 주시기 바랍니다.

문서 8: 수학 단어 문제 해결사 훈련을 위한 내성적 데이터 증강 방법

Jinghui Qin, Zhongzhan Huang, Ying Zeng, Liang Lin

최근에는 점점 더 많은 연구자들이 수학적 응용 문제를 자동으로 해결하는 것이 기계 지능의 정도를 충분히 보여줄 수 있기 때문에 딥러닝을 기반으로 수학적 응용 문제를 자동으로 해결하는 방법을 연구하기 시작했습니다. 고품질, 대규모 MWP 데이터세트에 주석을 추가하는 것은 해당 교육 수준에 대한 전문 지식과 대규모 접근 가능 질문 데이터가 필요한 등 매우 비용이 많이 들기 때문에 기존 고품질 MWP 데이터세트의 규모로는 효율적인 MWP 교육에 충분하지 않습니다. 질문 기계로는 충분하지 않습니다.

MWP의 데이터 병목 현상 문제는 데이터 활용 효율성을 높이고 솔버 성능을 향상시키기 위해 비용 효율적인 데이터 증대 방법을 사용하는 방법에 대해 생각하게 만듭니다. 가장 직접적인 데이터 향상 방법은 일반적으로 사용되는 문자 교체, 문자 삭제 등 입력 기반의 데이터 향상 방법입니다. 그러나 이러한 유형의 방법은 MWP에는 적합하지 않습니다. 왜냐하면 MWP는 간결함과 간결함의 특성을 가지고 있기 때문입니다. 또는 수정으로 인해 질문의 의미가 불분명해질 수 있습니다. 또한, 질문의 의미에 포함된 수학적 관계는 변경할 수 없지만, 이러한 방식의 방법은 그림 15와 같이 질문의 의미에 포함된 수학적 관계를 변경할 가능성이 높습니다.

그림 15 MWP 작업에 적합하지 않은 입력 기반 데이터 향상 방법의 예

또한 중산대학교 인간-기계-객체 지능 융합 연구소 팀에서도 연구를 수행했습니다. 입력 기반 데이터 향상 방법에 대한 확실한 검증, 실험 결과는 그림 16에 나와 있습니다. 실험 결과, 입력 기반 명시적 데이터 증대 방법은 MWP 작업에 적용할 수 없으며 MWP 작업에서 발생하는 데이터 병목 문제를 효과적으로 완화할 수 없음을 보여줍니다.

그림 16 입력 기반 데이터 향상 방법으로는 MWP 문제 해결 효과를 향상시킬 수 없습니다.

이러한 이유로 MWP 데이터에 적합한 간단하고 효율적인 데이터 향상 방법을 제안합니다. 내성 IDAM(Integrated Data Augmentation Method)은 훈련 과정 중 잠재 공간에서 질문의 표현을 향상시켜 MWP 해결 작업에서 입력 기반 데이터 증대 방법에서 발생하는 문제를 해결합니다. IDAM 방법은 문제의 표현을 인코딩하여 새로운 문제 표현을 얻음으로써 다양한 표현 구성 방법(평균 풀링, 계층적 집계, 무작위 폐기, 무작위 교환 등)을 수행한 다음 일관성 목적 함수를 사용합니다(수식 기반). JS 분기 간) 새로운 문제 표현을 기반으로 한 솔버의 표현식 디코딩 출력을 원래 문제 표현을 기반으로 한 표현식 디코딩 출력과 일치하도록 제한합니다. 방법의 개략도가 그림 17에 나와 있습니다.

그림 17 내성 데이터 증대 방법(IDAM)의 개략도

실험에서는 IDAM을 여러 SOTA 방법에 삽입하고 여러 데이터 세트에서 비교하여 효율성을 확인했습니다. IDAM 방법의 다양성. 실험 결과는 아래 표에 나와 있습니다. 동일한 실험 구성에서 IDAM이 다양한 MWP 데이터 세트에 대한 다양한 솔버 기준 모델의 성능을 향상시킬 수 있다는 것을 실험 결과에서 볼 수 있습니다. 이는 MWP 문제에 대한 IDAM 접근 방식의 효과를 완전히 보여줍니다.

이 결과는 오디오, 음성 및 언어 처리에 대한 IEEE/ACM 트랜잭션에 제출되었습니다. 자세한 내용을 계속 지켜봐 주시기 바랍니다.

연구실 소개

중산대학교 인간-컴퓨터 지능 융합 연구실(HCP Lab)은 Lin Li 교수가 2010년에 설립했습니다. 중국 이미지 그래픽 협회에서 과학 기술 부문 1등상, Wu Wenjun 자연 과학상, 지방 자연 과학 부문 1등 상 등을 수상했으며 Liang Xiaodan 및 Wang Keze와 같은 국가 수준의 젊은 인재를 양성했습니다. .

위 내용은 쑨원대학교 HCP 연구소 팀: AI 문제 해결의 새로운 혁신, 신경망이 수학적 추론의 문을 열다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!