1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!-일체 포함-php.cn

대형 언어 모델(LLM)의 성능은 텍스트 분석 및 생성 작업에서 매우 강력하지만, 내부에 통합되고 완전한 숫자 단어 분할 메커니즘이 없기 때문에 여러 자리 곱셈과 같은 숫자와 관련된 문제에 직면할 때 모델을 사용하면 문제가 발생할 수 있습니다. 결과적으로 LLM은 숫자의 의미를 이해하지 못하고 무작위 답변을 구성합니다.

현재 LLM이 과학 분야의 데이터 분석에 널리 사용되지 않는 장애물 중 하나는 디지털 인코딩 문제입니다.

최근 플랫아이언 연구소(Flatiron Institute), 로렌스 버클리 국립 연구소(Lawrence Berkeley National Laboratory), 캠브리지 대학교, 뉴욕 대학교, 프린스턴 대학교 등 9개 연구 기관이 공동으로 하나의 토큰만 있으면 모든 숫자를 인코딩할 수 있는 새로운 디지털 인코딩 체계 xVal을 출시했습니다.

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!

문서 링크: https://arxiv.org/pdf/2310.02989.pdf

xVal은 전용 토큰([NUM])의 임베딩 벡터를 수치적으로 스케일링하여 대상 참값을 나타냅니다. 그런 다음 수정된 수치 추론 방법과 결합된 xVal 전략은 입력 문자열 번호와 출력 번호를 매핑할 때 모델을 종단 간 연속적으로 성공적으로 만들어 과학 분야의 응용 프로그램에 더 적합하게 만듭니다.

합성 및 실제 데이터 세트에 대한 평가 결과 xVal은 기존 숫자 인코딩 방식보다 더 나은 성능을 발휘하고 더 많은 토큰을 절약할 뿐만 아니라 더 나은 보간 일반화 속성을 나타내는 것으로 나타났습니다.

디지털 인코딩의 새로운 혁신

표준 LLM 단어 분할 체계는 숫자와 텍스트를 구분하지 않으므로 값을 수량화하는 것이 불가능합니다.

10을 기본으로 사용하여 과학적 표기법 형태로 모든 숫자를 제한된 프로토타입 숫자 세트(프로토타입 숫자)로 매핑하거나 숫자를 반영하기 위해 숫자 임베딩 사이의 코사인 거리를 계산하는 이전 작업이 있었습니다. 수치 차이는 행렬 곱셈과 같은 선형 대수학 문제를 해결하는 데 성공적으로 사용되었습니다.

그러나 과학 분야의 연속적이거나 원활한 문제의 경우 언어 모델은 여전히 보간 및 배포 외 일반화 문제를 잘 처리할 수 없습니다. 왜냐하면 숫자를 텍스트로 인코딩한 후에도 LLM은 본질적으로 인코딩 및 디코딩에서 여전히 이산적이기 때문입니다. 단계에서는 대략적인 연속 함수를 학습하는 것이 어렵습니다.

xVal의 아이디어는 숫자 크기를 곱셈적으로 인코딩하고 임베딩 공간에서 학습 가능한 방향으로 방향을 지정하는 것입니다. 이는 Transformer 아키텍처에서 숫자가 처리되고 해석되는 방식을 크게 변화시킵니다.

xVal은 디지털 인코딩에 단일 토큰을 사용하는데, 이는 토큰 효율성과 최소한의 어휘 공간이라는 장점이 있습니다.

수정된 수치 추론 패러다임과 결합하여 입력 숫자와 출력 문자열 숫자를 매핑할 때 Transformer 모델 값은 연속적(부드럽습니다)입니다. 근사 함수가 연속적이거나 매끄러우면 더 좋은 유도 바이어스를 가져올 수 있습니다.

xVal: 연속 숫자 인코딩

xVal은 숫자마다 다른 토큰을 사용하지 않고, 학습 가능한 특정 방향을 따라 값을 임베딩 공간에 직접 임베드합니다.

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!

입력 문자열에 숫자와 텍스트가 모두 포함되어 있다고 가정하면 시스템은 먼저 입력을 구문 분석하고 모든 값을 추출한 다음 숫자가 [NUM] 비트로 대체되는 새 문자열을 구성합니다. 기호를 입력한 다음 [NUM]의 임베딩 벡터에 해당 값을 곱합니다.

전체 인코딩 프로세스는 MLM(마스크 언어 모델링) 및 AR(자동 회귀) 생성에 사용될 수 있습니다.

레이어 정규화 기반 레이어-노름을 통한 암시적 정규화

특정 구현에서 첫 번째 Transformer 블록에 있는 xVal의 곱셈 임베딩은 상위 위치 인코딩 벡터 및 레이어-노름 정규화 뒤에 추가되어야 합니다. 입력 샘플을 기반으로 각 토큰을 삽입합니다.

위치 임베딩이 [NUM] 태그 임베딩과 동일 선상에 있지 않으면 비선형 재조정 함수를 통해 스칼라 값을 전달할 수 있습니다.

u가 [NUM]의 임베딩이고, p가 위치 임베딩이고, x가 인코딩된 스칼라 값이라고 가정하면, 계산을 단순화하기 위해 u · p=0이라고 가정할 수 있습니다. 여기서 u =입니다. p = 1, 가능해요

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!

즉, x의 값은 u와 같은 방향으로 인코딩되며 이 속성은 훈련 후에도 유지될 수 있습니다.

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!

이 정규화 특성은 xVal의 동적 범위가 사전 학습 처리 단계로 실험에서 [-5, 5]로 설정된 다른 텍스트 기반 인코딩 방식보다 작다는 것을 의미합니다.

수치 추론

xVal은 입력 값에 연속 임베딩을 정의하지만, 다중 분류 작업이 출력으로 사용되고 훈련 알고리즘이 입력 값에서 출력 값으로의 매핑을 고려하는 경우 모델은 전체적으로 end-to-end가 연속적이지 않으며 출력 레이어에서 숫자를 별도로 처리해야 합니다.

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!

Transformer 언어 모델의 표준 관행에 따라 연구원들은 어휘 토큰의 확률 분포를 출력하기 위해 토큰 헤드를 정의했습니다.

xVal은 숫자를 대체하기 위해 [NUM]을 사용하기 때문에 헤드는 숫자 값에 대한 정보를 전달하지 않으므로 스칼라 출력이 있는 새로운 숫자 헤드를 도입하고 MSE(평균 제곱 오차) 손실을 통해 훈련해야 합니다. [NUM]과 연관된 특정 숫자 값을 복원합니다.

입력을 받은 후 먼저 토큰 헤드의 출력을 관찰합니다. 생성된 토큰이 [NUM]이면 숫자 헤드를 보고 토큰 값을 채웁니다.

실험에서 Transformer 모델은 값을 추론할 때 end-to-end 연속형이므로 보이지 않는 값을 보간할 때 성능이 더 좋습니다.

실험 부분

다른 디지털 인코딩 방법과의 비교

연구원들은 XVAL의 성능을 다른 4가지 디지털 인코딩과 비교했는데, 이 경우 모두 먼저 숫자를 ±ddd E±d 형식으로 처리해야 합니다. , 형식에 따라 단일 또는 다중 토큰을 호출하여 인코딩을 결정합니다.

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!

방법에 따라 각 숫자를 인코딩하는 데 필요한 토큰 수와 어휘 수에 큰 차이가 있지만 전체적으로 xVal이 가장 높은 코딩 효율성과 가장 작은 어휘 크기를 갖습니다.

연구원들은 또한 합성 산술 연산 데이터, 지구 온도 데이터, 행성 궤도 시뮬레이션 데이터를 포함한 세 가지 데이터 세트에 대해 xVal을 평가했습니다.

산술 학습

가장 큰 LLM의 경우에도 "여러 자리 곱셈"은 여전히 매우 어려운 작업입니다. 예를 들어 GPT-4는 59%의 제로샷 정확도만 달성합니다. -숫자 및 다섯 자리 곱셈 문제는 4%와 0%에 불과합니다

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!

비교 실험에 따르면 다른 디지털 인코딩도 일반적으로 여러 자리 곱셈 문제를 잘 해결하지만 예측 결과는 다릅니다. xVal은 P10 및 FP15보다 더 안정적이며 비정상적인 예측 값을 생성하지 않습니다.

작업의 난이도를 높이기 위해 연구원들은 무작위 이진 트리를 사용하여 고정된 수의 피연산자(2, 3 또는 4)를 결합하는 덧셈, 뺄셈 및 곱셈의 이진 연산자를 사용하여 데이터 세트를 구성했습니다. 각 샘플은 산술 표현식입니다. 예를 들어 ((1.32 * 32.1) + (1.42-8.20)) = 35.592

그런 다음 각 숫자 인코딩 체계의 처리 요구 사항에 따라 샘플을 처리하고 작업 목표는 다음과 같습니다. 방정식의 왼쪽을 계산하려면 의 표현식, 즉 방정식의 오른쪽이 마스크입니다.

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!

결과로 볼 때 xVal은 이 작업에서 매우 잘 수행되었지만 산술 연산의 샘플은 일반적으로 짧은 시퀀스이고 기본 데이터 다양체가 낮기 때문에 산술 실험만으로는 언어 모델의 수학적 기능을 완전히 평가하기에는 충분하지 않습니다. -차원. 이러한 문제는 LLM의 계산 병목 현상을 해결하지 못하며 실제 응용 프로그램은 더 복잡합니다.

온도 예측

연구원들은 평가를 위해 ERA5 지구 기후 데이터 세트의 하위 집합을 사용했으며 실험에서는 표면 온도 데이터(ERA5의 T2m)에만 중점을 두었습니다. 그런 다음 샘플을 분할하여 각 샘플에 2~4일간의 표면 온도 데이터(단위 분산을 갖도록 정규화됨)와 무작위로 선택된 60~90개의 보고 관측소의 위도 및 경도가 포함됩니다.

위도의 사인과 좌표의 경도의 사인과 코사인을 인코딩하여 데이터의 주기성을 유지한 다음 동일한 연산을 사용하여 24시간 및 365일 기간의 위치를 인코딩합니다. .

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!

좌표(coords), 시작점(start) 및 데이터(data)는 보고 스테이션 좌표, 첫 번째 샘플 시간 및 정규화된 온도 데이터에 해당하며 MLM 방법을 사용하여 훈련합니다. 언어 모델.

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!

결과적으로 xVal이 가장 좋은 성능을 보였으며, 계산 시간도 대폭 단축되었습니다.

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!

이 작업은 또한 텍스트 기반 인코딩 체계의 단점을 보여줍니다. 모델은 데이터의 허위 상관 관계를 활용할 수 있습니다. 즉, P10, P1000 및 B1999는 정규화된 온도 ±0.1을 예측하는 경향이 있습니다. 주로 이 숫자 때문입니다. 데이터 세트에서 가장 자주 나타납니다.

1개의 토큰으로 LLM 디지털 코딩 문제가 끝납니다! 9개 주요 기관이 공동 출시한 xVal: 훈련 세트에 포함되지 않은 숫자도 예측 가능!