4비트 부동 소수점 양자화를 지원하는 최초의 LLM이 출시되어 LLaMA, BERT 등의 배포 문제를 해결합니다.

대형 언어 모델(LLM) 압축은 항상 많은 주목을 받아 왔으며, 훈련 후 양자화(Post-training Quantization)는 일반적으로 사용되는 알고리즘 중 하나입니다. 그러나 기존 PTQ 방법의 대부분은 정수 양자화이며, 비트 수가 8보다 작으면 양자화 후에 모델의 정확도가 많이 떨어집니다. 정수(INT) 양자화와 비교하여 부동 소수점(FP) 양자화는 롱테일 분포를 더 잘 나타낼 수 있으므로 점점 더 많은 하드웨어 플랫폼이 FP 양자화를 지원하기 시작했습니다. 이 문서에서는 대형 모델의 FP 정량화에 대한 솔루션을 제공합니다. EMNLP 2023에 게시된 기사입니다.

• 문서 주소: https://arxiv.org/abs/2310.16836
• 코드 주소: https://github.com/nbasyl/LLM-FP4

이 글을 이해하려면 먼저 부동 소수점 형식과 부동 소수점 양자화에 대한 기본 지식이 있어야 합니다. 먼저 부동 소수점 수는 다음 공식으로 표현할 수 있습니다.

s는 부호 비트를 나타냅니다. m은 가수 비트를 나타내고, e는 지수 비트를 나타냅니다. p는 0과 2^e - 1 사이의 값으로, 현재 숫자를 어떤 지수 간격으로 나누어야 하는지 나타내는 데 사용됩니다. d는 i번째 가수 비트를 나타내는 데 사용되는 0 또는 1의 값을 갖습니다. b는 지수 간격을 조정하는 데 사용되는 정수 값인 편향입니다.

다음 섹션에서는 부동 소수점 양자화가 어떻게 작동하는지 설명하겠습니다. 먼저, 입력값은 '스케일 및 클리핑'이라는 단계를 거쳐야 합니다. 이 단계에서는 먼저 입력 값을 부동 소수점 숫자가 나타낼 수 있는 최대 범위(±Qmax)로 자릅니다. 구체적인 계산 공식은 다음과 같습니다. 양자화는 또한 입력을 적절한 간격으로 스케일링하기 위해 완전 정밀도 스케일링 인자(스케일링 인자)를 추가합니다. 행렬 곱셈을 계산할 때, 스케일링 인자는 낮은 비트의 행렬 곱셈과 별도로 계산되므로 큰 오버헤드가 발생하지 않습니다. 이 완전 정밀도 배율 인수를 통합한 후 다양한 양자화된 텐서는 그에 따라 다양한 최대값 및 최소값 간격으로 잘릴 수 있습니다. 실제 사용에서는 입력 텐서의 값 범위에 따라 필요한 양자화 간격이 결정되며, 공식 (4)를 사용하여 해당 바이어스가 도출됩니다. 방정식 (4)의 편향은 실제 값에 대한 배율 인수로 사용될 수 있습니다. 방정식 (2)(3)을 참조하십시오.

부동소수점 양자화의 다음 단계는 결정된 양자화 간격의 값을 해당 양자화 간격에 할당하는 것입니다. 이 프로세스를 비교 및 ​​양자화라고 합니다.

위 그림은 직관적으로 설명합니다. 양자화 과정에서는 현재 입력값을 수학식 5와 비교하여 서로 다른 양자화 간격으로 양자화한다.

양자화된 활성화 및 가중치를 얻은 후 위에서 언급한 대로 여기의 배율 인수가 먼저 계산되고 다음과 같은 효율적인 행렬 곱셈이 달성되어 행렬 곱셈의 가속이 완료됩니다.

그런 다음 기사에서는 FP 양자화의 정확성이 지수 비트 설정 및 양자화 간격과 밀접한 관련이 있다고 지적합니다.

이전 논문에서는 서로 다른 FP 형식(예: 부동 소수점 숫자의 지수 비트/가수 비트 설정) 간의 양자화 오류에 큰 차이가 있음이 확인되었습니다. 적합한 FP 형식을 선택한 경우에만 FP 양자화가 INT 양자화보다 롱테일 분포를 더 잘 나타낼 수 있습니다

이 기사에서는 검색 기반 부동 소수점 양자화 알고리즘을 사용하여 부동 소수점 수의 가장 적합한 지수 비트 및 가수 비트 설정과 해당 양자화 간격

을 포괄적인 검색 방식으로 결정하는 솔루션을 제안합니다. 또한 다양한 유형의 Transformer 모델(Bert, LLaMA, ViT)에는 정량화의 어려움에 심각한 영향을 미치는 또 다른 현상이 있습니다. 즉, 모델 활성화 시 서로 다른 채널 간의 크기 차이가 매우 큽니다. 동일한 채널의 크기 순서는 매우 일관됩니다. 이전 연구인 LLM.int8과 SmoothQuant에서도 유사한 현상이 발견되었는데, 이 기사에서는 이 현상이 LLM에만 존재하는 것이 아니라 다른 Transformer 모델(아래 그림 참조, LLaMA, BERT 및 DeIT-S)에서도 유사한 활성화 분포를 발견했음을 지적합니다.

그림에서 볼 수 있듯이 비정상적으로 큰 채널은 나머지 채널보다 훨씬 크기 때문에 활성화 텐서를 정량화하는 과정에서 양자화 정확도는 이러한 이상값에 의해 크게 결정됩니다. 다른 채널 값의 양자화 간격을 억제하여 궁극적으로 양자화 정확도에 대한 전반적인 영향을 줄입니다. 이로 인해 특히 비트 수가 특정 수준으로 떨어질 때 양자화의 최종 결과가 붕괴됩니다. 아래 그림과 같이 효율적인 행렬 곱셈 중에 텐서별 양자화와 토큰별 양자화만 스케일링 인자를 추출할 수 있는 반면, 채널별 양자화는 효율적인 행렬 곱셈을 지원하지 않는다는 점에 주목할 필요가 있습니다.

문제를 해결하는 동시에 효율적인 행렬 곱셈을 유지하기 위해 이 글에서는 소량의 보정 데이터 세트를 사용하여 활성화된 각 채널의 최대값을 미리 계산하고 스케일링을 계산합니다. 요인. 그런 다음 스케일링 인수는 각 텐서의 실수에 각 채널에 대한 2의 거듭제곱을 곱한 값으로 분할됩니다. 이 2의 거듭제곱은 FP의 지수편차로 표현될 수 있습니다. 전체 과정은 다음 공식으로 표현할 수 있습니다.

또한 보정이 완료된 후에는 채널별 지수 편향이 더 이상 변하지 않으므로 가중치 양자화와 함께 미리 계산할 수 있습니다. , 이 채널별 지수 바이어스를 양자화된 가중치에 통합하여 양자화 정확도를 향상시킵니다. 전체 과정은 다음과 같습니다.

사전 오프셋 이후에는 원래 활성화 함수에서 각 채널의 완전 정밀도 오프셋 위치가 텐서 기반 실제 스케일링 인자가 되는 것을 관찰할 수 있으며, 동시에 분해된 정수 편향은 가중치의 원래 정수 편향 위치로 이동합니다. 자세한 내용은 공식 4

를 참조하세요. 따라서 이 방법(사전 이동 지수 편향)은 더 나은 결과를 얻을 수 있습니다. 효율적인 행렬 곱셈의 원리를 유지하여 양자화 정확도를 높이기 위해 방법의 직관적인 표시가 아래 그림에 나와 있습니다.

마지막으로 이 문서에서는 LLaMA에서 부동 소수점 양자화(FPQ) 방법을 보여줍니다. , BERT 및 ViTs 모델에서 4비트 양자화는 SOTA보다 훨씬 더 많은 결과를 얻었습니다. 특히, 이 기사에서는 4비트 양자화 LLaMA-13B 모델이 제로 샘플 추론 작업에서 평균 점수 63.1점을 달성했음을 보여줍니다. 이는 완전 정밀도 모델보다 5.8점만 낮고 이전 모델보다 평활화 양이 더 높습니다. SOTA 방법 12.7은 현재 알려진 몇 가지 실행 가능한 4비트 양자화 방식 중 하나입니다.

위 내용은 4비트 부동 소수점 양자화를 지원하는 최초의 LLM이 출시되어 LLaMA, BERT 등의 배포 문제를 해결합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!