대형 모델을 90% '슬림'하게 만드세요! 칭화대학교와 하얼빈 공과대학은 용량의 83%를 유지하면서 1비트 양자화라는 극단적인 압축 솔루션을 제안했습니다.-일체 포함-php.cn

대형 모델에 대한

정량화, 가지치기 및 기타 압축 작업은 배포의 가장 일반적인 부분입니다.

그런데 이 한계는 얼마나 큰가요?

청화대학교와 하얼빈 공과대학의 공동 연구에서 답이 나왔습니다:

90%.

그들은 대형 모델 1비트 극한 압축 프레임워크 OneBit를 제안했습니다. 이 프레임워크는 처음으로 90%를 초과하는 대형 모델 중량 압축을 달성하고 대부분의 (83%) 기능을 유지했습니다.

놀이는 '원하고 원함'이라고 할 수 있죠~

대형 모델을 90% 슬림하게 만드세요! 칭화대학교와 하얼빈 공과대학은 용량의 83%를 유지하면서 1비트 양자화라는 극단적인 압축 솔루션을 제안했습니다.

한번 살펴보겠습니다.

대형 모델을 위한 1비트 양자화 방법이 등장합니다

가지치기 및 양자화부터 지식 증류 및 낮은 순위 가중치 분해에 이르기까지 대형 모델은 이미 거의 손실 없이 가중치의 4분의 1을 압축할 수 있습니다.

가중치 양자화는 일반적으로 대규모 모델의 매개변수를 낮은 비트 폭 표현으로 변환합니다. 이는 완전히 훈련된 모델을 변환(PTQ)하거나 훈련 중에 양자화 단계를 도입(QAT)하여 달성할 수 있습니다. 이 접근 방식은 모델의 계산 및 저장 요구 사항을 줄여 모델 효율성과 성능을 향상시키는 데 도움이 됩니다. 가중치를 양자화하면 모델의 크기가 크게 줄어들 수 있어 리소스가 제한된 환경에 배포하는 데 더 적합할 뿐만 아니라

그러나 기존 양자화 방법은 주로 다음과 같은 이유로 인해 3비트 미만의 심각한 성능 손실에 직면합니다. 기존의 매개변수 낮은 비트 폭 표현 방식은 1비트에서 정확도 손실이 심각합니다. Round-To-Nearest 방식에 따른 매개변수를 1비트로 표현하면 변환된 스케일링 계수 s와 영점 z는 실제적인 의미를 잃게 됩니다.

1비트 초저 비트폭 양자화의 장애물을 극복하기 위해 저자는 새로운 1비트 모델 프레임워크인 OneBit을 제안합니다. 여기에는 새로운 1비트 선형 계층 구조, SVID 기반 매개변수 초기화 방법이 포함됩니다. 양자화 인식 지식 증류를 기반으로 한 심층 전이 학습.

이 새로운 1비트 모델 양자화 방법은 거대한 압축 범위, 매우 낮은 공간 점유 및 제한된 컴퓨팅 비용으로 원래 모델의 기능을 대부분 유지할 수 있습니다. 이는 PC는 물론 스마트폰에도 대형 모델을 탑재하는 데 있어서 큰 의미를 갖는다.

전체 프레임워크

OneBit 프레임워크에는 일반적으로 새로 설계된 1비트 모델 구조, 원본 모델을 기반으로 정량화된 모델 매개변수를 초기화하는 방법, 지식 증류를 기반으로 한 심층적인 기능 마이그레이션이 포함될 수 있습니다.

새롭게 설계된 이 1비트 모델 구조는 이전 양자화 작업에서 1비트 양자화에서 심각한 정확도 손실 문제를 효과적으로 극복할 수 있으며 학습 및 마이그레이션 중에 탁월한 안정성을 보여줍니다.

정량적 모델의 초기화 방법은 지식 증류를 위한 더 나은 출발점을 설정하고, 융합을 가속화하며, 더 나은 기능 이전 효과를 달성할 수 있습니다.

1. 1비트 모델 구조

1bit에서는 각 가중치 값이 1비트로만 표현될 수 있으므로 최대 2가지 상태만 가능합니다.

저자는 이 두 가지 상태로 ±1을 선택했는데, 디지털 시스템에서 두 개의 기호를 나타내고, 보다 완전한 기능을 가지며, Sign(·) 함수를 통해 쉽게 얻을 수 있다는 장점이 있습니다.

저자의 1비트 모델 구조는 FP16 모델의 모든 선형 레이어(임베딩 레이어 및 lm_head 제외)를 1비트 선형 레이어로 대체하여 달성됩니다.

Sign(·) 함수를 통해 얻은 1비트 가중치 외에도 여기의 1비트 선형 레이어에는 FP16 정밀도의 값 벡터라는 두 가지 주요 구성 요소도 포함되어 있습니다.

ΔFP16 선형 레이어와 OneBit 선형 레이어 비교

이 디자인은 원래 가중치 행렬의 높은 순위를 유지할 뿐만 아니라 값 벡터를 통해 필요한 부동 소수점 정밀도를 제공하며 이는 안정성을 보장하는 데 중요합니다. 그리고 질 높은 학습을 진행하는 과정은 매우 의미가 깊습니다.

위 그림에서 볼 수 있듯이 FP16 형식에서는 값 벡터 g와 h만 남고, 가중치 행렬은 모두 ±1로 구성되어 있습니다.

저자는 예제를 통해 OneBit의 압축 기능을 살펴볼 수 있습니다.

4096

4096 FP16 선형 레이어를 압축한다고 가정하면 OneBit에는 4096

4096 1비트 행렬과 2개의 4096*1 FP16 값 벡터가 필요합니다.

총 비트 수는 16,908,288, 총 매개 변수 수는 16,785,408이며, 각 매개 변수는 평균적으로 약 1.0073비트만 차지합니다.

이러한 압축 범위는 전례가 없으며 진정한 1비트 LLM이라고 할 수 있습니다.

2. 매개변수 초기화 및 전이 학습

완전히 훈련된 원본 모델을 사용하여 양자화된 모델을 더 잘 초기화하기 위해 저자는 "값-부호 독립 행렬" 분해(SVID)라는 새로운 매개변수 행렬 분해 방법을 제안합니다. ".

이 행렬 분해 방법은 기호와 절대값을 분리하고 절대값에 대해 순위 1 근사를 수행합니다. 원래 행렬 매개변수를 근사하는 방법은 다음과 같이 표현할 수 있습니다.

Rank-1 근사는 특이값 분해(SVD) 및 비음 행렬 분해(NMF)와 같은 일반적인 행렬 분해 방법을 통해 달성할 수 있습니다.

저자는 이 SVID 방법이 연산 순서를 교환하여 1비트 모델 프레임워크와 일치하여 매개변수 초기화를 달성할 수 있음을 수학적으로 보여줍니다.

또한 분해 과정에서 기호 행렬이 원래 행렬을 근사화하는 데 기여하는 것도 입증되었습니다. 자세한 내용은 논문을 참조하세요.

저자는 대형 모델의 초저비트폭 양자화를 해결하는 효과적인 방법이 양자화 인식 교육 QAT일 수 있다고 믿습니다.

따라서 SVID는 정량적 모델의 매개변수 시작점을 제공한 후 원래 모델을 교사 모델로 사용하고 지식 증류를 통해 학습합니다.

구체적으로 학생 모델은 주로 교사 모델의 로짓과 은닉 상태로부터 지침을 받습니다.

훈련 중에 값 벡터와 매개변수 행렬의 값이 업데이트되고 배포 중에 양자화된 1비트 매개변수 행렬을 계산에 직접 사용할 수 있습니다.

모델이 클수록 효과가 더 좋습니다

저자가 선택한 기준선은 FP16 Transformer, GPTQ, LLM-QAT 및 OmniQuant입니다.

마지막 3개는 모두 정량화 분야의 고전적인 강력한 기준선이며, 특히 저자 이후 가장 강력한 2비트 양자화 방법인 OmniQuant입니다.

현재 1비트 가중치 양자화에 대한 연구가 없기 때문에 저자는 OneBit 프레임워크에서는 1비트 가중치 양자화만 사용하고, 다른 방법에서는 2비트 양자화 설정을 채택합니다.

증류 데이터의 경우 저자는 LLM-QAT를 따르고 교사 모델 자체 샘플링을 사용하여 데이터를 생성했습니다.

저자는 OneBit의 효율성을 입증하기 위해 1.3B부터 13B까지 다양한 크기의 모델과 OPT, LLaMA-1/2를 다양한 시리즈로 활용하고 있습니다. 평가 지표로는 검증 세트의 복잡성과 상식 추론의 제로샷 정확도를 사용합니다. 자세한 내용은 논문을 참조하세요.

위 표는 1비트 양자화에 있어 다른 방식과 비교하여 OneBit의 장점을 보여줍니다. 모델이 클수록 OneBit 효과가 더 좋아지는 경향이 있다는 점은 주목할 가치가 있습니다.

모델 크기가 커질수록 OneBit 정량 모델은 FP16 모델보다 난해함을 줄여줍니다.

다음은 여러 가지 소형 모델의 상식 추론, 세계 지식 및 공간 점유입니다.

저자는 또한 여러 가지 유형의 소형 모델의 크기와 실제 성능을 비교했습니다.

저자는 OneBit-7B가 평균 비트 폭이 가장 작고, 공간을 가장 적게 차지하고, 훈련 단계도 상대적으로 적지만, 상식 추론 능력 면에서는 다른 모델에 비해 열등하지 않다는 사실을 발견했습니다.

동시에 저자는 OneBit-7B 모델이 사회 과학 분야에서 심각한 지식 망각을 가지고 있음을 발견했습니다.

ΔFP16 선형 레이어와 OneBit 선형 레이어 비교 OneBit-7B 명령어 미세 조정 후 텍스트 생성 예

위 그림에도 OneBit-7B 명령어 미세 조정 후 텍스트 생성 예가 나와 있습니다. 7B 지시. OneBit-7B는 SFT 스테이지의 성능 향상을 효과적으로 활용하고 전체 매개변수가 1.3GB(FP16의 0.6B 모델과 비교)에 불과하지만 상대적으로 원활하게 텍스트를 생성할 수 있음을 알 수 있습니다. 전반적으로 OneBit-7B는 실용적인 응용 가치를 보여줍니다.

분석 및 토론

저자는 다양한 크기의 LLaMA 모델에 대한 OneBit의 압축률을 보여줍니다. OneBit의 모델에 대한 압축률은 놀라운 90%를 초과하는 것을 볼 수 있습니다.

특히 모델이 커질수록 OneBit의 압축률이 높아집니다.

이는 더 큰 모델에 대한 저자의 방법의 장점을 보여줍니다. 즉, 압축률이 높을수록 한계 이득(혼란성)이 더 커집니다. 더욱이, 저자의 접근 방식은 크기와 성능 사이에서 좋은 절충안을 달성합니다.
대형 모델을 90% 슬림하게 만드세요! 칭화대학교와 하얼빈 공과대학은 용량의 83%를 유지하면서 1비트 양자화라는 극단적인 압축 솔루션을 제안했습니다.

1비트 정량적 모델은 계산상의 이점을 가지며 매우 중요합니다. 매개변수의 순수 이진 표현은 많은 공간을 절약할 수 있을 뿐만 아니라 행렬 곱셈의 하드웨어 요구 사항도 줄여줍니다.

고정밀 모델에서 행렬 곱셈의 요소 곱셈은 효율적인 비트 연산으로 전환될 수 있습니다. 비트 할당과 추가만으로 행렬 제품을 완성할 수 있어 응용 가능성이 높습니다.

또한, 저자의 방식은 훈련 과정에서도 탁월하고 안정적인 학습 능력을 유지합니다.

사실 이진 네트워크 훈련의 불안정성 문제, 하이퍼파라미터에 대한 민감도, 수렴의 어려움은 연구자들이 항상 우려해 왔던 문제입니다.

저자는 모델의 안정적인 수렴을 촉진하는 데 있어 고정밀 값 벡터의 중요성을 분석합니다.

이전 작업에서는 1비트 모델 아키텍처를 제안하고 이를 사용하여 처음부터 모델을 훈련했지만(예: BitNet [1]) 하이퍼파라미터에 민감하고 완전히 훈련된 고정밀 모델에서 학습을 전달하기가 어렵습니다. 저자는 또한 지식 증류에서 BitNet의 성능을 시험해 본 결과 훈련이 충분히 안정적이지 않다는 것을 발견했습니다.