'알파카'를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.-일체 포함-php.cn

라마2 모델의 알파카 털을 자르면 어떤 효과가 있을까요? 오늘 프린스턴 대학의 Chen Danqi 팀은 적은 계산과 비용으로 같은 크기의 모델보다 더 나은 성능을 얻을 수 있는 LLM-Shearing이라는 대형 모델 가지치기 방법을 제안했습니다.

대형 언어 모델(LLM)이 등장한 이후 다양한 자연어 작업에서 놀라운 결과를 얻었습니다. 그러나 대규모 언어 모델을 훈련하려면 막대한 컴퓨팅 리소스가 필요합니다. 결과적으로, 효율적인 추론과 미세 조정을 가능하게 하는 LLaMA, MPT 및 Falcon의 등장으로 업계에서는 동등하게 강력한 중간 규모 모델을 구축하는 데 점점 더 관심을 기울이고 있습니다.

이러한 다양한 크기의 LLM은 다양한 사용 사례에 적합하지만 각 개별 모델을 처음부터 훈련하려면(10억 개의 매개변수가 있는 작은 모델이라도) 여전히 많은 컴퓨팅 리소스가 필요하며 이는 대부분의 과학 연구에서 여전히 어렵습니다. 기관은 큰 부담이다.

그래서 이 논문에서 Princeton University의 Chen Danqi 팀은 다음 문제를 해결하려고 시도합니다. 기존의 사전 훈련된 LLM을 사용하여 처음부터 훈련하면서 더 작고 범용적이며 성능 경쟁력이 있는 LLM을 구축할 수 있습니까? 훨씬 적은 계산이 필요합니까?

연구원들은 목표 달성을 위해 구조화된 가지치기 사용을 탐구합니다. 여기서 문제는 범용 LLM의 경우 정리된 모델의 성능 저하가 발생한다는 것입니다. 특히 정리 후 상당한 계산 투자가 없는 경우 더욱 그렇습니다. 그들이 사용한 효율적인 가지치기 방법은 더 작지만 여전히 성능 경쟁력이 있는 LLM을 개발하는 데 사용될 수 있으며 훈련에는 처음부터 훈련하는 것보다 훨씬 적은 계산 노력이 필요합니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

문서 주소: https://arxiv.org/abs/2310.06694
코드 주소: https://github.com/princeton-nlp/LLM-Shearing
ModelsSheared-LLaMA -1.3B, Sheared-LLaMA-2.7B

연구원들은 LLM을 제거하기 전에 두 가지 주요 기술적 과제를 식별했습니다. 하나는 강력한 성능과 효율적인 추론을 통해 최종 가지치기 구조를 결정하는 방법입니다. LLM의 현재 구조화된 가지치기 기술에는 지정된 대상 구조가 없으므로 가지치기된 모델의 성능과 추론 속도가 만족스럽지 않습니다. 둘째, 예상되는 성능을 달성하기 위해 가지치기된 모델을 계속 사전 훈련하는 방법은 무엇입니까? 그들은 원시 사전 훈련 데이터를 사용한 훈련이 모델을 처음부터 훈련하는 것과 비교하여 도메인 전반에 걸쳐 서로 다른 손실 감소를 가져오는 것을 관찰했습니다.

이 두 가지 문제를 해결하기 위해 연구원들은 "LLM - 전단" 알고리즘을 제안했습니다. "지향적 구조화 가지치기"라고 불리는 이 새로운 가지치기 알고리즘은 기존 사전 훈련된 모델의 구성에 따라 결정되는 지정된 대상 아키텍처로 소스 모델을 가지치기합니다. 그들은 가지치기 방법이 소스 모델에서 하위 구조를 검색하고 자원 제약 하에서 성능을 최대화한다는 것을 보여줍니다. 또한 손실 감소율에 따라 각 도메인의 훈련 데이터를 비례적으로 로드할 수 있는 동적 배치 로딩 알고리즘을 설계하여 데이터를 효율적으로 활용하고 전반적인 성능 향상을 가속화합니다.

마지막으로 연구원은 LLaMA2-7B 모델을 두 개의 작은 LLM, 즉 Sheared-LLaMA-1.3B와 Sheared-LLaMA-2.7B로 잘라내어 방법의 효율성을 확인했습니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

가지치기 및 지속적인 사전 훈련에는 500억 개의 토큰(즉, OpenLLaMA 사전 훈련 예산의 5%)만 사용했지만 11가지 대표적인 다운스트림 작업(예: 일반 지식, 독해 및 세계 지식)과 open 수식 생성 명령을 조정하더라도 이 두 모델의 성능은 Pythia, INCITE 및 OpenLLaMA를 포함하여 동일한 크기의 다른 인기 있는 LLM보다 여전히 뛰어납니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

하지만 이 논문이 Sheared-LLaMA-3B를 발표했을 때 가장 강력한 3B 오픈 소스 모델의 기록이 StableLM-3B에 의해 깨졌다는 점을 언급해야 합니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

또한, 다운스트림 작업 성능 궤적은 정리된 모델을 추가로 교육하기 위해 더 많은 토큰을 사용하면 더 큰 이점을 가져올 수 있음을 나타냅니다. 연구원들은 최대 70억 개의 매개변수까지만 모델을 실험했지만 LLM 전단은 매우 일반적이며 향후 작업에서 모든 규모의 대규모 언어 모델로 확장될 수 있습니다.

방법 소개

기존 대형 모델 M_S(소스 모델)를 고려하여 더 작고 강한 모델 M_T(대상 모델)를 효과적으로 생성하는 방법을 연구하는 것이 이 글의 목표입니다. 연구에서는 이를 완료하려면 두 단계가 필요하다고 생각합니다.

첫 번째 단계에서는 M_S를 M_T로 정리합니다. 이렇게 하면 매개변수 수가 줄어들지만 필연적으로 성능 저하가 발생합니다.
두 번째 단계는 지속적으로 사전 학습됩니다. M_T는 성능을 더욱 강하게 만듭니다.

구조적 가지치기

구조적 가지치기는 모델의 많은 매개변수를 제거할 수 있어 모델을 압축하고 추론을 가속화하는 효과를 얻을 수 있습니다. 그러나 기존의 구조화된 가지치기 방법으로 인해 모델이 기존 아키텍처의 구성에서 벗어날 수 있습니다. 예를 들어 CoFiPruning 방법은 균일하지 않은 레이어 구성으로 모델을 생성하므로 표준 통합 레이어 구성에 비해 추가 추론 오버헤드가 발생합니다.

이 기사는 CoFiPruning을 확장하여 소스 모델을 지정된 대상 구성으로 정리할 수 있도록 합니다. 예를 들어 이 기사에서는 2.7B 모델을 생성할 때 INCITE-Base-3B 아키텍처를 대상 구조로 사용합니다.

또한 이 기사에서는 다양한 세분성의 모델 매개변수에 대한 일련의 가지치기 마스크(가지치기 마스크)를 학습합니다. 마스크 변수는 다음과 같습니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

각 마스크 변수는 가지치기 또는 관련 하위 구조를 제어합니다. 보존됩니다. 예를 들어 해당 z^layer= 0인 경우 이 레이어를 삭제해야 합니다. 아래 그림 2는 가지치기 마스크가 어떤 구조를 잘라낼지 제어하는 방법을 보여줍니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

가지치기 후에는 각 하위 구조의 마스크 변수와 관련된 최고 점수 구성 요소를 유지하여 가지치기된 아키텍처를 마무리하고 언어 모델링 목표를 사용하여 가지치기된 모델을 계속해서 사전 가지치기합니다.

동적 배치 로딩

이 연구는 모델 성능을 복원하기 위해서는 정리된 모델의 광범위한 사전 학습이 필요하다고 믿습니다.

다른 연구에서 영감을 받아 본 논문에서는 모델 성능에 따라 도메인 규모를 동적으로 간단히 조정할 수 있는 보다 효율적인 알고리즘인 동적 배치 로딩을 제안합니다. 알고리즘은 다음과 같습니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

실험 및 결과

모델 구성: 이 기사에서는 LLaMA2-7B 모델을 소스 모델로 사용한 후 구조화된 가지치기 실험을 LLaMA2-7B로 압축했습니다. 두 개의 작은 목표 크기는 2.7B 및 1.3B 매개 변수이며 전단 모델의 성능은 OPT-1.3B, Pythia-1.4B, OPT-2.7B, Pythia-2.8을 포함한 동일한 크기의 모델과 비교됩니다. B, INCITE-베이스 -3B, OpenLLaMA-3B-v1, OpenLLaMA-3B-v2. 표 8에는 이러한 모든 모델에 대한 모델 아키텍처 세부 정보가 요약되어 있습니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

데이터: LLaMA2의 교육 데이터는 공개적으로 액세스할 수 없으므로 이 기사에서는 RedPajama 데이터 세트를 사용합니다. 표 1은 모델과 기준 모델에서 사용되는 사전 훈련 데이터를 제공합니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

교육: 연구원들은 모든 실험에서 최대 16개의 Nvidia A100 GPU(80GB)를 사용했습니다.

SHEARED-LLAMA는 비슷한 크기의 LM보다 성능이 뛰어납니다.

이 문서에서는 Sheared-LLaMA가 비슷한 크기의 기존 LLM보다 훨씬 더 성능이 뛰어나며 이러한 모델을 처음부터 훈련하는 데 계산 예산의 일부만 사용한다는 것을 보여줍니다.

다운스트림 작업: 표 2는 다운스트림 작업에서 Sheared-LLaMA와 비슷한 크기의 기존 사전 훈련된 모델의 제로샷 및 소수샷 성능을 보여줍니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

명령 조정: 그림 3에 표시된 것처럼 명령 조정된 Sheared-LLaMA는 동일한 규모의 다른 모든 사전 훈련된 모델에 비해 더 높은 승률을 달성합니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

그림 4는 INCITEBase-3B 모델이 훨씬 더 높은 정확도로 시작하지만 진행 중인 사전 훈련 과정에서 성능 수준이 떨어지는 것을 보여줍니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

Analytics

마지막으로 연구원은 이 방법의 장점을 분석했습니다.

동적 배치 로딩의 효율성

이 중 연구자들은 동적 배치 로딩의 효율성을 다음 세 가지 측면에서 분석합니다. (1) 도메인 간 최종 LM 손실, (2) 데이터 사용량 훈련 과정 전반에 걸쳐 각 도메인, (3) 다운스트림 작업 성능. 결과는 Sheared-LaMA-1.3B 알고리즘을 기반으로 합니다.

도메인 간 손실 차이. 동적 배치 로딩의 목적은 손실이 거의 동시에 기준 값에 도달하도록 각 도메인의 손실 감소율의 균형을 맞추는 것입니다. 모델 손실(원래 배치 로딩과 동적 배치 로딩)과 참조 손실의 차이는 그림 5에 표시되어 있습니다. 반면 동적 배치 로딩은 손실을 고르게 줄이고 도메인 간 손실 차이도 매우 유사하여 다음을 알 수 있습니다. 데이터를 보다 효율적으로 사용합니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

데이터 사용량. 표 3은 RedPajama의 원시 데이터 비율과 동적으로 로드된 도메인 데이터 사용량을 비교합니다(그림 7은 훈련 프로세스 전반에 걸쳐 도메인 가중치의 변화를 보여줍니다). 동적 대량 로드는 다른 도메인에 비해 Book 및 C4 도메인의 가중치를 증가시키며, 이는 이러한 도메인이 정리된 모델에서 복구하기가 더 어렵다는 것을 나타냅니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.

다운스트림 성능. 그림 6에서 볼 수 있듯이 동적 배치 로딩을 사용하여 훈련된 가지치기 모델은 원래 RedPajama 분포에서 훈련된 모델에 비해 더 나은 다운스트림 성능을 달성했습니다. 이는 동적 배치 로딩으로 인한 보다 균형 잡힌 손실 감소가 다운스트림 성능을 향상시킬 수 있음을 시사합니다.

알파카를 단계별로 자르는 방법을 가르치고 Chen Danqi 팀은 LLM-Shearing 대형 모델 가지치기 방법을 제안했습니다.