Tian Yuandong 팀의 새로운 연구: <1000단계 미세 조정, LLaMA 컨텍스트를 32K로 확장

모든 사람이 계속해서 자신의 대형 모델을 업그레이드하고 반복함에 따라 LLM(Large Language Model)의 컨텍스트 창 처리 능력도 중요한 평가 지표가 되었습니다.

예를 들어 OpenAI의 gpt-3.5-turbo는 16,000개 토큰의 컨텍스트 창 옵션을 제공하고 AnthropicAI는 Claude의 토큰 처리 능력을 100,000개로 늘렸습니다. 예를 들어 GPT-4는 50페이지의 텍스트에 해당하는 32k 토큰을 지원합니다. 이는 GPT-4가 대화하거나 생성할 때 최대 약 50페이지의 콘텐츠를 기억할 수 있음을 의미합니다. 텍스트.

일반적으로 말해서, 컨텍스트 창 크기를 처리하는 대형 언어 모델의 능력은 미리 결정되어 있습니다. 예를 들어 Meta AI가 출시한 LLaMA 모델의 경우 입력 토큰 크기는 2048보다 작아야 합니다.

그러나 긴 대화를 진행하거나 긴 문서를 요약하거나 장기 계획을 실행하는 등의 응용 프로그램에서는 미리 설정된 컨텍스트 창 제한을 초과하는 경우가 많기 때문에 더 긴 컨텍스트 창을 처리할 수 있는 LLM이 더 인기가 있습니다.

그러나 이는 새로운 문제에 직면합니다. 처음부터 긴 컨텍스트 창을 사용하여 LLM을 교육하려면 많은 투자가 필요합니다. 이는 자연스럽게 다음과 같은 질문으로 이어집니다. 기존 사전 학습된 LLM의 컨텍스트 창을 확장할 수 있습니까?

간단한 접근 방식은 기존의 사전 훈련된 Transformer를 미세 조정하여 더 긴 컨텍스트 창을 얻는 것입니다. 그러나 경험적 결과에 따르면 이러한 방식으로 훈련된 모델은 긴 컨텍스트 창에 매우 느리게 적응하는 것으로 나타났습니다. 10,000개의 배치 훈련 후에 효과적인 컨텍스트 창의 증가는 2048에서 2560까지만 여전히 매우 작습니다(실험 섹션의 표 4에서 볼 수 있듯이). 이는 이 접근 방식이 더 긴 컨텍스트 창으로 확장하는 데 비효율적임을 나타냅니다.

이 기사에서 Meta의 연구원들은 사전 훈련된 일부 기존 LLM(LLaMA 포함)의 컨텍스트 창을 확장하기 위해 PI(위치 보간)을 도입했습니다. 결과는 LLaMA 컨텍스트 창의 크기가 1000단계 미만의 미세 조정을 통해 2k에서 32k로 확장된다는 것을 보여줍니다.

Pictures

논문 주소: https://arxiv.org/pdf/2306.15595.pdf

이 연구의 핵심 아이디어는 외삽을 수행하는 것이 아니라 위치를 직접적으로 줄이는 것입니다. index, 최대 위치 인덱스가 사전 훈련 단계의 컨텍스트 창 제한과 일치하도록 만듭니다. 즉, 본 연구에서는 더 많은 입력 토큰을 수용하기 위해 훈련된 위치 이상으로 외삽하는 대신 위치 인코딩이 정수가 아닌 위치에도 적용될 수 있다는 점을 활용하여 인접한 정수 위치에 위치 인코딩을 보간합니다. 후자는 재앙적인 가치로 이어질 수 있습니다.

PI 방법은 최소한의 미세 조정(1000단계 이내)으로 RoPE(Rotation Position Encoding) 기반 사전 학습된 LLM(예: LLaMA)의 컨텍스트 창 크기를 최대 32768까지 확장합니다. 검색, 언어 모델링 및 LLaMA 7B에서 65B까지의 긴 문서 요약을 포함하여 긴 컨텍스트가 필요한 다양한 작업에 적합합니다. 동시에 PI에 의해 확장된 모델은 원래 컨텍스트 창 내에서 상대적으로 좋은 품질을 유지합니다.

Method

RoPE는 우리에게 친숙한 LLaMA, ChatGLM-6B, PaLM과 같은 대규모 언어 모델에 존재하며 Zhuiyi Technology의 Su Jianlin 등이 제안한 방법입니다. 인코딩. 상대 위치 인코딩.

RoPE의 Attention 점수는 상대 위치에만 의존하지만 추정 성능은 좋지 않습니다. 특히 더 큰 컨텍스트 창으로 직접 확장할 때 당혹감은 매우 높은 숫자(예: > 10^3)로 급증할 수 있습니다.

이 글에서는 위치보간법을 사용하였으며, 외삽법과의 비교는 다음과 같습니다. 기본 함수 ф_j의 매끄러움으로 인해 보간이 더 안정적이고 이상값으로 이어지지 않습니다.

Picture

본 연구에서는 RoPE f를 f'로 대체하여 다음 식을 얻었습니다

Picture

본 연구에서는 위치 인코딩 위치 보간에 대한 변환을 호출합니다. 이 단계에서는 RoPE를 계산하기 전 원래 인덱스 범위와 일치하도록 위치 인덱스를 [0, L')에서 [0, L)로 줄입니다. 따라서 RoPE에 대한 입력으로 두 토큰 사이의 최대 상대 거리가 L'에서 L로 감소되었습니다. 확장 전후의 위치 인덱스 범위와 상대 거리를 정렬함으로써 컨텍스트 창 확장으로 인한 주의 점수 계산에 대한 영향이 완화되어 모델을 더 쉽게 적응할 수 있습니다.

재조정 위치 인덱스 방법은 추가 가중치를 도입하지 않으며 어떤 방식으로든 모델 아키텍처를 수정하지 않는다는 점에 주목할 가치가 있습니다.

실험

이 연구는 위치 보간이 컨텍스트 창을 원래 크기의 32배까지 효과적으로 확장할 수 있으며 이 확장이 단 몇 백 번의 훈련 단계만으로 완료될 수 있음을 보여줍니다.

표 1과 표 2는 PG-19 및 Arxiv Math Proof-pile 데이터 세트에 대한 PI 모델과 기준 모델의 복잡성을 보고합니다. 결과는 PI 방법을 사용하여 확장된 모델이 더 긴 컨텍스트 창 크기에서 복잡성을 크게 개선한다는 것을 보여줍니다.

표 3은 PG19 데이터 세트에서 PI 방법을 사용하여 LLaMA 7B 모델을 8192 및 16384 컨텍스트 창 크기로 확장할 때 복잡성과 미세 조정 단계 수 사이의 관계를 보고합니다.

미세 조정 없이(단계 수는 0) 모델이 특정 언어 모델링 기능을 보여줄 수 있다는 결과를 볼 수 있습니다. 예를 들어 컨텍스트 창을 8192로 확장하면 당혹감이 줄어듭니다. 20보다 크다(아래와 비교하면 직접외삽법의 난해성은 10^3보다 크다). 200단계에서 모델의 복잡도는 컨텍스트 창 크기 2048에서 원래 모델의 복잡도를 초과합니다. 이는 모델이 사전 훈련된 설정보다 언어 모델링을 위해 더 긴 시퀀스를 효과적으로 활용할 수 있음을 나타냅니다. 모델의 꾸준한 개선은 1000단계에서 볼 수 있으며 더 나은 난해함도 달성됩니다.

Pictures

아래 표는 PI에 의해 확장된 모델이 유효 컨텍스트 창 크기 측면에서 확장 목표를 성공적으로 달성했음을 보여줍니다. 즉, 단 200단계의 미세 조정 후에 유효 컨텍스트 창 크기가 최대값에 도달하고 7B 및 33B 모델 크기와 최대 32768 컨텍스트 창에서 일관됩니다. 대조적으로, 직접 미세 조정에 의해서만 확장된 LLaMA 모델의 유효 컨텍스트 창 크기는 2048에서 2560으로만 증가했으며, 10000단계 이상의 미세 조정 후에도 상당한 가속 창 크기 증가의 징후는 없었습니다.

Pictures

표 5는 8192로 확장된 모델이 7B 및 33B 모델 크기에 대해 더 작은 컨텍스트 창을 위해 설계된 원래 기준 작업에 대해 비슷한 결과를 생성한다는 것을 보여줍니다. 최대 2%.

Pictures

표 6은 16384 컨텍스트 창이 있는 PI 모델이 긴 텍스트 요약 작업을 효과적으로 처리할 수 있음을 보여줍니다.

사진

위 내용은 Tian Yuandong 팀의 새로운 연구: <1000단계 미세 조정, LLaMA 컨텍스트를 32K로 확장의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!