익명의 논문이 놀라운 아이디어를 내놓았습니다! 이는 실제로 대형 모델의 긴 텍스트 기능을 향상시키기 위해 수행될 수 있습니다.

대형 모델의 긴 텍스트 기능을 개선할 때 길이 외삽이나 컨텍스트 창 확장을 생각하시나요?

아니요. 하드웨어 리소스를 너무 많이 소모합니다.

멋진 새 솔루션을 살펴보겠습니다.

은 길이 외삽과 같은 방법에서 사용되는 KV 캐시와 본질적으로 다릅니다. 모델의 매개변수를 사용하여 많은 양의 상황별 정보를 저장합니다. .

구체적인 방법은 임시 Lora 모듈을 구축하여 긴 텍스트 생성 프로세스 중에 "업데이트만 스트리밍"하도록 하는 것입니다. 즉, 이전에 생성된 콘텐츠를 입력으로 지속적으로 사용하여 훈련 데이터로 사용합니다. , 따라서 지식이 모델 매개변수에 저장되도록 합니다.

그런 다음 추론이 완료되면 추론을 버리고 모델 매개변수에 장기적인 영향이 없는지 확인하세요.

이 방법을 사용하면 컨텍스트 창을 확장하지 않고도 원하는 만큼 컨텍스트 정보를 저장할 수 있습니다. 원하는 만큼 저장하세요.

실험을 통해 다음 방법이 입증되었습니다.

• 모델의 긴 텍스트 작업 품질을 크게 향상시켜 복잡성을 29.6% 감소시키고 긴 텍스트 번역 품질을 53.2% 향상시킵니다 (BLUE 점수) ;
• 또한 대부분의 기존 긴 텍스트 생성 방법과 호환되고 향상됩니다.
• 가장 중요한 것은 컴퓨팅 비용을 크게 줄일 수 있다는 것입니다.

생성 품질을 약간 향상시키는 동시에(복잡도 3.8% 감소) 추론에 필요한 FLOP는 70.5%, 지연은 51.5% 감소합니다!

구체적인 상황에 대해서는 종이를 펼쳐서 살펴보겠습니다.

임시 Lora 모듈을 생성하고 사용 후 폐기합니다

방법은 Temp-Lora입니다. 아키텍처 다이어그램은 다음과 같습니다.

핵심은 이전에 생성된 텍스트를 점진적으로 사용하는 것입니다. 자동 회귀 방식으로 임시 Lora 모듈을 훈련합니다.

이 모듈은 적응력이 뛰어나고 지속적으로 조정될 수 있으므로 다양한 거리의 맥락을 깊이 이해할 수 있습니다.

구체적인 알고리즘은 다음과 같습니다.

생성 과정에서 토큰은 블록별로 생성됩니다. 블록이 생성될 때마다 최신 L_x토큰이 입력 X로 사용되어 후속 토큰을 생성합니다.

생성된 토큰 수가 미리 정의된 블록 크기 Δ에 도달하면 최신 블록을 사용하여 Temp-Lora 모듈 교육을 시작한 후 다음 블록 생성을 시작합니다.

실험에서 저자는 모델의 컨텍스트 창 크기를 최대한 활용하기 위해 Δ+L_x을 W로 설정했습니다.

Temp-Lora 모듈의 학습에 있어 아무런 조건 없이 새로운 블록을 생성하는 방법을 학습하는 것은 효과적인 학습 목표가 될 수 없으며 심각한 과적합으로 이어질 수 있습니다.

이 문제를 해결하기 위해 저자는 각 블록 앞에 L_T 태그를 학습 프로세스에 통합하여 이를 입력으로 사용하고 블록을 출력으로 사용합니다.

마지막으로 저자는 보다 효율적인 추론을 달성하기 위해 Cache Reuse(Cache Reuse)라는 전략도 제안합니다.

일반적으로 표준 프레임워크에서 Temp-Loramo 모듈을 업데이트한 후 업데이트된 매개변수로 KV 상태를 다시 계산해야 합니다.

또는 후속 텍스트 생성을 위해 업데이트된 모델을 사용하면서 기존 캐시된 KV 상태를 재사용할 수도 있습니다.

구체적으로, 모델이 최대 길이(컨텍스트 창 크기 W)를 생성하는 경우에만 최신 Temp-Lora 모듈을 사용하여 KV 상태를 다시 계산합니다.

이러한 캐시 재사용 방법은 생성 품질에 큰 영향을 주지 않고 생성 속도를 높일 수 있습니다.

템프-로라법에 대한 소개는 여기까지입니다. 아래 테스트를 주로 살펴보겠습니다.

텍스트가 길수록 효과가 더 좋습니다

저자는 Llama2-7B-4K, Llama2-13B-4K, Llama2-7B-32K 및 Yi-Chat-6B 모델에서 Temp-Lora 프레임워크를 평가하고 이 두 가지를 다루었습니다. 긴 텍스트 작업의 유형은 생성과 번역입니다.

테스트 데이터 세트는 긴 텍스트 언어 모델링 벤치마크 PG19의 하위 세트로, 이 중에서 40권의 책이 무작위로 선택되었습니다.

다른 하나는 WMT 2023의 Guofeng 데이터세트에서 무작위로 샘플링된 하위 집합으로, 전문가가 영어로 번역한 20개의 중국 온라인 소설이 포함되어 있습니다.

먼저 PG19 결과를 살펴보겠습니다.

아래 표는 Temp-Lora 모듈이 있거나 없는 PG19의 다양한 모델에 대한 PPL (주어진 입력에 대한 모델의 불확실성을 반영하는 혼란, 낮을수록 좋음) 비교를 보여줍니다. 각 문서를 0-100K에서 500K+토큰까지의 세그먼트로 나눕니다.

Temp-Lora 이후 모든 모델의 PPL이 크게 감소한 것을 확인할 수 있으며, 클립이 점점 길어질수록 Temp-Lora의 영향이 더욱 뚜렷해집니다 (1-100K는 3.6%만 감소, 500K+는 감소) 13.2% 증가) .

그러므로 간단히 결론을 내릴 수 있습니다. 텍스트가 많을수록 Temp-Lora를 사용해야 할 필요성이 더 커집니다.

또한 블록 크기를 1024에서 2048 및 4096으로 조정하면 PPL이 약간 증가하는 것을 확인할 수 있습니다.

이것은 놀라운 일이 아닙니다. 결국 Temp-Lora 모듈은 이전 블록의 데이터에 대해 훈련됩니다.

이 데이터는 주로 블록 크기 선택 이 생성 품질과 계산 효율성 사이의 주요 균형점임을 알려줍니다 (자세한 분석은 논문에서 찾을 수 있습니다) .

마지막으로 캐시 재사용으로 인해 성능 손실이 발생하지 않는다는 것도 알 수 있습니다.

작가님은 이렇게 말씀하셨습니다. 매우 고무적인 소식입니다.

다음은 Guofeng 데이터세트의 결과입니다.

Temp-Lora는 장문 문학 번역 작업에도 큰 영향을 미치는 것을 알 수 있습니다.

기본 모델과 비교하여 모든 지표가 크게 개선되었습니다. PPL -29.6% 감소, BLEU 점수 +53.2% 개선

(기계 번역 텍스트와 고품질 참조 번역의 유사성), COMET 점수 +53.2% 개선 (품질 지표이기도 함) +8.4% 향상되었습니다.

마지막으로 계산 효율성과 품질에 대한 탐구가 있습니다.

저자는

가장 "경제적인" Temp-Lora 구성 (Δ=2K, W=4K)을 사용하면 PPL을 3.8% 줄이고 FLOP를 70.5%, 지연을 51.5% 절약할 수 있다는 실험을 통해 알아냈습니다. 반대로 계산 비용을 완전히 무시하고

가장 "고급스러운" 구성 (Δ=1K 및 W=24K)을 사용하면 5.0% PPL 감소와 추가 17을 달성할 수도 있습니다. % FLOP 증가 및 19.6% 대기 시간. 사용 제안

위의 결과를 요약하기 위해 저자는 Temp-Lora의 실제 적용을 위한 세 가지 제안도 제공합니다.

1 최고 수준의 긴 텍스트 생성이 필요한 응용 프로그램의 경우 매개 변수를 변경하지 않고 Temp를 통합합니다. -Lora를 기존 모델에 추가하면 상대적으로 적당한 비용으로 성능을 크게 향상시킬 수 있습니다.

2. 대기 시간이나 메모리 사용량을 최소화하는 애플리케이션의 경우 Temp-Lora에 저장된 입력 길이와 상황 정보를 줄임으로써 계산 비용을 크게 줄일 수 있습니다.

이 설정에서는 고정된 짧은 창 크기

(예: 2K 또는 4K)

를 사용하여 거의 무한히 긴 텍스트 (저자의 실험에서는 500K 이상) 을 처리할 수 있습니다. 3. 마지막으로 사전 학습의 컨텍스트가 모델의 창 크기보다 작은 경우와 같이 많은 양의 텍스트가 포함되지 않은 시나리오에서는 Temp-Lora가 쓸모가 없습니다.

저자는 기밀 기관 출신입니다

이러한 간단하고 혁신적인 방법을 고안하기 위해 저자는 많은 출처 정보를 남기지 않았다는 점을 언급할 가치가 있습니다:

기관 이름은 "비서 기관"으로 직접 서명되어 있으며, 그리고 3명의 저자의 이름은 완전한 성(姓)만 입니다.

하지만 이메일 정보로 미루어 볼 때 홍콩 시립대학교, 홍콩 중국어 학교 등의 학교에서 온 것일 수도 있습니다.

마지막으로 이 방법에 대해 어떻게 생각하시나요?

논문:

https://www.php.cn/link/f74e95cf0ef6ccd85c791b5d351aa327

위 내용은 익명의 논문이 놀라운 아이디어를 내놓았습니다! 이는 실제로 대형 모델의 긴 텍스트 기능을 향상시키기 위해 수행될 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!