ICML 2024 | 대규모 언어 모델 사전 훈련의 새로운 개척: 'Best Adaptation Packaging'은 문서 처리 표준을 재편합니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

대규모 언어 모델의 학습 과정에서는 데이터 처리 방식이 중요합니다.

기존 방법은 일반적으로 많은 수의 문서를 모델의 컨텍스트 길이와 동일한 학습 시퀀스로 연결하고 분할합니다. 이는 훈련 효율성을 향상시키지만 종종 문서가 불필요하게 잘리고, 데이터 무결성이 손상되고, 핵심 문맥 정보가 손실되어 모델이 학습한 내용의 논리적 일관성과 사실적 일관성에 영향을 미치게 됩니다. 환각에 대한 모델이 더 쉬워졌습니다.

AWS AI 연구소의 연구원들은 이 일반적인 스플라이싱-청킹 텍스트 처리 방법에 대해 심층 연구를 수행한 결과 이 ​​방법이 상황적 일관성과 사실적 일관성을 이해하는 모델의 능력에 심각한 영향을 미친다는 사실을 발견했습니다. 이는 다운스트림 작업에 대한 모델 성능에 영향을 미칠 뿐만 아니라 환각의 위험도 증가시킵니다.

이 문제에 대응하여 혁신적인 문서 처리 전략인 Best-fit Packing(Best-fit Packing)을 제안했습니다. 이는 문서 조합을 최적화하여 불필요한 텍스트 잘림을 제거하고 모델의 성능을 향상시키고 모델 환상. 이 연구는 ICML 2024에 채택되었습니다.

문서 제목: 더 적은 절단으로 언어 모델링 개선

논문 링크: https://arxiv.org/pdf/2404.10830

연구 배경

전통적인 큰 언어로 모델 훈련 방법에서 효율성을 높이기 위해 연구자들은 일반적으로 여러 입력 문서를 함께 연결한 다음 이러한 연결된 문서를 고정 길이 시퀀스로 분할합니다.

이 방법은 간단하고 효율적이지만 문서 잘림으로 인해 데이터 무결성이 손상되는 심각한 문제가 발생합니다. 문서가 잘리면 문서에 포함된 정보가 손실됩니다.

또한 문서 잘림은 각 시퀀스의 컨텍스트 양을 줄여서 다음 단어에 대한 예측이 이전 단어와 관련이 없게 되어 모델이 환각에 더 취약해질 수 있습니다.

다음 예는 문서 잘림으로 인해 발생하는 문제를 보여줍니다.

• 그림 2(a): Python 프로그래밍에서는 원래 코드는 정확하지만 변수 정의와 사용을 다른 구문 오류로 분할합니다. 훈련 시퀀스에 도입되어 후속 훈련 시퀀스에서 일부 변수가 정의되지 않게 되어 모델이 잘못된 패턴을 학습하게 되고 다운스트림 작업에서 환각을 일으킬 가능성이 있습니다. 예를 들어, 프로그램 합성 작업에서 모델은 변수를 정의하지 않고 직접 변수를 사용할 수 있습니다.
• 그림 2(b): 잘림은 정보의 무결성도 손상시킵니다. 예를 들어 요약의 "월요일 아침"은 훈련 시퀀스의 어떤 컨텍스트와도 일치할 수 없으므로 콘텐츠가 부정확해집니다. 이러한 불완전한 정보는 상황 정보에 대한 모델의 민감도를 크게 감소시켜 생성된 콘텐츠가 실제 상황과 일치하지 않게 만드는데, 이를 불성실한 세대라고 합니다.
• 그림 2(c): 텍스트의 지식 표현은 종종 완전한 문장이나 단락에 의존하기 때문에 잘림은 훈련 중에 지식 획득을 방해합니다. 예를 들어, 회의 이름과 위치가 다른 훈련 시퀀스에 분산되어 있기 때문에 모델은 ICML 회의의 위치를 ​​학습할 수 없습니다.

^{그림 2. 착각이나 지식 상실로 이어지는 문서 잘림의 예. (a) 변수 정의(파란색 부분)가 잘리고 후속 사용 호출로 인해 정의되지 않은 이름(빨간색 부분)이 발생합니다. (b) 주요 문맥 정보가 잘려서(파란색 부분) 요약이 원본 텍스트(빨간색 부분)보다 정확도가 떨어집니다. (c) 잘림으로 인해 모델은 ICML 2024가 어디에서 개최될지 알 수 없습니다.}

Best-fit Packing

이 문제에 대응하여 연구자들은 Best-fit Packing을 제안했습니다.

이 방법은 길이 인식 조합 최적화 기술을 사용하여 문서를 훈련 시퀀스에 효율적으로 압축하여 불필요한 잘림을 완전히 제거합니다. 이는 기존 방법의 훈련 효율성을 유지할 뿐만 아니라 데이터 조각화를 줄여 모델 훈련의 품질을 크게 향상시킵니다.

저자는 먼저 각 텍스트를 최대 모델 컨텍스트 길이 L인 하나 이상의 시퀀스로 나눕니다. 이 단계의 한계는 모델에서 비롯되므로 반드시 수행해야 합니다.

이제 연구자들은 최대 L 길이의 다수의 파일 블록을 기반으로 이를 합리적으로 결합하고 가능한 한 적은 수의 훈련 시퀀스를 얻기를 희망합니다. 이 문제는 Bin Packing 문제로 볼 수 있습니다. 어셈블리 최적화 문제는 NP-난해합니다. 아래 알고리즘에서 볼 수 있듯이 여기서는 BFD(Best-Fit-Decreasing)라는 휴리스틱 전략을 채택합니다.

다음으로 시간 복잡도(Time Complexity)와 압축성(Compactness)의 관점에서 BFD의 타당성을 논의하겠습니다.

시간 복잡도:

BFD 정렬 및 패킹의 시간 복잡도는 O(N log N)입니다. 여기서 N은 문서 블록 수입니다. 사전 학습 데이터 처리에서는 문서 블록의 길이가 정수이고 제한적([1, L])이므로 정렬 시간 복잡도를 O(N)으로 줄이기 위해 카운트 정렬을 사용할 수 있습니다.

패키징 단계에서 세그먼트 트리 데이터 구조를 사용하여 가장 적합한 컨테이너를 찾는 각 작업에는 로그 시간, 즉 O(log L)만 소요됩니다. 그리고 L < Documentation)은 3시간 밖에 걸리지 않습니다.

Compactness:

Compactness는 패키징 알고리즘의 효과를 측정하는 또 다른 중요한 지표입니다. 원본 문서의 무결성을 훼손하지 않으면서 훈련 시퀀스의 수를 최대한 줄여야 합니다. 모델 학습의 효율성을 높일 수 있습니다.

실제 응용 분야에서 최적 맞춤 패킹은 시퀀스 채우기 및 배열을 정밀하게 제어함으로써 기존 방법과 거의 동일한 수의 훈련 시퀀스를 생성하는 동시에 잘림으로 인한 데이터 손실을 크게 줄일 수 있습니다.

자연어(RefinedWeb) 및 프로그래밍 언어(The Stack) 데이터 세트에 대한 실험을 바탕으로 우리는 최적의 패키징이 텍스트 잘림을 크게 줄이는 것으로 나타났습니다.

대부분의 문서에 2048개 미만의 토큰이 포함되어 있다는 점은 주목할 가치가 있습니다. 전통적인 스플라이싱 및 청킹으로 인한 잘림은 주로 이 범위에서 발생하지만 최적 맞춤 패키징은 길이가 L보다 짧은 문서를 자르지 않으므로 효과적으로 유지됩니다. 대부분의 문서의 무결성.

^{그림 4: 최대 시퀀스 길이가 2k 또는 8k로 설정된 경우 다양한 문서 길이에서 각 문서 길이에 해당하는 문서 수와 잘림 수. "Best-fit Packing" 기술을 사용하면 잘림 횟수가 크게 줄어듭니다. 위: 자연어. 아래: 프로그래밍 언어.}

실험 및 결과

연구원들은 다양한 작업에 대해 최적의 패키징과 전통적인 방법(예: 접합 방법)을 사용하여 훈련된 언어 모델의 성능 비교를 자세히 보고했습니다. 독해(Reading Comprehension), 자연어 추론(Natural Language Inference), 맥락 따르기(Context Follow), 텍스트 요약(Summarization), 세계 지식(Commonsense 및 Closed-book QA)과 같은 자연어 처리 및 프로그래밍 언어 작업 프로그램 종합, 총 22개의 하위 작업.

실험에는 70억~130억 개의 매개변수 범위의 모델 크기, 2,000~8,000개의 토큰 시퀀스 길이, 자연어 및 프로그래밍 언어를 포괄하는 데이터 세트가 포함되었습니다. 이러한 모델은 Falcon RefinedWeb 및 The Stack과 같은 대규모 데이터 세트에서 훈련되고 LLaMA 아키텍처를 사용하여 실험이 수행됩니다.

실험 결과에 따르면 최적의 적응 패키징을 사용하면 일련의 작업, 특히 독해(+4.7%), 자연어 추론(+9.3%) 및 컨텍스트 추적(+ 16.8%)에서 모델 성능이 향상되는 것으로 나타났습니다. 프로그램 합성(+15.0%) 및 기타 작업(작업마다 측정 기준의 규모가 다르기 때문에 저자는 기본적으로 상대적인 개선을 사용하여 결과를 설명합니다.)

통계 테스트 후 연구자들은 모든 결과가 다음과 같다는 것을 발견했습니다. 통계적으로 기준선(s로 표시됨)보다 훨씬 우수하거나 기준선(n으로 표시됨)과 동등하며, 평가된 모든 작업에서 최적 패키징을 사용하면 심각한 성능 저하가 관찰되지 않습니다.

이러한 일관성 및 단조성 개선은 최적의 적응 패키징이 모델의 전반적인 성능을 향상시킬 뿐만 아니라 다양한 작업 및 조건에서도 안정성을 보장할 수 있다는 점을 강조합니다. 자세한 결과와 논의는 본문을 참조하시기 바랍니다.

저자는 가장 적합한 포장이 환각에 미치는 영향을 연구하는 데 중점을 두었습니다.

요약 생성에서 QAFactEval 측정항목을 사용하여 가장 잘 맞는 포장을 갖춘 모델의 환각 발생률이 상당히 낮은 것으로 나타났습니다.

더 중요한 점은 프로그램 합성 작업에서 가장 적합한 패키지 학습 모델을 사용하여 코드를 생성할 때 "정의되지 않은 이름" 오류가 최대 58.3% 감소했다는 것입니다. 이는 모델이 프로그램 구조를 더 완벽하게 이해하고 있음을 보여줍니다. 그리고 논리를 통해 환각을 효과적으로 감소시킵니다.

저자들은 또한 다양한 유형의 지식을 다룰 때 모델 성능의 차이를 밝혔습니다.

앞서 언급했듯이 훈련 중 잘림은 정보의 무결성에 영향을 미쳐 지식 습득을 방해할 수 있습니다. 그러나 대부분의 표준 평가 세트의 질문은 인간의 언어에 자주 나타나는 상식에 초점을 맞추고 있습니다. 따라서 잘림으로 인해 일부 지식이 손실되더라도 모델은 여전히 ​​문서 조각에서 이 정보를 학습할 수 있는 좋은 기회를 갖습니다.

반대로, 흔하지 않은

꼬리 지식

은 훈련 데이터 자체에 나타나는 이러한 유형의 정보 빈도가 낮고 모델이 다른 소스의 손실을 보완하기 어렵기 때문에 잘림에 더 취약합니다. . 지식.

ARC-C와 ARC-E의 두 가지 테스트 세트 결과를 분석한 결과, 연구진은 상식이 더 많은 ARC-E에 비해 최적의 적응 패키징을 사용하면 모델이 더 나은 내용을 포함한다는 사실을 발견했습니다. 더 많은 테일 지식을 통해 ARC-C의 성능이 더욱 크게 향상되었습니다.

이 결과는 Kandpal et al(2023)이 전처리한 Wikipedia 엔터티 맵에서 각 질문-답변 쌍의 동시 발생 횟수를 계산하여 추가로 검증됩니다. 통계 결과는 챌린지 세트(ARC-C)에 더 희귀한 동시 발생 쌍이 포함되어 있음을 보여줍니다. 이는 최적의 적응 패키징이 꼬리 지식 학습을 효과적으로 지원할 수 있다는 가설을 검증하고 기존의 대규모 언어 모델이 롱테일을 학습할 수 없는 이유도 설명합니다. 지식은 직면한 어려움에 대한 설명을 제공합니다.

요약

이 문서는 대규모 언어 모델 훈련에서 일반적인 문서 잘림 문제를 제기합니다.

이 잘림 효과는 모델의 논리적 일관성과 사실적 일관성을 학습하는 능력에 영향을 미치며 생성 과정에서 환각 현상을 증가시킵니다. 저자는 데이터 정렬 과정을 최적화하여 각 문서의 무결성을 극대화하는 Best-fit Packing을 제안했습니다. 이 방법은 수십억 개의 문서로 구성된 대규모 데이터 세트를 처리하는 데 적합할 뿐만 아니라 데이터 압축성 측면에서 기존 방법과 동등합니다.

실험 결과에 따르면 이 방법은 불필요한 잘림을 줄이는 데 매우 효과적이며, 다양한 텍스트 및 코드 작업에서 모델 성능을 크게 향상할 수 있으며, 닫힌 도메인에서 언어 생성에 대한 환상을 효과적으로 줄일 수 있습니다. 본 논문의 실험은 주로 사전 훈련 단계에 초점을 맞추고 있지만 최적의 적응 패키징은 미세 조정과 같은 다른 단계에서도 널리 사용될 수 있습니다. 이 작업은 보다 효율적이고 안정적인 언어 모델 개발에 기여하고 언어 모델 훈련 기술 개발을 발전시킵니다.

자세한 연구 내용은 원본 논문을 참조하세요. 직업이나 인턴십에 관심이 있으시면 zijwan@amazon.com으로 이메일을 보내 이 기사의 작성자에게 문의하실 수 있습니다.

위 내용은 ICML 2024 | 대규모 언어 모델 사전 훈련의 새로운 개척: 'Best Adaptation Packaging'은 문서 처리 표준을 재편합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!