374개의 관련 연구를 요약한 Tao Dacheng 팀은 홍콩 대학교 및 UMD와 함께 LLM 지식 증류에 대한 최신 리뷰를 발표했습니다.

대형 언어 모델(LLM)은 지난 2년 동안 급속도로 발전했으며 GPT-4, Gemini, Claude 등과 같은 일부 경이로운 모델과 제품이 등장했지만 대부분은 비공개 소스입니다. 현재 연구 커뮤니티에서 액세스할 수 있는 대부분의 오픈 소스 LLM과 폐쇄 소스 LLM 사이에는 큰 격차가 있습니다. 따라서 오픈 소스 LLM 및 기타 소규모 모델과 폐쇄 소스 대규모 모델 간의 격차를 줄이기 위해 기능을 개선하는 것이 연구 핫스팟이 되었습니다. 이 분야에서.

LLM, 특히 비공개 소스 LLM의 강력한 기능을 통해 과학 연구자와 산업 실무자는 자신의 모델을 교육할 때 이러한 대규모 모델의 결과와 지식을 활용할 수 있습니다. 이 프로세스는 본질적으로 지식 증류(KD) 프로세스입니다. 즉, 교사 모델(예: GPT-4)에서 더 작은 모델(예: Llama)로 지식을 증류하여 작은 모델의 기능을 크게 향상시킵니다. 대규모 언어 모델의 지식 증류 기술은 어디에나 존재하며 연구자가 자신의 모델을 훈련하고 개선하는 데 도움을 주는 비용 효율적이고 효과적인 방법임을 알 수 있습니다.

그렇다면 현재 작업에서는 지식 추출 및 데이터 수집을 위해 폐쇄 소스 LLM을 어떻게 활용합니까? 이 지식을 작은 모델로 효율적으로 훈련시키는 방법은 무엇입니까? 작은 모델이 교사 모델로부터 어떤 강력한 기술을 습득할 수 있나요? LLM의 지식 증류는 도메인 특성을 지닌 업계에서 어떤 역할을 합니까? 이러한 문제는 심층적인 사고와 연구가 필요합니다.

2020년 Tao Dacheng 팀은 딥 러닝에서 지식 증류의 적용을 포괄적으로 탐구한 "Knowledge Distillation: A Survey"를 출판했습니다. 이 기술은 주로 모델 압축 및 가속에 사용됩니다. 대규모 언어 모델의 등장으로 지식 증류의 응용 분야가 지속적으로 확장되어 소규모 모델의 성능을 향상시킬 수 있을 뿐만 아니라 모델 자체 개선도 달성할 수 있습니다.

2024년 초 Tao Dacheng 팀은 홍콩 대학 및 메릴랜드 대학과 협력하여 374개의 관련 연구를 요약하고 지식을 얻는 방법을 논의한 최신 리뷰 "A Survey on Knowledge Distillation of Large Language Models"를 발표했습니다. 대규모 언어 모델 학습, 소규모 모델 학습, 모델 압축 및 자체 학습에서 지식 증류의 역할. 동시에 이 검토에서는 대규모 언어 모델 기술의 정제와 수직적 필드의 정제도 다루므로 연구자가 자신의 모델을 훈련하고 개선하는 방법을 완전히 이해할 수 있습니다.

• 논문 제목: A Survey on Knowledge Distillation of Large Language Models

• 논문 링크: https://arxiv.org/abs/2402.13116

• 프로젝트 링크: https://github. com/Tebmer/Awesome-Knowledge-Distillation-of-LLMs

개요 아키텍처

대규모 언어 모델 지식 증류의 전체 프레임워크는 아래 그림과 같이 요약됩니다.

첫 번째, 기반 대규모 언어 모델 지식 증류 과정에서 이 리뷰는 지식 증류를 두 단계로 분해합니다:

1. 지식 추출: 즉, 교사 모델에서 지식을 얻는 방법입니다. 프로세스에는 주로 다음이 포함됩니다.

a) 먼저 교사 모델에서 추출할 기술 또는 수직적 역량을 식별하기 위한 지침을 작성합니다.

b) 그런 다음 시드 지식(예: 특정 데이터 세트)을 입력으로 사용하여 교사 모델을 구동하고 해당 응답을 생성하여 해당 지식을 안내합니다.

c) 동시에 지식 획득에는 주석, 확장, 합성, 특징 추출, 피드백 및 자체 지식과 같은 몇 가지 특정 기술이 포함됩니다.

2.

증류 알고리즘: 즉, 습득한 지식을 학생 모델에 주입하는 방법입니다. 이 부분의 특정 알고리즘에는 감독된 미세 조정, 발산 및 유사성, 강화 학습(AI 피드백을 통한 강화 학습, RLAIF) 및 순위 최적화가 포함됩니다.

본 리뷰의 분류 방법은 이 프로세스를 기반으로 관련 작업을 지식 증류 알고리즘, 기술 증류, 수직장 증류라는 세 가지 차원에서 요약합니다. 후자의 두 가지는 지식 증류 알고리즘을 기반으로 증류됩니다. 본 분류에 대한 세부 내용과 해당 관련 업무를 요약하면 아래 그림과 같다.

지식 증류 알고리즘

Knowledge Elicitation

본 리뷰에서는 교사 모델로부터 지식을 획득하는 방식에 따라 기술을 라벨링, 확장, 데이터 합성(데이터 큐레이션), 특징 추출로 구분합니다. (Feature), 피드백(Feedback), 스스로 생성된 지식(Self-Knowledge)입니다. 각 방법의 예는 다음과 같습니다.

라벨링: 지식 라벨링은 교사 LLM이 주어진 입력을 시드 지식으로 사용하여 지침이나 예를 기반으로 해당 출력을 생성한다는 것을 의미합니다. 예를 들어 시드 지식은 특정 데이터 세트의 입력이고 교사 모델은 사고 체인의 출력에 레이블을 지정합니다.

Expansion: 이 기술의 핵심 기능은 LLM의 상황별 학습 기능을 사용하여 제공된 시드 예제를 기반으로 예제와 유사한 데이터를 생성하는 것입니다. 예시를 통해 보다 다양하고 광범위한 데이터 세트를 생성할 수 있다는 장점이 있습니다. 그러나 생성되는 데이터가 계속해서 증가함에 따라 데이터 동질성 문제가 발생할 수 있습니다.

데이터 큐레이션: 데이터 합성의 특징은 데이터를 처음부터 합성한다는 것입니다. 교사 LLM으로부터 대규모의 고품질 데이터 세트를 얻기 위해 다량의 메타 정보(예: 주제, 지식 문서, 원본 데이터 등)를 다양하고 막대한 양의 시드 지식으로 사용합니다.

특성 획득(Feature): 특성 지식을 얻는 일반적인 방법은 입력 및 출력 시퀀스를 교사 LLM으로 출력한 다음 내부 표현을 추출하는 것입니다. 이 방법은 주로 오픈 소스 LLM에 적합하며 모델 압축에 자주 사용됩니다.

피드백: 피드백 지식은 일반적으로 학생들이 더 나은 결과물을 생성하도록 안내하기 위한 선호도, 평가 또는 수정 정보 제공과 같이 학생의 결과물에 대한 피드백을 교사 모델에 제공합니다.

Self-Knowledge: 지식은 학생 스스로도 얻을 수 있는데, 이를 자기 생성 지식이라고 합니다. 이 경우 동일한 모델은 교사와 학생 모두의 역할을 하며 기술을 정제하고 이전에 생성된 자체 출력을 개선하여 반복적으로 자체적으로 개선됩니다. 이 접근 방식은 오픈 소스 LLM에 적합합니다.

요약: 현재는 확장 방식이 여전히 널리 사용되고 있으며, 고품질의 데이터를 대량 생성할 수 있기 때문에 데이터 합성 방식이 점차 주류로 자리잡고 있습니다. 피드백 방법은 학생 모델의 정렬 기능을 향상시키는 데 도움이 되는 지식을 제공할 수 있습니다. 오픈소스 대형 모델을 교사 모델로 사용함으로써 특징 획득 및 자체 생성 지식 방법이 대중화되었습니다. 특징 획득 방법은 오픈 소스 모델을 압축하는 데 도움이 되는 반면, 자체 생성 지식 방법은 대규모 언어 모델을 지속적으로 개선할 수 있습니다. 중요한 것은 위의 방법을 효과적으로 결합할 수 있으며 연구자는 다양한 조합을 탐색하여 보다 효과적인 지식을 이끌어낼 수 있다는 것입니다.

알고리즘 추출

지식을 습득한 후에는 학생 모델로 추출해야 합니다. 증류 알고리즘에는 감독된 미세 조정, 발산 및 유사성, 강화 학습, 순위 최적화가 포함됩니다. 아래 그림에 예가 나와 있습니다.

감독 미세 조정: 감독 미세 조정(SFT)은 교사 모델에 의해 생성된 시퀀스의 가능성을 최대화하여 학생 모델을 미세 조정합니다. 교사 모델을 모방하는 모델입니다. 이는 현재 LLM의 지식 증류에 가장 일반적으로 사용되는 기술입니다.

발산 및 유사성: 이 알고리즘은 교사 모델의 내부 매개변수 지식을 학생 모델 훈련을 위한 감독 신호로 사용하며 오픈 소스 교사 모델에 적합합니다. 발산과 유사성을 기반으로 하는 방법은 확률 분포와 숨겨진 상태를 각각 정렬합니다.

강화 학습: 이 알고리즘은 교사 피드백 지식을 사용하여 학생 모델, 즉 RLAIF 기술을 훈련하는 데 적합합니다. 두 가지 주요 측면이 있습니다: (1) 교사가 생성한 피드백 데이터를 사용하여 학생 보상 모델을 훈련하는 것, (2) 훈련된 보상 모델을 통해 기대되는 보상을 최대화하여 학생 모델을 최적화하는 것입니다. 교사는 보상 모델로 직접 봉사할 수도 있습니다.

순위 최적화: 순위 최적화는 DPO, RRHF 등과 같은 일부 고전 알고리즘과 같이 안정성과 높은 계산 효율성을 장점으로 학생 모델에 주입할 수도 있습니다.

Skill Distillation

대형 언어 모델에는 뛰어난 기능이 많이 있다는 것은 잘 알려져 있습니다. 지식증류기술을 통해 교사가 해당 기술을 포함하는 지식을 생성하도록 통제하고, 학생 모델을 훈련하여 이러한 능력을 습득할 수 있도록 지도합니다. 이러한 기능에는 주로 다음 컨텍스트(예: 지침), 정렬, 에이전트, 자연어 처리(NLP) 작업 및 다중 양식과 같은 기능이 포함됩니다.

다음 표에는 스킬 증류의 고전 작업이 요약되어 있으며, 각 작업에 관련된 스킬, 시드 지식, 교사 모델, 학생 모델, 지식 획득 방법 및 증류 알고리즘도 요약되어 있습니다.

수직장 증류

일반 분야의 대규모 언어 모델 외에도 이제 수직 분야의 대규모 언어 모델을 훈련하려는 많은 노력이 있으며, 이는 대규모 언어 모델의 적용 및 배포에 있어 연구 커뮤니티와 업계에 도움이 됩니다. GPT-4와 같은 대규모 언어 모델은 수직 분야에 대한 도메인 지식이 제한되어 있지만 여전히 일부 도메인 지식과 기능을 제공하거나 기존 도메인 데이터 세트를 향상시킬 수 있습니다. 여기에 관련된 분야에는 주로 (1) 법률, (2) 의료 보건, (3) 금융, (4) 과학 및 기타 분야가 포함됩니다. 이 부분의 분류 및 관련 작업은 아래 그림에 나와 있습니다.

미래 방향

이 리뷰는 주로 다음을 포함하여 대규모 언어 모델의 지식 증류의 현재 문제와 잠재적인 미래 연구 방향을 탐구합니다.

• 데이터 선택: 더 나은 증류 결과를 얻기 위해 데이터를 자동으로 선택하는 방법은 무엇입니까?

• 다중 교사 증류: 다양한 교사 모델의 지식을 하나의 학생 모델로 증류해 보세요.

• 교사 모델의 풍부한 지식: 피드백, 특성 지식 등 교사 모델에서 더욱 풍부한 지식을 탐색하고, 다양한 지식 습득 방법의 조합을 탐색할 수 있습니다.

• 증류 중 치명적인 망각 극복 : 지식 증류 또는 이전 중에 원본 모델을 효과적으로 보존하는 능력은 여전히 ​​어려운 문제로 남아 있습니다.

• 신뢰할 수 있는 지식 증류: 현재 KD는 주로 다양한 기술을 증류하는 데 중점을 두고 있으며 대형 모델의 신뢰성에는 상대적으로 덜 관심을 기울이고 있습니다.

• 약-강 증류(약-강 증류). OpenAI는 약한 모델이 강한 모델의 학습 프로세스를 효과적으로 안내할 수 있도록 혁신적인 기술 전략을 탐구해야 하는 "약한 일반화" 개념을 제안합니다.

• 자가 정렬(자기 증류). 학생 모델이 피드백, 비판 및 설명을 생성하여 생성된 콘텐츠를 자율적으로 개선하고 정렬하도록 지침을 설계할 수 있습니다.

결론

이 리뷰는 오픈 소스 대규모 언어 모델과 같은 학생 모델을 개선하기 위해 대규모 언어 모델에 대한 지식을 사용하는 방법에 대한 포괄적이고 체계적인 요약을 제공하며 최근 인기 있는 자체 증류 기술도 포함합니다. . 본 리뷰에서는 지식 증류를 지식 획득과 증류 알고리즘의 두 단계로 나누고, 기술 증류와 수직장 증류도 요약합니다. 마지막으로, 이 검토에서는 대규모 언어 모델의 지식 증류의 경계를 넓히고 더 접근하기 쉽고 효율적이며 효과적이며 신뢰할 수 있는 대규모 언어 모델을 얻기를 희망하면서 대규모 언어 모델 증류의 미래 방향을 탐색합니다.

위 내용은 374개의 관련 연구를 요약한 Tao Dacheng 팀은 홍콩 대학교 및 UMD와 함께 LLM 지식 증류에 대한 최신 리뷰를 발표했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!