대형 모델을 더 이상 '빅맥'으로 만들지 마십시오. 대형 모델 매개변수의 효율적인 미세 조정에 대한 최신 리뷰입니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

최근에는 대형 언어 모델, 빈첸시안 그래프 모델 등 대규모 AI 모델이 빠르게 발전하고 있습니다. 이러한 상황에서 급변하는 요구 사항에 어떻게 적응하고 대형 모델을 다양한 다운스트림 작업에 신속하게 적응시키는 것이 중요한 과제가 되었습니다. 컴퓨팅 리소스의 제한으로 인해 기존의 전체 매개변수 미세 조정 방법으로는 충분하지 않을 수 있으므로 보다 효율적인 미세 조정 전략을 모색해야 합니다. 위의 과제로 인해 최근 PEFT(매개변수 효율적 미세 조정) 기술이 급속하게 발전했습니다.

PEFT 기술의 개발 이력을 종합적으로 요약하고 최신 연구 진행 상황을 따라잡기 위해 최근 노스이스턴 대학교, 캘리포니아 대학교 리버사이드 대학교, 애리조나 주립 대학교, 뉴욕 대학교의 연구진이 매개변수를 조사, 정리, 요약했습니다. 대형 모델에 대한 효율적인 미세 조정(PEFT) 기술의 적용과 개발 전망을 종합적이고 최첨단의 리뷰로 요약합니다.

문서 링크: https://arxiv.org/pdf/2403.14608.pdf

PEFT는 대부분의 사전 훈련 매개변수를 수정하여 사전 훈련된 모델에 대한 다운스트림 작업 적응의 효율적인 수단을 제공합니다. 매우 적은 수의 매개변수를 미세 조정하여 대형 모델이 가볍고 빠르게 다양한 다운스트림 작업에 적응할 수 있도록 하여 대형 모델을 더 이상 "빅맥"으로 만들지 않습니다.

전체 텍스트는 24페이지로, 약 250개의 최신 문서를 포함합니다. 공개되자마자 스탠포드 대학교, 북경 대학교 및 기타 기관에서 인용되었으며 다양한 플랫폼에서 상당한 인기를 얻었습니다.

구체적으로 이번 리뷰에서는 PEFT 알고리즘 분류, 효율적인 PEFT 설계, PEFT 크로스 필드 적용, PEFT 시스템 설계 및 배포와 자세한 설명이라는 네 가지 측면에서 PEFT의 개발 이력과 최신 진행 상황을 종합적으로 분석합니다. . 관련 업계의 실무자이든 대형 모델 미세 조정 분야의 초보자이든 이 리뷰는 포괄적인 학습 가이드가 될 수 있습니다.

1. PEFT 배경 소개

본 논문에서는 먼저 최근 인기 있는 LLaMA 모델을 대표로 사용하여 LLM(대형 언어 모델) 및 기타 Transformer의 아키텍처 및 계산 프로세스를 분석하고 자세히 설명합니다. 기반 모델을 기반으로 하며 나중에 다양한 PEFT 기술의 분석을 용이하게 하는 데 필요한 기호 표현을 정의합니다.

또한 저자는 PEFT 알고리즘의 분류 방법에 대해서도 설명합니다. 저자는 PEFT 알고리즘을 다양한 연산에 따라 추가 미세 조정, 선택적 미세 조정, 무거운 매개변수화 미세 조정 및 하이브리드 미세 조정으로 구분합니다. 그림 3은 PEFT 알고리즘의 분류와 각 범주에 포함된 특정 알고리즘 이름을 보여줍니다. 각 카테고리의 구체적인 정의는 나중에 자세히 설명하겠습니다.

배경 섹션에서 저자는 PEFT 방법의 성능을 검증하는 데 사용되는 일반적인 다운스트림 벤치마크와 데이터 세트도 소개하여 독자가 일반적인 작업 설정에 더 쉽게 익숙해질 수 있도록 합니다.

2. PEFT 방법 분류

저자는 먼저 Additive Fine-tuning, Selective Fine-Tuning, Heavy-parameterized Fine-tuning 및 Hybrid Fine-tuning에 대한 정의를 제공합니다.

추가 미세 조정
사전 훈련된 모델의 특정 위치에 학습 가능한 모듈이나 매개 변수를 추가하여 다운스트림 작업에 적응할 때 모델의 훈련 가능한 매개 변수 수를 최소화합니다.

• 선택적 미세 조정미세 조정 과정에서는 모델의 매개변수 중 일부만 업데이트되고 나머지 매개변수는 고정된 상태로 유지됩니다. 추가 미세 조정과 비교하여 선택적 미세 조정은 사전 훈련된 모델의 아키텍처를 변경할 필요가 없습니다.
• 재매개변수화된 미세 조정은 훈련을 위해 사전 훈련된 모델 매개변수의 (낮은 순위) 표현을 구성하는 방식으로 작동합니다. 추론 중에 매개변수는 추가 추론 지연이 발생하지 않도록 사전 훈련된 모델 매개변수 구조로 동일하게 변환됩니다.
• 세 가지 차이점은 그림 4에 나와 있습니다.

하이브리드 미세 조정

은 다양한 PEFT 방법의 장점을 결합하고 다양한 방법 아키텍처의 유사점을 분석하여 통합 PEFT를 구축합니다. 또는 최적의 PEFT 하이퍼파라미터를 찾는 것입니다.

다음으로 저자는 각 PEFT 유형을 더욱 세분화합니다:

A. 추가 미세 조정:

1) Adapter

Adapter는 Transformer 블록 내부에 추가합니다. Adapter 계층은 매개변수의 효율적인 미세 조정을 구현합니다. 각 Adapter 레이어에는 하향 투영 행렬, 활성화 함수 및 상향 투영 행렬이 포함되어 있습니다. 하향 투영 행렬은 입력 특징을 병목 현상 차원 r에 매핑하고, 상향 투영 행렬은 병목 현상 특징을 다시 원래 차원 d에 매핑합니다.

그림 5는 모델에서 어댑터 레이어의 세 가지 일반적인 삽입 전략을 보여줍니다. 직렬 어댑터는 변압기 모듈 다음에 순차적으로 삽입되고, 병렬 어댑터는 변압기 모듈 옆에 병렬로 삽입됩니다. CoDA는 중요한 토큰의 경우 추론을 위해 사전 훈련된 Transformer 모듈과 어댑터 분기를 모두 사용하고, 중요하지 않은 토큰의 경우 CoDA는 컴퓨팅 오버헤드를 절약하기 위해 추론에만 어댑터 분기를 사용합니다.

2) 소프트 프롬프트

소프트 프롬프트는 입력 시퀀스의 선두에 학습 가능한 벡터를 추가하여 매개변수의 효율적인 미세 조정을 달성합니다. 대표적인 방법으로는 Prefix-tuning과 Prompt Tuning이 있습니다. 접두사 조정을 사용하면 각 변환기 계층의 키, 값 및 쿼리 행렬 앞에 학습 가능한 벡터를 추가하여 모델 표현을 미세 조정할 수 있습니다. 프롬프트 조정은 학습 매개변수를 더욱 줄이기 위해 첫 번째 단어 벡터 레이어에만 학습 가능한 벡터를 삽입합니다.

3) 기타

위의 두 분류 외에도 훈련 과정에 새로운 매개변수를 도입하는 PEFT 방법도 있습니다.

두 가지 일반적인 방법이 그림 6에 나와 있습니다. (IA) 3에서는 피드포워드 네트워크의 키, 값 및 활성화를 조정하기 위한 세 가지 스케일링 벡터를 도입합니다. SSF는 선형 변환을 통해 모델의 활성화 값을 조정합니다. 각 단계 후에 SSF는 SSF-ADA 계층을 추가하여 활성화 값의 확장 및 변환을 가능하게 합니다.

B. 선택적 미세 조정:

1) 구조화되지 않은 마스크

이 유형의 방법은 모델 매개변수에 학습 가능한 바이너리 마스크를 추가하여 미세 조정할 수 있는 매개변수를 결정합니다. . Diff pruning, FishMask, LT-SFT 등과 같은 많은 작업은 마스크 위치 계산에 중점을 둡니다.

2) 구조화된 마스크

구조화되지 않은 마스크는 마스크 모양에 제한이 없으나 이로 인해 효과가 비효율적입니다. 따라서 FAR, S-Bitfit, Xattn Tuning 등과 같은 일부 작업에서는 마스크 모양에 구조적 제한을 가합니다. 두 가지의 차이점은 아래 그림에 나와 있습니다.

C. 재매개변수화된 미세 조정:

1) 저위수 분해

이러한 유형의 방법은 재매개변수화된 다양한 저차원을 찾아 전체 매개변수 공간을 대신하여 미세 조정을 수행합니다. 사전 훈련된 가중치 행렬의 형태. 가장 일반적인 방법은 두 개의 추가 상향 및 하향 투영 행렬을 추가하여 훈련을 위한 원래 모델 매개변수의 낮은 순위 표현을 구성하는 LoRA입니다. 훈련 후에는 추가적인 추론 오버헤드 발생을 방지하기 위해 추가 매개변수를 사전 훈련된 가중치에 원활하게 병합할 수 있습니다. DoRA는 가중치 매트릭스를 모듈식 길이와 방향으로 분리하고 LoRA를 활용하여 방향 매트릭스를 미세 조정합니다.

2) LoRA 도출 방법

저자는 LoRA 도출 방법을 LoRA 순위의 동적 선택과 다양한 측면에서 LoRA의 개선으로 구분한다.

LoRA 동적 순위에서 대표적인 방법은 DyLoRA로, 훈련 과정에서 동시 훈련을 위해 일련의 순위를 구성하여 최적의 순위를 찾는 데 소요되는 리소스를 줄입니다.

LoRA의 개선 과정에서 저자는 다양한 측면에서 기존 LoRA의 단점과 그에 따른 해결 방법을 나열합니다.

D. 하이브리드 미세 조정:

이 부분에서는 다양한 PEFT 기술을 통합 모델에 통합하고 최적의 설계 패턴을 찾는 방법을 연구합니다. 또한 최적의 PEFT 훈련 하이퍼파라미터를 얻기 위해 신경 아키텍처 검색(NAS)을 사용하는 일부 솔루션도 소개됩니다.

3. 효율적인 PEFT 설계

이 섹션에서 저자는 훈련 및 추론의 지연 시간과 최대 메모리 오버헤드에 초점을 맞춰 PEFT의 효율성을 개선하는 연구에 대해 논의합니다. 저자는 PEFT의 효율성을 높이는 방법을 주로 세 가지 관점에서 설명한다.

PEFT 가지치기 전략: 신경망 가지치기 기술과 PEFT 기술을 결합하여 효율성을 더욱 향상시킵니다. 대표적인 작업으로는 AdapterDrop, SparseAdapter 등이 있습니다.

PEFT 정량화 전략: 즉, 모델 정확도를 줄여 모델 크기를 줄여 계산 효율성을 향상시키는 것입니다. PEFT와 결합할 때 가장 어려운 점은 사전 훈련 가중치와 새로운 PEFT 모듈의 양자화 처리를 더 잘 고려하는 방법입니다. 대표작으로는 QLoRA, LoftQ 등이 있습니다.

메모리 효율적인 PEFT 설계: PEFT는 훈련 중에 소수의 매개변수만 업데이트할 수 있지만 기울기 계산 및 역전파가 필요하기 때문에 메모리 공간이 여전히 큽니다. 이 문제를 해결하기 위해 일부 방법에서는 Side-Tuning 및 LST와 같이 사전 훈련된 가중치 내부의 기울기 계산을 우회하여 메모리 오버헤드를 줄이려고 합니다. 동시에 HyperTuning, MeZO 등과 같은 다른 방법에서는 이 문제를 해결하기 위해 LLM 내에서 역전파를 방지하려고 시도합니다.

4. PEFT의 교차 분야 적용

이 장에서 저자는 다양한 분야에서 PEFT의 적용을 탐색하고 특정 모델이나 작업 성능을 향상시키기 위해 더 나은 PEFT 방법을 설계하는 방법에 대해 논의합니다. 논의됨. 이 섹션에서는 주로 LLM, ViT(Visual Transformer), 시각적 텍스트 모델 및 확산 모델을 포함한 다양한 대규모 사전 훈련된 모델에 중점을 두고 이러한 사전 훈련된 모델의 다운스트림 작업 적응에서 PEFT의 역할을 자세히 설명합니다.

LLM 측면에서 저자는 PEFT를 사용하여 LLaMA-Adapter와 같은 시각적 명령 입력, 대표적인 작업을 허용하도록 LLM을 미세 조정하는 방법을 소개했습니다. 또한 저자는 LLM의 지속적인 학습에서 PEFT 적용을 탐색하고 PEFT로 LLM을 미세 조정하여 컨텍스트 창을 확장하는 방법을 언급합니다.

ViT의 경우 저자는 PEFT 기술을 사용하여 다운스트림 이미지 인식 작업에 적용하는 방법과 PEFT를 사용하여 ViT 비디오 인식 기능을 제공하는 방법을 설명합니다.

시각 텍스트 모델 측면에서 저자는 공개 집합 이미지 분류 작업을 위해 시각적 텍스트 모델을 미세 조정하기 위해 PEFT를 적용한 많은 작업을 소개했습니다.

확산 모델의 경우 저자는 두 가지 일반적인 시나리오, 즉 텍스트 외에 추가 입력을 추가하는 방법과 개인화된 생성을 달성하는 방법을 식별하고 이 두 가지 유형의 작업에서 각각 PEFT의 적용을 설명합니다.

5. PEFT의 시스템 설계 과제

이 장에서 저자는 먼저 클라우드 서비스 기반 PEFT 시스템이 직면한 과제에 대해 설명합니다. 여기에는 주로 다음 사항이 포함됩니다.

중앙 집중식 PEFT 쿼리 서비스: 이 모드에서 클라우드 서버는 단일 LLM 모델 복사본과 여러 PEFT 모듈을 저장합니다. 다양한 PEFT 쿼리의 작업 요구 사항에 따라 클라우드 서버는 해당 PEFT 모듈을 선택하고 이를 LLM 모델과 통합합니다.

분산 PEFT 쿼리 서비스: 이 모드에서 LLM 모델은 클라우드 서버에 저장되고 PEFT 가중치 및 데이터 세트는 사용자 장치에 저장됩니다. 사용자 장치는 PEFT 방법을 사용하여 LLM 모델을 미세 조정한 다음 미세 조정된 PEFT 가중치 및 데이터 세트를 클라우드 서버에 업로드합니다.

다중 PEFT 교육: 과제에는 메모리 기울기를 관리하고 가중치 저장을 모델링하는 방법, PEFT를 일괄 교육하기 위한 효율적인 커널을 설계하는 방법 등이 포함됩니다.

위의 시스템 설계 과제에 대응하여 저자는 이러한 과제와 실현 가능한 솔루션 전략에 대한 보다 심층적인 분석을 제공하기 위해 세 가지 세부 시스템 설계 사례를 나열했습니다.

오프사이트 조정: LLM을 미세 조정할 때 발생하는 데이터 개인 정보 보호 딜레마와 막대한 리소스 소비 문제를 주로 해결합니다.

PetS: 통합 서비스 프레임워크를 제공하고 PEFT 모듈에 대한 통합 관리 및 예약 메커니즘을 제공합니다.

PEFT 병렬 훈련 프레임워크: S-LoRA 및 Punica를 포함한 두 가지 병렬 PEFT 훈련 프레임워크와 PEFT의 훈련 효율성을 향상시키는 방법을 소개합니다.

6. 향후 연구 방향

저자는 PEFT 기술이 많은 다운스트림 작업에서 성공했지만 향후 작업에서 해결해야 할 몇 가지 단점이 여전히 있다고 믿습니다.

통합 평가 벤치마크 설정: 일부 PEFT 라이브러리가 있지만 다양한 PEFT 방법의 효과와 효율성을 공정하게 비교할 수 있는 포괄적인 벤치마크가 부족합니다. 인정받는 벤치마크를 확립하면 커뮤니티 내에서 혁신과 협력이 촉진될 것입니다.

훈련 효율성 향상: PEFT의 훈련 가능한 매개변수 양이 훈련 중 계산 및 메모리 절약과 항상 일치하는 것은 아닙니다. 효율적인 PEFT 설계 섹션에서 논의한 바와 같이 향후 연구에서는 메모리 및 계산 효율성을 최적화하는 방법을 추가로 탐색할 수 있습니다.

스케일링 법칙 탐구: 많은 PEFT 기술은 소형 Transformer 모델에 구현되며 그 효과가 오늘날의 다양한 대형 매개변수 모델에 반드시 적용되는 것은 아닙니다. 향후 연구에서는 PEFT 방법을 대형 모델에 적용하는 방법을 탐구할 수 있습니다.

더 많은 모델과 작업 제공: Sora, Mamba 등과 같은 대규모 모델의 출현으로 PEFT 기술은 새로운 응용 시나리오를 열 수 있습니다. 향후 연구는 특정 모델 및 작업에 대한 PEFT 방법 설계에 중점을 둘 수 있습니다.

향상된 데이터 개인 정보 보호: 중앙 집중식 시스템은 맞춤형 PEFT 모듈을 제공하거나 미세 조정할 때 데이터 개인 정보 보호 문제에 직면할 수 있습니다. 향후 연구에서는 개인 데이터와 중간 훈련/추론 결과를 보호하기 위한 암호화 프로토콜을 탐색할 수 있습니다.

PEFT 및 모델 압축: PEFT 방법에 대한 가지치기 및 양자화와 같은 모델 압축 기술이 미치는 영향은 완전히 연구되지 않았습니다. 향후 연구는 압축 모델이 PEFT 방법의 성능에 어떻게 적응하는지에 초점을 맞출 수 있습니다.

위 내용은 대형 모델을 더 이상 '빅맥'으로 만들지 마십시오. 대형 모델 매개변수의 효율적인 미세 조정에 대한 최신 리뷰입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!