REFT가 필요한 모든 것이 있습니까?

Reft : LLMS를 미세 조정하는 혁신적인 접근

스탠포드의 2024 년 5 월 논문에 소개 된 Reft (표현 조정)는 LLMS (Lange Language Models)를 효율적으로 미세 조정하기위한 획기적인 방법을 제공합니다. Oxen.ai의 2024 년 7 월 실험 미세 조정 LLAMA3 (8B)에 의해 단 14 분 만에 단일 NVIDIA A10 GPU에 의해 그 잠재력이 즉시 명백 해졌다. 모델 가중치 또는 입력을 수정하는 LORA와 같은 기존 매개 변수 효율적인 미세 조정 (PEFT) 메소드와 달리 DII (Displeed Interchange Intervention) 방법을 활용합니다. DII 프로젝트는 저 차원 하위 ​​공간에 포함 되어이 부분 공간을 통해 미세 조정을 가능하게합니다. 이 기사는 먼저 인기있는 PEFT 알고리즘 (LORA, 프롬프트 튜닝, 접두사 튜닝)을 검토 한 다음 REFT와 실험 결과를 탐구하기 전에 DII를 설명합니다.

파라미터 효율적인 미세 조정 (PEFT) 기술

껴안는 얼굴은 PEFT 기술에 대한 포괄적 인 개요를 제공합니다. 핵심 방법을 간단히 요약하겠습니다 : Lora (저 순위 적응) :

2021 년에 도입 된 Lora의 단순성과 일반화는 미세 조정 LLM 및 확산 모델을위한 주요 기술이되었습니다. LORA는 모든 레이어 가중치를 조정하는 대신 저 순위의 매트릭스를 추가하여 훈련 가능한 매개 변수 (종종 0.3%미만)를 크게 줄이고 교육을 가속화하고 GPU 메모리 사용을 최소화합니다.

프롬프트 튜닝 : 이 방법은 "소프트 프롬프트"-문화 가능한 작업 별 임베딩을 접두사로 사용하여 각 작업의 모델을 복제하지 않고 효율적인 멀티 태스킹 예측을 가능하게합니다.

.

접두사 튜닝 (p-tuning v2) :

프롬프트 튜닝의 제한 주소 스케일로, 접두사 튜닝은 다양한 레이어에 훈련 가능한 프롬프트 임베딩을 추가하여 다른 수준에서 작업 별 학습을 허용합니다.

.

이 논문에서 찾을 수 있습니다. 분산 인터체인지 개입 (DII) DII는 인과 적 추상화에 뿌리를두고 있으며, 높은 수준 (인과 관계) 모델과 낮은 수준 (신경망) 모델 사이의 중재를 사용하여 정렬을 평가하는 프레임 워크입니다. DII는 두 모델을 직교 예측을 통해 서브 스페이스로 투영하여 회전 작업을 통해 중재 모델을 만듭니다. 자세한 시각적 예제는 DII 프로세스는 수학적으로 다음과 같이 표현 될 수 있습니다

여기서

여기서 는 직교 예측을 나타내며, 분산 정렬 검색 (DAS)은 예상 반 상점 출력의 확률을 최대화하여 중재 후 하위 공간을 최적화합니다. reft - 표현 FINETUNING

REFT는 저 차원 공간 내에서 모델의 숨겨진 표현에 개입합니다. 아래 그림은 층 L에 적용되는 중재 (PHI)를 보여줍니다.

R loreft (저급 선형 서브 스페이스 reft)가 배운 예상 출처를 소개합니다.

여기서

는 숨겨진 표현이며,

는

에 의해 걸려있는 저 차원 공간에서 편집

편집입니다. 신경 네트워크 계층으로의 Loreft 통합은 다음과 같습니다.

LLM 미세 조정 중에 LLM 매개 변수는 동결 상태로 유지되며, 투사 매개 변수 () 만 훈련됩니다. 실험 결과

원래의 REFT 용지는 다양한 벤치 마크에서 전체 미세 조정 (FT), LORA 및 접두사 튜닝에 대한 비교 실험을 제시합니다. REFT 기술은 기존 방법을 지속적으로 능가하여 탁월한 성능을 달성하면서 매개 변수를 90% 이상 줄입니다.

토론 REFT의 호소는 다양한 벤치 마크에서 Llama-Family Models와 인과 추상화의 근거가있는 Llama-Family 모델에 대한 우수한 성능에서 비롯되며, 이는 모델 해석 가능성을 돕습니다. REFT는 뉴런에 걸쳐 분포 된 선형 서브 스페이스가 수많은 작업을 효과적으로 제어 할 수 있음을 보여줍니다.

참조

Wu et al., Reft : 언어 모델에 대한 표현 미세 조정

• Hu et al., Lora : 대형 언어 모델의 낮은 순위 적응 Zhuang et al., 시간 변동 Lora
• liu et al., p-tuning v2 Geiger et al. Lester et al.
Pu et al.
• (참고 : 괄호 자리 표시자를 실제 연구 논문에 대한 실제 링크로 교체하십시오.)

위 내용은 REFT가 필요한 모든 것이 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!