미세 조정 라마 2 : 큰 언어 모델 사용자 정의에 대한 단계별 안내서

Meta의 Llama는 GPT-3.5와 같은 모델과 같은 대형 언어 모델 (LLM) 개발의 급증을 촉발시켰다. 오픈 소스 커뮤니티는 점점 더 강력한 모델을 빠르게 생산했지만 이러한 발전은 어려움이 없었습니다. 많은 오픈 소스 LLM은 제한 라이센스 (연구 사용 만)를 가지고 있었고, 미세 조정을위한 상당한 예산이 필요했으며, 배치하는 데 비용이 많이 들었다. 이 안내서는 자원 제약을 극복하기 위해 효율적인 기술을 활용하여 Google Colab에서 미세 조정 LLAMA-2를 보여줍니다. 우리는 메모리 사용을 최소화하고 훈련을 가속화하는 방법론을 탐구 할 것입니다.

Dall-e 3

를 사용하여 저자가 생성 한 이미지 미세 조정 llama-2 : 단계별 안내서 이 튜토리얼은 T4 GPU (Google Colab 또는 Kaggle에서 사용할 수 있음)에서 7 억 개의 매개 변수 LLAMA-2 모델을 미세 조정합니다. T4의 16GB VRAM은 특히 Qlora (4 비트 정밀도)를 사용하여 매개 변수 효율적인 미세 조정이 필요합니다. 우리는 Hugging Face 생태계 (Transformers, Accelerate, Peft, TRL, Bitsandbytes)를 사용합니다. 1. 설정 : 필요한 라이브러리를 설치하십시오 :

가져 오기 모듈 :

2. 모델 및 데이터 세트 선택 :

우리는

(공식 llama-2에 쉽게 액세스 할 수있는 A)를 기본 모델로 사용하고 소규모 훈련 데이터 세트로 를 사용할 것입니다.

포옹 얼굴 모델과 데이터 세트를 보여주는 이미지는 여기에 원본과 동일합니다. 3. 데이터 및 모델로드 : 데이터 세트를로드하십시오

Qlora를 사용하여 4 비트 양자화를 구성하십시오

4 비트 양자화로 LLAMA-2 모델을로드하십시오

토큰 화기를로드하십시오 : Qlora를 설명하는 이미지 이미지는 여기에 원본과 동일합니다 4. PEFT 구성 : 효율적인 미세 조정을 위해 PEFT 매개 변수를 정의합니다

5. 훈련 매개 변수 :

는 훈련 하이퍼 파라미터 (출력 디렉토리, 에포크, 배치 크기, 학습 속도 등)를 설정합니다. 세부 사항은 원본과 동일합니다.

<code>%%capture
%pip install accelerate peft bitsandbytes transformers trl</code>

6. sft로 미세 조정 :

감독 된 미세 조정을 위해 TRL 라이브러리의 를 사용하십시오.

<code>import os
import torch
from datasets import load_dataset
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig,
    TrainingArguments,
    pipeline,
    logging,
)
from peft import LoraConfig
from trl import SFTTrainer</code>

훈련 진행 및 모델 저장을 보여주는 스크린 샷은 여기에 원본과 동일합니다. 7. 평가 :

파이프 라인을 사용하여 미세 조정 모델을 테스트하십시오. 원본과 동일한 예제가 제공됩니다 transformers 8. Tensorboard 시각화 :

Tensorboard를 시작하여 교육 메트릭을 모니터링합니다

Tensorboard의 스크린 샷은 여기에 원본과 동일합니다 결론 :

이 안내서는 제한된 하드웨어에서 효율적인 LLAMA-2 미세 조정을 보여줍니다. Qlora 및 기타 기술을 사용하면 더 많은 청중이 고급 LLM에 액세스 할 수 있습니다. 추가 리소스와 학습 경로는 결국 원본과 유사하지만 마케팅 전화가없는 경우에 언급되어 있습니다.

위 내용은 미세 조정 라마 2 : 큰 언어 모델 사용자 정의에 대한 단계별 안내서의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!