Mistral 7b 튜토리얼 : 사용 및 미세 조정 미래 7b에 대한 단계별 안내서

이 튜토리얼은 자연 언어 처리 작업을위한 Mistral 7B 언어 모델을 사용하고 미세 조정하는 것에 대한 포괄적 인 안내서를 제공합니다. 모델 액세스를 위해 Kaggle을 활용하고, 추론을 수행하고, 양자화 기술을 적용하고, 모델을 미세 조정하고, 어댑터를 병합하고, Hugging Face Hub에 배치하는 법을 배웁니다.

액세스 미스트랄 7b Mistral 7b는 Hugging Face, Vertex AI, Replice, Sagemaker Jumpstart 및 Baseten을 포함한 다양한 플랫폼을 통해 액세스 할 수 있습니다. 이 튜토리얼은 간소화 된 액세스를위한 Kaggle의 "모델"기능을 활용하여 수동 다운로드가 필요하지 않습니다. 이 섹션에서는 Kaggle에서 모델을로드하고 추론을 수행하는 것을 보여줍니다. 필수 라이브러리 업데이트는 오류를 방지하는 데 중요합니다 비트 샌드 비트를 사용한 NF4 구성을 통한 4 비트 양자화는 로딩 속도를 향상시키고 메모리 사용량을 줄입니다.

Kaggle 노트북에 Mistral 7B 모델을 추가하면 다음과 같은 단계가 포함됩니다.

오른쪽 패널에서 "모델 추가"를 클릭하십시오 "Mistral 7b"를 검색하고 "7B-V0.1-HF"를 선택하고 추가하십시오 디렉토리 경로에 주목하십시오

모델 및 토 케이저 로딩은

라이브러리를 사용합니다 :

<code>!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes</code>

추론은 함수를 사용하여 단순화됩니다 :

모델을 제기하고 매개 변수를 설정 :

미스트랄 7b 미세 조정 from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig, pipeline import torch bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_use_double_quant=True, ) 이 섹션은 PEFT, 4 비트 양자화 및 QLORA와 같은 기술을 사용하여

데이터 세트에서 미세 조정 된 미스트랄 7b를 안내합니다. 튜토리얼은 또한 추가 컨텍스트를 위해 미세 조정 라마 2에 대한 안내서를 참조합니다.

설정 필요한 라이브러리가 설치되어 있습니다 :

관련 모듈이 가져옵니다 :
• API 키는 Kaggle 비밀을 사용하여 안전하게 관리됩니다
포옹 얼굴과 무게 및 바이어스가 구성됩니다
• 기본 모델, 데이터 세트 및 새 모델 이름이 정의됩니다
데이터로드 데이터 세트가로드되고 샘플이 표시됩니다
로딩 된 미스트랄 7b 모델에는 4 비트 정밀도가 장착되어 있습니다 토큰 화기로드 토큰 화기가로드되고 구성됩니다 어댑터 추가 효율적인 미세 조정을 위해 LORA 어댑터가 추가됩니다

하이퍼 파라 미터 훈련 인수는 정의됩니다 transformers SFT 훈련

sfttrainer가 구성되고 훈련이 시작됩니다 :

<code>!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes</code>

모델을 저장하고 밀고 미세 조정 된 모델이 저장되어 포옹 페이스 허브로 밀려납니다 :

모델 평가 모델 성능은 가중치 및 바이어스를 사용하여 평가됩니다. 추론 예제가 제공됩니다.

어댑터 병합 어댑터는 기본 모델과 병합되고 결과 모델은 포옹 얼굴로 밀려납니다. 미세 조정 된 모델 에 액세스합니다 병합 된 모델은 포옹 얼굴에서로드되고 추론이 시연됩니다.

결론 튜토리얼은 Mistral 7b의 기능 요약과 모델에 액세스, 미세 조정 및 배포하는 데 관련된 단계를 요약하여 결론을 내립니다. 자원과 FAQ도 포함되어 있습니다. 사용자 가이 강력한 언어 모델로 작업 할 수있는 실용적인 가이드를 제공하는 것입니다.

위 내용은 Mistral 7b 튜토리얼 : 사용 및 미세 조정 미래 7b에 대한 단계별 안내서의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!