미세 조정 작업 제출: 인력 조직

Six Triple Eight는 규율과 조정을 통해 임무를 수행했습니다. 우리는 LLM이 우리가 선별한 데이터세트에서 학습할 수 있도록 미세 조정 작업을 생성 및 제출함으로써 이를 반영할 것입니다.

OpenAI를 통한 미세 조정

client.fine_tuning.job.create()를 통해 미세 조정 작업을 생성할 때 훈련을 위해 OpenAI에 구성과 데이터 세트를 제출합니다. 주요 매개변수와 그 목적은 다음과 같습니다.

---

1. 매개변수 개요

모델

• 설명: 미세 조정하려는 사전 학습된 GPT 모델입니다.
• 예: "gpt-3.5-turbo", "davinci", "gpt-4-mini"(가설).

훈련_파일

• 설명: 훈련 데이터가 포함된 업로드된 JSONL 파일의 파일 ID입니다.
• 참고: Files API로 데이터 세트를 업로드하고 file_id를 저장하여 이 ID를 얻으세요.

초매개변수

• 설명: 미세 조정 하이퍼파라미터를 지정하는 사전입니다.
• 주요 필드:
  • 배치_크기: 배치당 예시 수(기본적으로 자동).
  • learning_rate_multiplier: 학습률에 대한 배율 인수(기본적으로 자동).
  • n_epochs: 에포크 수(전체 데이터세트를 통과함)

접미사

• 설명: 미세 조정된 모델 이름에 추가되는 맞춤 문자열(최대 18자)입니다.

씨앗

• 설명: 재현성을 위한 정수입니다.
• 용법: 실행 전반에 걸쳐 동일한 무작위화와 일관된 훈련 결과를 보장합니다.

validation_file

• 설명: 검증 세트가 포함된 JSONL 파일의 파일 ID입니다.
• 선택 사항: 그러나 과적합을 추적하고 잘 일반화된 모델을 보장하는 데 권장됩니다.

통합

• 설명: 작업에 활성화하려는 통합(예: 가중치 및 편향) 목록입니다.
• 필드: 일반적으로 유형 및 통합별 구성이 포함됩니다.

---

client.fine_tuning.job.create(
    model="gpt-3.5-turbo",
    training_file="train_id",
    hyperparameters={
        "n_epochs": 1
    },
    validation_file="val_id"
)

미세조정 작업 관리
미세 조정 작업을 최대 10개까지 검색합니다.

client.fine_tuning.jobs.list(limit=10)

---

특정 직업 검색

client.fine_tuning.retrieve("job_id")

---

작업에 대한 이벤트 목록

client.fine_tuning.list_events(
    fine_tuning_job_id="xxxx",
    limit=5
)

요약

• 모델 선택: 적합한 GPT 모델을 선택하여 미세 조정하세요.

• 데이터 준비: JSONL 파일을 업로드하고 해당 ID를 기록해 둡니다.

• 초매개변수: 최적의 성능을 위해 배치 크기, 학습률 및 에포크를 조정합니다.

• 모니터링: 검증 파일, 작업 검색 및 이벤트 로깅을 사용하여 모델이 효과적으로 훈련되는지 확인하세요.

• 재현성: 작업 흐름에 일관된 결과가 중요한 경우 시드를 설정하세요.

• 이러한 단계를 따르면 OpenAI에서 미세 조정 작업을 제출하고 관리할 수 있는 명확한 경로를 확보하여 모델이 사용자 정의 데이터에 대해 정확하게 훈련되도록 할 수 있습니다.

위 내용은 미세 조정 작업 제출: 인력 조직의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!