
六三八依靠紀律和協調來執行任務。我們將透過創建和提交微調作業來反映這一點,允許法學碩士從我們策劃的資料集中學習。
使用 OpenAI 進行微調
當您透過 client.fine_tuning.job.create() 建立微調作業時,您將設定和資料集提交給 OpenAI 進行訓練。以下是關鍵參數及其用途。
1. 參數概述
模型
-
描述:您想要微調的預訓練 GPT 模型。
-
例:「gpt-3.5-turbo」、「davinci」、「gpt-4-mini」(假設)。
訓練文件
-
描述:包含訓練資料的已上傳 JSONL 檔案的檔案 ID。
-
注意:透過使用檔案 API 上傳資料集並儲存 file_id 來取得此 ID。
超參數
-
描述:指定微調超參數的字典。
-
關鍵字段:
-
batch_size:每批的範例數(預設為自動)。
-
Learning_rate_multiplier:學習率的比例因子(預設為自動)。
-
n_epochs:紀元數(穿過整個資料集)。
後綴
-
描述:附加到微調模型名稱後的自訂字串(最多 18 個字元)。
種子
-
描述:用於再現性的整數。
-
用法:確保運行中具有相同的隨機化和一致的訓練結果。
驗證文件
-
描述:包含驗證集的 JSONL 檔案的檔案 ID。
-
可選:但建議用於追蹤過度擬合並確保良好泛化的模型。
整合
-
描述:您希望為作業啟用的整合清單(例如權重和偏差)。
-
欄位:通常包括類型和特定於整合的配置。
1 2 3 4 5 6 7 8 | client.fine_tuning.job.create(
model= "gpt-3.5-turbo" ,
training_file= "train_id" ,
hyperparameters={
"n_epochs" : 1
},
validation_file= "val_id"
)
|
登入後複製
管理微調作業
檢索最多 10 個微調作業。
1 | client.fine_tuning.jobs.list(limit=10)
|
登入後複製
檢索特定工作
1 | client.fine_tuning.retrieve( "job_id" )
|
登入後複製
列出作業的事件
1 2 3 4 | client.fine_tuning.list_events(
fine_tuning_job_id= "xxxx" ,
limit=5
)
|
登入後複製
總結
模型選擇:選擇適合的GPT模型進行微調。
資料準備:上傳 JSONL 檔案並記下其 ID。
超參數:調整批次大小、學習率和週期以獲得最佳效能。
監控:使用驗證文件、作業擷取和事件記錄來確保您的模型有效訓練。
再現性:如果一致的結果對您的工作流程很重要,請設定種子。
透過執行這些步驟,您將擁有在 OpenAI 中提交和管理微調作業的清晰路徑,確保您的模型根據自訂資料進行精確訓練。
以上是提交微調工作:組織勞動力的詳細內容。更多資訊請關注PHP中文網其他相關文章!