上傳檔案到 OpenAI：傳遞接力棒

為了完成傳遞接力棒的類比，讓我們探索如何使用 OpenAI 的檔案 API 將準備好的 JSONL 檔案上傳到 OpenAI，使我們能夠更進一步地微調模型。

上傳檔案的逐步指南

先決條件

• 確保您已安裝 openai Python 套件。如果沒有，請使用以下命令安裝：

pip install openai

• 從 OpenAI 的 API 設定中取得您的 OpenAI API 金鑰。

_上傳檔案到OpenAI_

• 這是用於上傳準備好的 JSONL 檔案的 Python 腳本。

from openai import OpenAI
client = OpenAI()
# File paths for training and testing datasets
file_paths = {
    "train": "train.jsonl",
    "test": "test.jsonl"
}

# Function to upload a file
def upload_file(file_path, purpose="fine-tune"):
    try:
        response = client.files.create(
            file=open(file_path, "rb"),
            purpose=purpose
        )
        print(f"File uploaded successfully: {file_path}")
        print(f"File ID: {response['id']}")
        return response["id"]
    except Exception as e:
        print(f"Failed to upload {file_path}: {e}")
        return None

# Upload both training and test files
file_ids = {split: upload_file(file_paths[split]) for split in file_paths}

print("Uploaded file IDs:", file_ids)

代碼說明

API 金鑰設定：

• 設定您的 OpenAI API 金鑰以驗證請求。

檔案路徑：

• 指定先前準備的 JSONL 檔案（train.jsonl 和 test.jsonl）的路徑。

上傳檔案：

• 使用 openai.files.create() 將 JSONL 檔案上傳到 OpenAI。
• 目的參數設定為“fine-tune”，用於微調資料集。

錯誤處理：

• 捕獲並記錄上傳過程中遇到的任何錯誤。

檔案 ID：

• 上傳後，OpenAI 會為每個上傳的檔案指派一個唯一的 file_id。啟動微調過程時將需要這些 ID。

輸出範例

如果上傳成功，您會看到以下內容：

File uploaded successfully: dataset/train.jsonl
File ID: file-abc123xyz456
File uploaded successfully: dataset/test.jsonl
File ID: file-def789uvw012
Uploaded file IDs: {'train': 'file-abc123xyz456', 'test': 'file-def789uvw012'}

為什麼這一步很重要？

上傳 JSONL 檔案類似於六三八將已分類的郵件移交給郵政服務進行最終投遞。如果沒有這一步，微調過程就無法繼續，因為 OpenAI 的基礎設施需要存取結構化的、經過驗證的資料來有效地訓練模型。

上傳後，接力棒已傳遞給 OpenAI，您就可以繼續使用這些檔案對模型進行微調。

以上是上傳檔案到 OpenAI：傳遞接力棒的詳細內容。更多資訊請關注PHP中文網其他相關文章！