Télécharger des fichiers sur OpenAI : passer le relais

Pour compléter l'analogie du passage du relais, explorons comment télécharger les fichiers JSONL préparés vers OpenAI à l'aide de leur API Files, ce qui nous permet de nous rapprocher de l'affinage du modèle.

Guide étape par étape pour télécharger des fichiers

Prérequis

• Assurez-vous que le package openai Python est installé. Sinon, installez-le en utilisant :

pip installer openai

• Obtenez votre clé API OpenAI à partir des paramètres API d'OpenAI.

_ Télécharger des fichiers sur OpenAI_

• Voici le script Python pour télécharger les fichiers JSONL préparés.

from openai import OpenAI
client = OpenAI()
# File paths for training and testing datasets
file_paths = {
    "train": "train.jsonl",
    "test": "test.jsonl"
}

# Function to upload a file
def upload_file(file_path, purpose="fine-tune"):
    try:
        response = client.files.create(
            file=open(file_path, "rb"),
            purpose=purpose
        )
        print(f"File uploaded successfully: {file_path}")
        print(f"File ID: {response['id']}")
        return response["id"]
    except Exception as e:
        print(f"Failed to upload {file_path}: {e}")
        return None

# Upload both training and test files
file_ids = {split: upload_file(file_paths[split]) for split in file_paths}

print("Uploaded file IDs:", file_ids)

Explication du Code

Configuration de la clé API :

• Définissez votre clé API OpenAI pour authentifier les demandes.

Chemins des fichiers :

• Spécifiez les chemins d'accès aux fichiers JSONL préparés précédemment (train.jsonl et test.jsonl).

Téléchargement de fichiers :

• Utilisez openai.files.create() pour télécharger les fichiers JSONL sur OpenAI.
• Le paramètre d'objectif est défini sur « affiner » pour affiner les ensembles de données.

Gestion des erreurs :

• Détectez et enregistrez toutes les erreurs rencontrées pendant le processus de téléchargement.

ID de fichier :

• Après le téléchargement, OpenAI attribue un file_id unique à chaque fichier téléchargé. Ces identifiants seront nécessaires lors du lancement du processus de réglage fin.

Exemple de sortie

Si le téléchargement réussit, vous verrez quelque chose comme ceci :

File uploaded successfully: dataset/train.jsonl
File ID: file-abc123xyz456
File uploaded successfully: dataset/test.jsonl
File ID: file-def789uvw012
Uploaded file IDs: {'train': 'file-abc123xyz456', 'test': 'file-def789uvw012'}

Pourquoi cette étape est-elle importante ?

Le téléchargement des fichiers JSONL s'apparente à la remise par Six Triple Eight de son courrier trié aux services postaux pour la livraison finale. Sans cette étape, le processus de réglage fin ne peut pas se poursuivre, car l'infrastructure d'OpenAI a besoin d'accéder à des données structurées et validées pour entraîner efficacement le modèle.

Une fois téléchargé, le relais a été passé à OpenAI et vous êtes prêt à passer au réglage fin du modèle à l'aide de ces fichiers.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!