Compter les jetons : trier les détails

Les femmes du Six Triple Eight ont été confrontées à un défi monumental : déchiffrer des adresses incomplètes, des surnoms et des écritures tachées dans des délais stricts. De même, lors du réglage fin des données personnalisées avec les données OpenAI, il est crucial de comprendre l'utilisation des jetons, non seulement pour garantir que le modèle peut gérer des tâches complexes, mais également pour gérer efficacement les coûts.

À l'aide de Tiktoken, nous calculons le nombre de jetons dans nos données texte pour rester dans les limites de jetons d'OpenAI et optimiser l'efficacité. La mise au point d'un modèle n'est pas seulement un défi technique ; cela a des implications financières. Les tarifs d'OpenAI, par exemple, montrent que le réglage fin de GPT-3.5 Turbo coûte 0,008 $ pour 1 000 jetons. Pour mettre les choses en perspective, 1 000 jetons équivalent à peu près à 750 mots.

En bref, le réglage fin peut être coûteux, les coûts évoluant directement avec l'utilisation des jetons. La planification et la budgétisation à l'avance, tout comme les Six Triple Eight ont méticuleusement trié leur arriéré, sont la clé du succès.

Code

import tiktoken

def cal_num_tokens_from_row(string:str,encoding_name:str)-> int:
  encoding = tiktoken.encoding_for_model(encoding_name)  
  num_tokens = len(encoding.encode(string))
  return num_tokens

def cal_num_tokens_from_df(df,encoding_name:str) -> int:
   total_tokens = 0
   for text in df['text']:
     total_tokens += cal_num_tokens_from_row(text,encoding_name)
   return total_tokens

total_tokens = cal_num_tokens_from_df(df,'gpt-3.5-turbo')
print(f"total {total_tokens}")

Sur la base du nombre total de jetons, le réglage fin pourrait coûter entre 8 et 9 $, ce qui pourrait être prohibitif pour un particulier. La planification et la budgétisation sont essentielles pour gérer efficacement ces coûts.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!