OpenAI JSONL 形式の理解: レコードの整理

郵便サービスの郵便物仕分けの初期の頃、シックス・トリプル・エイトは、返送された手紙が無効としてマークされるという課題に直面しました。これは多くの場合、このような膨大な量のメールを処理する経験がなかったことに起因するエラーが原因でした。時間をかけて、名前を連隊や階級と照合する革新的なインデックス システムを開発し、効率と精度を大幅に向上させました。

同様に、OpenAI の大規模言語モデル (LLM) を使用する場合、必要な入力形式を理解し、それに従うことが重要です。メールのインデックス付けが不適切だと手紙が返送されるのと同じように、データの形式が不適切だと、微調整が効果的でなく、最適とは言えない結果が生じる可能性があります。 OpenAI は、微調整のための組織フレームワークとして JSONL (JSON Lines) 形式を使用し、データが構造化されて処理の準備が整っていることを確認します。

JSONL 形式を使用する理由

JSONL 形式では、データを行ごとの構造で保存でき、各行が JSON 形式の単一レコードを表します。この構造はコンパクトで読みやすく、OpenAI の微調整 API と互換性があります。適切なフォーマットにより、次のことが保証されます。

• 精度: モデルは意図したとおりにデータを処理し、エラーを回避します。

• 効率: 一貫した構造により、微調整がシームレスになります。

• スケーラビリティ: 複雑な構成を必要とせずに、大規模なデータセットを効果的に管理できます。

微調整用の JSONL 形式の例

OpenAI モデルを微調整するためにデータが JSONL でフォーマットされる一般的な方法は次のとおりです。

 openai_format = {
        "message":[
            {"role":"system","content":system},
            {"role":"user","content":""},
            {"role":"assistant","content":""}
        ]
    }

各レコードには 3 つの主要なコンポーネントがあります:

• システム: プロンプトが必要です

• user: サンプルデータ。

• アシスタント: データのラベル

変換しましょう

import  json
df = pd.read_csv('/content/dataset/train.csv', on_bad_lines='skip')

final_df = df.head(150)
total_tokens = cal_num_tokens_from_df(final_df,'gpt-3.5-turbo')
print(f"total {total_tokens}")


system ="You are a intelligent assistant designed to classify news articles into three categories :business ,entertainment,sport,tech,politics"
with open('dataset/train.jsonl','w') as f:
  for _,row in final_df.iterrows():
    openai_format = {
        "message":[
            {"role":"system","content":system},
            {"role":"user","content":row['text']},
            {"role":"assistant","content":row['label']}
        ]
    }
    json.dump(openai_format,f)
    f.write('\n')

応答サンプル

{"message": [{"role": "system", "content": "You are a intelligent assistant designed to classify news articles into three categories :business ,entertainment,sport,tech,politics"}, {"role": "user", "content": "qantas considers offshore option australian airline qantas could transfer as"}, {"role": "assistant", "content": "business"}]}

シックス・トリプル・エイトからの教訓

シックス・トリプル・エイトの郵便処理における初期の課題は、準備と学習の重要性を浮き彫りにしています。彼らのインデックス作成の革新により、JSONL 形式に準拠することで微調整により効果的で正確な結果が得られるのと同様に、レコードが正しく照合され、配信されることが保証されました。

LLM を微調整する場合、データを理解し、正しい形式で構造化することは、メールの仕分け技術を習得するためのシックス トリプル エイトの旅と同じくらい重要です。歴史とテクノロジーの両方から学ぶことで、複雑な物流上の課題を解決する上で目覚ましい成果を上げることができます。

以上がOpenAI JSONL 形式の理解: レコードの整理の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。