GemBatch を使用してプロンプトチェーンのコストを抑える-Python チュートリアル-php.cn

GemBatch を使用してプロンプトチェーンのコストを抑える

Patricia Arquette

リリース： 2024-11-25 16:14:10

オリジナル

643 人が閲覧しました

Taming the Cost of Prompt Chaining with GemBatch

プロンプトチェーンは、大規模言語モデル (LLM) との対話方法に革命をもたらしています。複数のプロンプトをリンクすることで、複雑で動的な会話を作成し、複雑なタスクに取り組むことができます。しかし、この力には文字通り代償が伴います。 Google の Gemini などの LLM サービスへの API 呼び出しごとに料金が加算されます。

多くの LLM プロバイダーは、バッチ処理というソリューションを提供しています。 1 回のリクエストで複数のプロンプトを送信すると、大幅な割引 (多くの場合約 50%!) が受けられます。ただし、プロンプトチェーンワークフロー内でバッチ処理を実装すると、すぐにコーディングの悪夢に変わる可能性があります。

バッチプロンプトチェーンの課題

複数ステップの対話を備えたチャットボットを構築していると想像してください。従来のプロンプトチェーンでは、各ユーザーメッセージを送信し、モデルの応答を待ってから次のプロンプトを作成します。ただし、一括割引を利用するには、次のことを行う必要があります:

プロンプトを蓄積する: すぐに送信する代わりに、プロンプトをバッチに収集します。
非同期性を採用する: バッチを送信し、ジョブが完了するまで (場合によっては長時間) 待ちます。
応答のマップ: バッチ結果が到着したら、各応答をチェーン内の対応するプロンプトと正確に照合します。

これに加えて、レート制限、エラー、再試行を処理する必要があります。これにより、コードが複雑になり、読み取り、デバッグ、保守が難しくなる可能性があります。

GemBatch の登場: プロンプトチェーンヒーロー

GemBatch は、Google の Gemini とのバッチプロンプトチェーンを簡素化するために設計された Python フレームワークです。 Firebase とシームレスに統合され、LLM アプリケーションに使い慣れたスケーラブルな環境を提供します。

GemBatch がどのようにあなたの作業を楽にするかは次のとおりです:

簡単なバッチ処理: GemBatch は、バックグラウンドでプロンプトのバッチ処理の複雑さを処理します。従来の方法と同じように、プロンプトチェーンを順番に定義します。
非同期処理: GemBatch は非同期バッチジョブを管理し、アプリケーションをブロックすることなくプロンプトチェーンがスムーズに実行されるようにします。
簡素化された応答マッピング: GemBatch は、応答をプロンプトチェーン内の正しいポイントに自動的にルーティングします。
コスト削減: Gemini のバッチ割引を活用することで、GemBatch は LLM API コストを大幅に削減できます。

簡単な例

import gembatch

# Define a simple prompt chain
def task_a_prompt1():
    gembatch.submit(
        {
            "contents": [
                {
                    "role": "user",
                    "parts": [{"text": "What is the capital of France?"}],
                }
            ],
        },  # prompt 1
        "publishers/google/models/gemini-1.5-pro-002",
        task_a_prompt2
    )

def task_a_prompt2(response: generative_models.GenerationResponse):
    gembatch.submit(
        {
            "contents": [
                {
                    "role": "model",
                    "parts": [{"text": response.text}],
                },
                {
                    "role": "user",
                    "parts": [{"text": f"And what is the population of {response.text}?"}],
                }
            ],
        },  # prompt 2
        "publishers/google/models/gemini-1.5-pro-002",
        task_a_output
    )

def task_a_output(response: generative_models.GenerationResponse):
    print(response.text)

# Start the prompt chain
task_a_prompt1()

ログイン後にコピー

この簡単な例は、Gembatch で gembatch.submit() を使用してプロンプトチェーンを定義する方法を示しています。 Gembatch は、Gemini へのリクエストのバッチ処理と非同期応答の管理を処理します。