FlaskはどのようにChatGPTのようなリアルタイムストリーミング応答を実現しますか？

Flaskを使用してChatGPTのリアルタイムストリーミング応答をシミュレートします

多くの開発者は、FlaskアプリケーションでChATGPTのようなリアルタイム応答効果を達成したいと考えています。コンテンツ生成は継続的にクライアントに送信されます。ただし、単純なフラスコresponseオブジェクトはこの要件を満たすことができず、結果を送信する前に発電機関数が完全に実行されるまで待ちます。この記事では、フラスコフレームワークを使用して真のストリーミングを実現する方法について説明します。

問題の根本的な原因は、元のコードがresponseオブジェクトを使用してジェネレーター関数をラップすることであり、コンテンツを表示する前にジェネレーターが完全に実行されるのをブラウザが待機させることです。これは、予想されるリアルタイム応答効果に反しています。

改善の中核はstream_with_contextデコレータです。次のコードスニペットは、改善されたアプローチを示しています。

 Flask Import Stream_With_Contextから、リクエスト

@app.route（ '/stream'）
def streamed_response（）：
    def generate（）：
        「こんにちは」を譲る
        lieck request.args ['name']
        収率 '！'
    return app.response_class（s​​tream_with_context（generate（））））

stream_with_context(generate()) generator関数をラップします。 stream_with_contextの役割は重要であり、ジェネレーター全体が完了するのを待つのではなく、ジェネレーターが各yieldの直後にクライアントにデータを返すようにします。この例では、プログラムは最初に「hello」を返し、次にリクエストパラメーターnameに従って対応する名前を返し、最後に「！」を返し、生成と送信の効果を実現します。

元のコードと比較して、改良されたコードはstream_with_contextを使用して、データを返す前にジェネレーター機能全体が実行されるのを待つ問題を回避し、実際のストリーミングが達成され、クライアントはChatGPTのリアルタイム応答効果をシミュレートすることができます。 request.args['name']パラメーターの通過方法を示していることに注意してください。実際のアプリケーションでは、データベースや他のAPIからデータの取得など、必要に応じて他のデータ収集方法に置き換えることができます。このようにして、より動的でインタラクティブなWebアプリケーションを構築できます。

以上がFlaskはどのようにChatGPTのようなリアルタイムストリーミング応答を実現しますか？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。