Bagaimanakah flask mencapai respons streaming masa nyata seperti chatgpt?

Simulasi tindak balas streaming masa nyata dari chatgpt menggunakan kelalang

Ramai pemaju berharap dapat mencapai kesan tindak balas masa nyata seperti ChatGPT dalam aplikasi flask: penjanaan kandungan terus dihantar kepada pelanggan. Walau bagaimanapun, objek response kelalang mudah tidak dapat memenuhi keperluan ini, dan ia akan menunggu sehingga fungsi penjana dilaksanakan sepenuhnya sebelum menghantar hasilnya. Artikel ini membincangkan cara menggunakan kerangka flask untuk mencapai streaming yang benar.

Sebab akar masalah adalah bahawa kod asal terus menggunakan objek response untuk membungkus fungsi penjana, menyebabkan penyemak imbas menunggu penjana untuk melaksanakan sepenuhnya sebelum kandungan dapat dipaparkan, yang bertentangan dengan kesan tindak balas masa nyata yang diharapkan.

Inti penambahbaikan ialah penghias stream_with_context . Coretan kod berikut menunjukkan pendekatan yang lebih baik:

 Dari Flask Import Stream_With_Context, permintaan

@App.Route ('/Stream')
def streamed_response ():
    def menghasilkan ():
        menghasilkan 'hello'
        Permintaan hasil.Args ['Nama']
        Hasil '!'
    kembali app.response_class (stream_with_context (menghasilkan ()))

stream_with_context(generate()) membungkus fungsi penjana. Peranan stream_with_context adalah penting, memastikan bahawa penjana mengembalikan data kepada pelanggan sebaik sahaja setiap yield , dan bukannya menunggu keseluruhan penjana selesai. Dalam contoh ini, program ini mula -mula mengembalikan "Hello", kemudian mengembalikan nama yang sepadan mengikut name parameter permintaan, dan akhirnya kembali "!", Menyedari kesan menjana dan menghantar.

Berbanding dengan kod asal, kod yang lebih baik menggunakan stream_with_context untuk mengelakkan masalah menunggu keseluruhan fungsi penjana dilaksanakan sebelum mengembalikan data, streaming sebenar dicapai, dan pelanggan dapat menerima data dalam masa nyata, dengan itu mensimulasikan kesan tindak balas masa nyata dari CHATGPT. Harus diingat bahawa request.args['name'] menunjukkan kaedah lulus parameter. Dalam aplikasi sebenar, ia boleh digantikan dengan kaedah pemerolehan data lain yang diperlukan, seperti mendapatkan data dari pangkalan data atau API lain. Dengan cara ini, aplikasi web yang lebih dinamik dan interaktif boleh dibina.

Atas ialah kandungan terperinci Bagaimanakah flask mencapai respons streaming masa nyata seperti chatgpt?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!