Bagaimanakah flask melaksanakan streaming data masa nyata seperti ChATGPT?

Membina aliran data masa nyata menggunakan kerangka flask: Meniru Respons Chatgpt

Dalam pembangunan aplikasi web flask, sering kali perlu mensimulasikan kesan penghantaran data masa nyata dari CHATGPT, iaitu, data dihasilkan dan dihantar kepada klien dengan segera, dan bukannya menunggu semua data dihasilkan sebelum menghantarnya bersama-sama. Artikel ini akan memperkenalkan cara menggunakan Flask untuk melaksanakan streaming ini dan menyelesaikan masalah latensi yang hadir dalam kaedah tradisional.

Masalah dengan kaedah tradisional ialah apabila objek response menerima nilai pulangan fungsi yang dihasilkan, ia akan menyekat sehingga fungsi dilaksanakan sepenuhnya, dan kemudian semua data akan dikembalikan kepada klien pada satu masa. Ini menyebabkan pelanggan menunggu sehingga proses keseluruhan generasi selesai sebelum melihat sebarang output.

Untuk mencapai transmisi masa nyata, kita perlu menggunakan flask's stream_with_context penghias. Penghias ini memastikan bahawa ia dihantar kepada pelanggan dengan segera setiap kali data dihasilkan, mengelakkan kelewatan.

Kod yang lebih baik adalah seperti berikut:

 Dari Flask Import Flask, Response, Stream_With_Context
dari masa tidur import

app = flask (__ name__)

@App.Route ('/Stream')
aliran def ():
    def menghasilkan ():
        untuk saya dalam julat (1, 21):
            Cetak (i)
            hasil f'this adalah item {i} \ n '
            Tidur (0.5)

    Response Return (stream_with_context (menghasilkan ()), mimetype = 'text/plain')

jika __name__ == '__main__':
    app.run (debug = benar)

Kuncinya adalah untuk memohon stream_with_context ke nilai pulangan fungsi generate() . Ini membolehkan objek response menghantar data dengan serta-merta selepas setiap operasi yield , dengan itu mencapai kesan penghantaran masa nyata. Berbanding dengan kaedah tradisional, versi yang lebih baik ini mensimulasikan tindak balas masa nyata Chatgpt dengan lebih tepat. Kandungan fungsi generate() boleh diselaraskan mengikut keperluan sebenar, seperti membaca data dari pangkalan data atau melakukan pengiraan kompleks, selagi sejumlah kecil data dihasilkan setiap kali dan dikembalikan menggunakan yield . Ini menyediakan penyelesaian penghantaran data streaming yang lebih fleksibel dan cekap.

Atas ialah kandungan terperinci Bagaimanakah flask melaksanakan streaming data masa nyata seperti ChATGPT?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!