Wie erreicht Flask Chatgpt-ähnliche Echtzeit-Streaming-Antwort?

Simulieren

Viele Entwickler hoffen, in Flask-Anwendungen ChatGPT-ähnliche Echtzeit-Reaktionseffekte zu erzielen: Die Erzeugung der Inhalte wird kontinuierlich an den Kunden übertragen. Ein einfaches Flask response kann diese Anforderung jedoch nicht erfüllen, und es wartet, bis die Generatorfunktion vor dem Senden des Ergebniss vollständig ausgeführt wird. In diesem Artikel wird erläutert, wie das Flask -Framework verwendet wird, um ein echtes Streaming zu erreichen.

Die Ursache des Problems ist, dass der ursprüngliche Code response Antwortobjekt direkt verwendet, um die Generatorfunktion zu wickeln, wodurch der Browser darauf wartet, dass der Generator vollständig ausgeführt wird, bevor der Inhalt angezeigt wird, was dem erwarteten Echtzeit-Antworteffekt widerspricht.

Der Kern der Verbesserung ist stream_with_context . Der folgende Code -Snippet zeigt den verbesserten Ansatz:

 Aus Flask importieren stream_with_context, anfordern

@App.Route ('/stream')
Def streamed_response ():
    Def generate ():
        Ergeben Sie "Hallo"
        Rendite request.args ['Name']
        Ertrag '!'
    return app.response_class (stream_with_context (generate ()))

stream_with_context(generate()) wickelt die Generatorfunktion. Die Rolle von stream_with_context ist von entscheidender Bedeutung, um sicherzustellen, dass der Generator die Daten unmittelbar nach jeder yield zurückgibt, anstatt darauf zu warten, dass der gesamte Generator abgeschlossen ist. In diesem Beispiel gibt das Programm zunächst "Hallo" zurück, gibt dann den entsprechenden Namen gemäß dem name zurück und schließlich zurück "!"

Im Vergleich zum ursprünglichen Code verwendet der verbesserte Code stream_with_context , um das Problem zu vermeiden, dass die gesamte Generatorfunktion vor der Rückgabe von Daten ausgeführt wird. Real Streaming wird erreicht, und der Client kann Daten in Echtzeit empfangen, wodurch der Echtzeit-Antworteffekt von ChatGPT simuliert wird. Es ist zu beachten, dass request.args['name'] die Parameterübergabemethode zeigt. In den tatsächlichen Anwendungen kann es nach Bedarf durch andere Datenerfassungsmethoden ersetzt werden, z. B. das Erhalten von Daten aus einer Datenbank oder einer anderen API. Auf diese Weise können dynamischere und interaktivere Webanwendungen erstellt werden.

Das obige ist der detaillierte Inhalt vonWie erreicht Flask Chatgpt-ähnliche Echtzeit-Streaming-Antwort?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!