Wie optimiert man JSON-Antwortzeiten für große Datensätze in FastAPI?

Optimierung der JSON-Antwortzeiten für große Datensätze in FastAPI

Problem:

Abrufen einer erheblichen Menge an JSON-Daten von einem Der FastAPI-Endpunkt ist merklich langsam und benötigt etwa eine Minute. Die Daten werden zunächst mit json.loads() aus einer Parquet-Datei geladen und vor der Rückgabe gefiltert. Suche nach einem schnelleren Ansatz zur Bereitstellung der Daten.

Lösung:

Die langsame Antwortzeit ist auf mehrere JSON-Konvertierungen innerhalb der Funktion parse_parquet() zurückzuführen. FastAPI kodiert den zurückgegebenen Wert automatisch mit jsonable_encoder, bevor er ihn mit json.dumps() serialisiert, ein zeitaufwändiger Prozess. Externe JSON-Encoder wie orjson oder ujson bieten potenzielle Geschwindigkeitssteigerungen.

Die effizienteste Lösung besteht jedoch darin, unnötige JSON-Konvertierungen zu vermeiden. Der folgende Code verwendet eine benutzerdefinierte APIRoute-Klasse, um direkte JSON-Antworten von Pandas DataFrames zu ermöglichen:

<code class="python">from fastapi import APIRoute

class TimedRoute(APIRoute):
    # Custom handler for capturing response time
    def get_route_handler(self):
        original_route_handler = super().get_route_handler()
        
        async def custom_route_handler(request):
            before = time.time()
            response = await original_route_handler(request)
            duration = time.time() - before
            response.headers["Response-Time"] = str(duration)
            print(f"route duration: {duration}")
            return response

        return custom_route_handler</code>

Mit diesem Code können Sie die Antwortzeiten verschiedener Datenkonvertierungsmethoden vergleichen. Unter Verwendung einer Beispielparkettdatei mit 160.000 Zeilen und 45 Spalten wurden die folgenden Ergebnisse erhalten:

• Standard-FastAPI-Encoder (json.dumps()):Langsamste
• orjson: Vergleichbar mit Standard-Encoder
• ujson: Etwas schneller als orjson
• PandasJSON (df.to_json()):Am deutlichsten schneller

Um die Benutzererfahrung zu verbessern, sollten Sie den Content-Disposition-Header mit dem Anhangsparameter und einem Dateinamen festlegen, um einen Download zu starten, anstatt die Daten im Browser anzuzeigen. Dieser Ansatz umgeht Browser-Einschränkungen und beschleunigt den Prozess.

Darüber hinaus bietet Dask eine optimierte Handhabung großer Datenmengen und bietet Alternativen zu Pandas. Streaming oder asynchrone Antworten können ebenfalls in Betracht gezogen werden, um Speicherprobleme bei der Verarbeitung großer Datenmengen zu vermeiden.

Das obige ist der detaillierte Inhalt vonWie optimiert man JSON-Antwortzeiten für große Datensätze in FastAPI?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!