如何优化 FastAPI 中大型数据集的 JSON 响应时间？

优化 FastAPI 中大型数据集的 JSON 响应时间

问题：

从FastAPI 端点明显慢，大约需要一分钟。数据最初使用 json.loads() 从 parquet 文件加载，并在返回之前进行过滤。寻求一种更快的方法来传递数据。

解决方案：

响应时间缓慢源于 parse_parquet() 函数中的多次 JSON 转换。 FastAPI 自动使用 jsonable_encoder 对返回值进行编码，然后使用 json.dumps() 对其进行序列化，这是一个耗时的过程。像 orjson 或 ujson 这样的外部 JSON 编码器可以提供潜在的速度增强。

但是，最有效的解决方案是避免不必要的 JSON 转换。以下代码利用自定义 APIRoute 类来启用来自 pandas DataFrame 的直接 JSON 响应：

<code class="python">from fastapi import APIRoute

class TimedRoute(APIRoute):
    # Custom handler for capturing response time
    def get_route_handler(self):
        original_route_handler = super().get_route_handler()
        
        async def custom_route_handler(request):
            before = time.time()
            response = await original_route_handler(request)
            duration = time.time() - before
            response.headers["Response-Time"] = str(duration)
            print(f"route duration: {duration}")
            return response

        return custom_route_handler</code>

此代码允许您比较不同数据转换方法的响应时间。使用具有 160,000 行和 45 列的示例 parquet 文件，获得以下结果：

• 默认 FastAPI 编码器 (json.dumps()): 最慢
• orjson: 与默认编码器相当
• ujson: 比 orjson 稍快
• PandasJSON (df.to_json()): 速度明显更快

为了改善用户体验，请考虑使用附件参数和文件名设置 Content-Disposition 标头来启动下载，而不是在浏览器中显示数据。这种方法绕过了浏览器限制并加快了处理速度。

此外，Dask 提供了大型数据集的优化处理，提供了 pandas 的替代方案。在处理海量数据时，还可以考虑流式或异步响应以避免内存问题。

以上是如何优化 FastAPI 中大型数据集的 JSON 响应时间？的详细内容。更多信息请关注PHP中文网其他相关文章！