如何限制 Web 抓取的 HTTP GET 请求中的数据消耗？

限制 HTTP GET 请求中的数据接收

抓取 HTML 页面时，防止 GET 请求消耗过多数据并导致延迟是至关重要的process.

要控制从给定资源接收的数据量，请考虑使用io.LimitedReader。此读取器有效将从源读取的数据限制在指定的限制内。

// io.LimitedReader limits the number of bytes returned
limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := io.ReadAll(limitedReader)

另一种方法是直接使用 io.LimitReader：

body, err := io.ReadAll(io.LimitReader(response.Body, limit))

通过合并 io.LimitReader 或 io.LimitReader 。 LimitedReader 或 io.LimitReader 方法放入您的请求处理代码中，您可以建立最大数据摄入阈值，确保过多的响应不会阻碍您的抓取效率。

以上是如何限制 Web 抓取的 HTTP GET 请求中的数据消耗？的详细内容。更多信息请关注PHP中文网其他相关文章！