抓取網頁時如何限制 HTTP GET 請求的資料消耗？

限制HTTP GET 請求中的資料消耗

抓取HTML 頁面時，限制HTTP GET 中接收的資料量可能會有好處避免潛在瓶頸的請求。這在處理傳遞過多資料的 URL 時尤其重要。

要實現此目的，請考慮使用 io.LimitedReader 或 io.LimitReader。這些工具使您能夠控制從回應中讀取的最大位元組數。

使用io.LimitedReader:

limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := io.ReadAll(limitedReader)

使用io.LimitReader:

body, err := io.ReadAll(io.LimitReader(response.Body, limit))

使用io.LimitReader:

使用io.LimitReader: 使用io.LimitReader:

以上是抓取網頁時如何限制 HTTP GET 請求的資料消耗？的詳細內容。更多資訊請關注PHP中文網其他相關文章！