Comment puis-je limiter la consommation de données dans les requêtes HTTP GET pour le Web Scraping ?

Limiter la réception de données dans les requêtes HTTP GET

Lors du scraping de pages HTML, il est crucial d'empêcher les requêtes GET de consommer trop de données et de bloquer le processus.

Pour contrôler le volume de données reçues d’une ressource donnée, envisagez d’utiliser un io.LimitedReader. Ce lecteur restreint efficacement les données lues à partir d'une source à une limite spécifiée.

// io.LimitedReader limits the number of bytes returned
limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := io.ReadAll(limitedReader)

Une approche alternative consiste à utiliser directement io.LimitReader :

body, err := io.ReadAll(io.LimitReader(response.Body, limit))

En incorporant soit le fichier io. LimitedReader ou io.LimitReader dans votre code de traitement des requêtes, vous pouvez établir un seuil maximum de prise de données, garantissant que des réponses excessives n'entravent pas votre scraping. efficacité.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!