ホームページ > バックエンド開発 > Golang > Web スクレイピングの HTTP GET リクエストのデータ消費を制限するにはどうすればよいですか?

Web スクレイピングの HTTP GET リクエストのデータ消費を制限するにはどうすればよいですか?

Linda Hamilton
リリース: 2024-12-04 22:37:12
オリジナル
230 人が閲覧しました

How Can I Limit Data Consumption in HTTP GET Requests for Web Scraping?

HTTP GET リクエストでのデータ受信の制限

HTML ページをスクレイピングするときは、GET リクエストが過剰なデータを消費してページの停止を防ぐことが重要です。

特定のリソースから受信するデータの量を制御するには、 io.LimitedReader。このリーダーは、ソースから読み取られるデータを指定された制限に効果的に制限します。

// io.LimitedReader limits the number of bytes returned
limitedReader := &io.LimitedReader{R: response.Body, N: limit}
body, err := io.ReadAll(limitedReader)
ログイン後にコピー

別のアプローチは、io.LimitReader を直接使用することです。

body, err := io.ReadAll(io.LimitReader(response.Body, limit))
ログイン後にコピー

いずれかの io.LimitReader を組み込むことによって。 LimitedReader または io.LimitReader メソッドをリクエスト処理コードに組み込むと、最大データ取り込みしきい値を設定して、過剰な応答がスクレイピングを妨げないようにすることができます。効率性。

以上がWeb スクレイピングの HTTP GET リクエストのデータ消費を制限するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ソース:php.cn
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
著者別の最新記事
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート