クロール時にブロックされる IP に関連する問題

WBOY
リリース: 2016-06-13 12:32:02
オリジナル
943 人が閲覧しました

クロール時に IP がブロックされる問題

この投稿の最終編集者は zzfkyo 2013-11-24 22:36:33 最近、Web サイトのコンテンツをクロールする必要があり、最初は IP アドレスがブロックされることがわかったので、ユーザー エージェントを Google スパイダーに置き換えました。 、スヌーピーを使用してIPを取得しました(取得するたびにランダムなIPに変更します)が、100ページ以上クロールした後でもIPはブロックされており、クロールできません。何か良い解決策はありますか。 ?
スヌーピー 掴む IP をブロック
関連ラベル:
ソース:php.cn
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート