Python - スクレイピーを使用してクローラーを作成します。リクエストを送信すると、サーバーはすべて 202 を直接返します。どうすればよいですか?
黄舟
黄舟 2017-06-28 09:25:09
0
2
1647

中国判決文書ネットワークをクロールしました。以前は問題ありませんでした。リクエストを送信すると、サーバーは 200 を返し、本文内のデータを処理しました

しかし一週間前、突然すべてのリクエストが 202 を返し、レスポンスボディも空になり、データがまったく取得できなくなりました。コールバック関数で (response.status == 202) の間ブロックして待機しましたが、使用してもステータスは変化しません

それについて何ができるでしょうか?

crwalera の IP プロキシ サービスを利用しました。前もしばらく 202 でしたが、 1 日で治りましたが、今回は 1 週間続いており、非常に不思議です

対象の Web サイトの負荷が高すぎると思うので、非同期メソッドを使用してデータを送信しますが、scrapy でデータを正しく受信するにはどうすればよいですか?

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

全員に返信(2)
学霸

この状況は通常、違法なクロールによって引き起こされ、サーバーはクロール防止制限を実装しています。合法的にキャプチャされた場合は、コンテンツ部門に連絡して、偶発的な損害がないかどうかを確認できます。違法にキャプチャされた場合は、これを行わないことをお勧めします

いいねを押す +0
过去多啦不再A梦

収集が妨げられている場合は、IP アドレスを変更するか、収集を防ぐための抜け穴を探してみることができます

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート