Web クローラー - Python のrequests.get クローラーセットのプロキシ IP アドレスは変更されていません
typecho
typecho 2017-06-12 09:24:11
0
1
1196

このジョブには Amazon 上の情報をクローリングする必要がありますが、Amazon のアンチクローラーが強力すぎるため、同じ IP アドレスはブロックされます。
Python バージョン: 3.6、IDE: Pycharm 2017.1
ネットでいろいろ調べたり、リクエストライブラリのマニュアルを読んだりしましたが、どれも同じ方法で、コードは次のとおりです。 リーリー

私が読んだ多くのチュートリアルの理論によれば、プロキシが正常に設定されていれば、最後に表示された IP はプロキシの IP アドレスになるはずですが、最終的には実際の IP アドレスのままになります。これはプロキシが設定されていないということでしょうか?

typecho
typecho

Following the voice in heart.

全員に返信(1)
阿神

プロキシは、http にアクセスする場合は http 設定を使用し、https にアクセスする場合は https 設定を使用します
したがって、プロキシを有効にするには、http と https の両方の設定が含まれている必要があります

リーリー
いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート