Python クローラーの専門家の皆様、この Web サイトを参照して、アンチクローリングに対処する方法を確認してください。

Question

https://www.every Saving.co.uk
この Web サイトのデータを Python 経由でクロールしましたが、データは返されません。クロールするためにヘッダーとプロキシ IP を追加しましたが、機能しませんでした。ぜひ試してみてください。 。 。

Answer 1

プロキシ アクセス Web サイトは以下の図で見ることができます:

https://www.17ce.com/ を通じて、中国本土のほぼすべてがブロックされており、HTTP ステータスが 403 を返していることがわかりました。
この Web サイトのセキュリティ ポリシー レベルは比較的高く、クロールの頻度を減らすために、匿名性の高いプロキシ VPN またはヨーロッパおよび米国のサーバーを使用することをお勧めします。

Answer 2

Fiddler はパケットをキャプチャし、ブラウザーが送信するものは何でも送信できます

Answer 3

あなたのアドレスはブラウザから直接アクセスできません。ブロックされていますか?

Answer 4

直接クリックしてもアクセスできません。シンガポールでプロキシを使用してテストしたところ、開くことができました。