Liebe Python-Crawler-Experten, werfen Sie einen Blick darauf, wie Sie mit dem Anti-Crawling dieser Website umgehen können.

Question

https://www.every saving.co.uk
Die Daten dieser Website werden über Python gecrawlt, die Daten können jedoch nicht zurückgegeben werden! Ich habe den Header und die Proxy-IP zum Crawlen hinzugefügt, aber es hat nicht funktioniert. Ich hoffe, ihr könnt es versuchen. . .

Answer 1

代理访问网站可见下图：

通过https://www.17ce.com/，发现大陆几乎都被屏蔽了，Http状态返回403。
此网站的安全策略级别比较高，建议使用欧美地区的高匿代理 VPN或者服务器，降低抓取频次。

Answer 2

fiddler抓包，浏览器发什么你就发什么

Answer 3

你这个地址直接通过浏览器也访问不了呀，被墙了吧？

Answer 4

我直接点开是不能访问的，测试用了新加坡的代理可以打开