各位python爬蟲大牛看過來,這個網站的反爬蟲怎麼處理

Question

https://www.everysaving.co.uk
透過python爬取這個網站的資料,然而返回不了資料,！我加入了header和代理IP去抓取,也不行,望各位大牛們不妨試試看。 。 。

#

Answer 1

代理訪問網站可見下圖：

透過https://www.17ce.com/，發現大陸幾乎都被屏蔽了，Http狀態回傳403。
此網站的安全策略等級比較高，建議使用歐美地區的高匿代理 VPN或伺服器，降低抓取頻次。

Answer 2

fiddler抓包，瀏覽器發什麼你就發什麼

Answer 3

你這個地址直接透過瀏覽器也訪問不了呀，被牆了吧？

Answer 4

我直接點開是不能訪問的，測試用了新加坡的代理可以打開