84669 人学习
152542 人学习
20005 人学习
5487 人学习
7821 人学习
359900 人学习
3350 人学习
180660 人学习
48569 人学习
18603 人学习
40936 人学习
1549 人学习
1183 人学习
32909 人学习
同一份代码在本地测试请求数据页返回200,但是在线上之前请求的步骤都可以成功请求到,到请求数据页这步一直返回417
用Advanced REST client在本地模拟这段请求也是可以通过的
查了一下原因,有可能是服务器被识别被封了,如果是这样请问如何解决?谢谢
人生最曼妙的风景,竟是内心的淡定与从容!
爬虫有两点很重要,控制抓爬频率,使用代理抓爬,慢一点没关系,持久有效才是目标。
很可能是服务器因为采集数据过多被封了,这样只能使用HTTP代理了
爬虫有两点很重要,控制抓爬频率,使用代理抓爬,慢一点没关系,持久有效才是目标。
很可能是服务器因为采集数据过多被封了,这样只能使用HTTP代理了