84669 人学习
152542 人学习
20005 人学习
5487 人学习
7821 人学习
359900 人学习
3350 人学习
180660 人学习
48569 人学习
18603 人学习
40936 人学习
1549 人学习
1183 人学习
32909 人学习
遍历请求翻页的url
for i in range(3): yield Request("http:xx/page/%s"%str(i),callback=self.parse_page)
结果response请求成功 但是每次内容都一样的没变化都是第一次请求时的内容,但是用postman分别请求分页的url就没有这问题。= = 是被ban了吗 之前就不会这样
人生最曼妙的风景,竟是内心的淡定与从容!
那就要分析一下用postman或者浏览器访问时请求的header头和用scrapy请求头有什么区别
被反爬识别到了
看下控制台打印的log,看看是否正确抓取了下一页2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一个x(http:xx/page/x)是否是变化的
那就要分析一下用postman或者浏览器访问时请求的header头和用scrapy请求头有什么区别
被反爬识别到了
看下控制台打印的log,看看是否正确抓取了下一页
2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,
注意最后一个x(http:xx/page/x)是否是变化的