Python – Scrapy erfasst doppelten Inhalt der CNKI-Antwort

Question

Überqueren Sie die URL, um das Umblättern anzufordern

for i in range(3):
    yield Request("http:xx/page/%s"%str(i),callback=self.parse_page)

Das Ergebnis ist, dass die Antwortanforderung erfolgreich ist, der Inhalt jedoch jedes Mal derselbe ist. Bei der Verwendung von Postman zum separaten Anfordern der paginierten URLs tritt dieses Problem jedoch nicht auf. = = Wurdest du gesperrt? So war es noch nie

Answer 1

那就要分析一下用postman或者浏览器访问时请求的header头和用scrapy请求头有什么区别

Answer 2

被反爬识别到了

Answer 3

看下控制台打印的log，看看是否正确抓取了下一页
2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,
注意最后一个x(http:xx/page/x)是否是变化的