python - scrapy capture le contenu en double de la réponse CNKI

Question

Parcourez l'URL demandant de tourner la page

for i in range(3):
    yield Request("http:xx/page/%s"%str(i),callback=self.parse_page)

Le résultat est que la demande de réponse réussit, mais le contenu est le même à chaque fois. Cependant, utiliser Postman pour demander les URL paginées séparément ne pose pas ce problème. = = Avez-vous été banni ? Cela n'a jamais été comme ça auparavant

Answer 1

Ensuite, nous devons analyser la différence entre les en-têtes demandés lors de l'accès à l'aide de Postman ou d'un navigateur et la demande d'en-têtes à l'aide de Scrapy

Answer 2

Reconnu par anti-crawling

Answer 3

Regardez le journal imprimé par la console pour voir si la page suivante a été explorée correctement
2017-06-29 09:26:13 [scrapy] DEBUG : gratté de <200 http:xx/page/x>,
Faites attention à savoir si le dernier x (http:xx/page/x) a changé