python - Scrapy가 CNKI 응답의 중복 콘텐츠를 캡처합니다.

Question

페이지 넘기기를 요청하는 URL을 탐색하세요

으아악

결과는 응답 요청이 성공했지만 내용은 매번 동일합니다. 그러나 Postman을 사용하여 페이지가 매겨진 URL을 별도로 요청하는 경우에는 이러한 문제가 발생하지 않습니다. = = 금지된 적이 있나요? 이전에는 이런 적이 없었습니다

Answer 1

그런 다음 Postman이나 브라우저를 사용하여 액세스할 때 요청된 헤더와 scrapy를 사용하여 헤더를 요청할 때의 차이점을 분석해야 합니다

Answer 2

크롤링 방지로 인식됨

Answer 3

콘솔에 인쇄된 로그를 보고 다음 페이지가 올바르게 크롤링되는지 확인하세요
2017-06-29 09:26:13 [scrapy] DEBUG: <200 http:xx/page/x>에서 스크랩됨,
Pay 마지막 x(http:xx/page/x)가 변경되었는지 주의하세요