페이지 넘기기를 요청하는 URL을 탐색하세요
결과는 응답 요청이 성공했지만 내용은 매번 동일합니다. 그러나 Postman을 사용하여 페이지가 매겨진 URL을 별도로 요청하는 경우에는 이러한 문제가 발생하지 않습니다. = = 금지된 적이 있나요? 이전에는 이런 적이 없었습니다
人生最曼妙的风景，竟是内心的淡定与从容！
그런 다음 Postman이나 브라우저를 사용하여 액세스할 때 요청된 헤더와 scrapy를 사용하여 헤더를 요청할 때의 차이점을 분석해야 합니다
크롤링 방지로 인식됨
콘솔에 인쇄된 로그를 보고 다음 페이지가 올바르게 크롤링되는지 확인하세요2017-06-29 09:26:13 [scrapy] DEBUG: <200 http:xx/page/x>에서 스크랩됨, Pay 마지막 x(http:xx/page/x)가 변경되었는지 주의하세요
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
그런 다음 Postman이나 브라우저를 사용하여 액세스할 때 요청된 헤더와 scrapy를 사용하여 헤더를 요청할 때의 차이점을 분석해야 합니다
크롤링 방지로 인식됨
콘솔에 인쇄된 로그를 보고 다음 페이지가 올바르게 크롤링되는지 확인하세요
2017-06-29 09:26:13 [scrapy] DEBUG: <200 http:xx/page/x>에서 스크랩됨,
Pay 마지막 x(http:xx/page/x)가 변경되었는지 주의하세요