Python 크롤러 - scrapy가 redis를 사용하는 경우 redis를 설정해야 합니까?

Question

scrapy redis mongodb를 사용하여 크롤러를 작성했는데, 실행 시 규칙을 충족하는 모든 URL을 크롤링할 수 없습니다. redis를 설정해야 하는지 궁금합니다.

Answer 1

이렇게 말씀하시면 문제가 무엇인지 정확히 알 수 없습니다. 오류 코드를 게시하거나 모두에게 확인해 보세요.