python - 请问scrapy中如何设置request的重试次数
天蓬老师
天蓬老师 2017-04-18 09:37:31
0
1
905

scrapy版本:1.1.2
python 版本:3.5

在使用scrapy抓取数据的时候使用了代理IP,难免会遇到代理IP失效的情况。

因为对数据完整性要求较高,请问如何设置只要没有成功的返回response则把任务重新放进Request队列中去继续爬取?

天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

모든 응답(1)
阿神

crapy와 함께 제공되는 scrapy.downloadermiddlewares.retry.RetryMiddleware 미들웨어를 사용한 후 다음 매개변수를 통해 구성할 수 있습니다.
RETRY_ENABLED: 재시도 활성화 여부
RETRY_TIMES: 재시도 횟수
RETRY_HTTP_CODECS : http 코드가 발견되면 다시 시도해야 합니다. 기본값은 500, 502, 503, 504, 408입니다. 네트워크 연결 시간 초과와 같은 다른 문제의 경우에도 자동으로 다시 시도됩니다.

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿