84669 Lernen von Personen
152542 Lernen von Personen
20005 Lernen von Personen
5487 Lernen von Personen
7821 Lernen von Personen
359900 Lernen von Personen
3350 Lernen von Personen
180660 Lernen von Personen
48569 Lernen von Personen
18603 Lernen von Personen
40936 Lernen von Personen
1549 Lernen von Personen
1183 Lernen von Personen
32909 Lernen von Personen
scrapy版本:1.1.2python 版本:3.5
在使用scrapy抓取数据的时候使用了代理IP,难免会遇到代理IP失效的情况。
因为对数据完整性要求较高,请问如何设置只要没有成功的返回response则把任务重新放进Request队列中去继续爬取?
欢迎选择我的课程,让我们一起见证您的进步~~
可以使用scrapy自带的scrapy.downloadermiddlewares.retry.RetryMiddleware中间件,然后通过这几个参数进行配置:RETRY_ENABLED: 是否开启retryRETRY_TIMES: 重试次数RETRY_HTTP_CODECS: 遇到什么http code时需要重试,默认是500,502,503,504,408,其他的,网络连接超时等问题也会自动retry的
scrapy.downloadermiddlewares.retry.RetryMiddleware
RETRY_ENABLED
RETRY_TIMES
RETRY_HTTP_CODECS
可以使用scrapy自带的
scrapy.downloadermiddlewares.retry.RetryMiddleware
中间件,然后通过这几个参数进行配置:RETRY_ENABLED
: 是否开启retryRETRY_TIMES
: 重试次数RETRY_HTTP_CODECS
: 遇到什么http code时需要重试,默认是500,502,503,504,408,其他的,网络连接超时等问题也会自动retry的