python - 请问scrapy中如何设置request的重试次数
天蓬老师
天蓬老师 2017-04-18 09:37:31
0
1
902

scrapy版本:1.1.2
python 版本:3.5

在使用scrapy抓取数据的时候使用了代理IP,难免会遇到代理IP失效的情况。

因为对数据完整性要求较高,请问如何设置只要没有成功的返回response则把任务重新放进Request队列中去继续爬取?

天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

répondre à tous(1)
阿神

Vous pouvez utiliser le scrapy.downloadermiddlewares.retry.RetryMiddleware middleware fourni avec Scrapy, puis le configurer via ces paramètres :
RETRY_ENABLED : s'il faut activer les nouvelles tentatives
RETRY_TIMES : le nombre de tentatives
RETRY_HTTP_CODECS : Vous devez réessayer lorsque vous rencontrez un code http. La valeur par défaut est 500, 502, 503, 504, 408. Pour d'autres problèmes tels que l'expiration du délai de connexion réseau, il sera également automatiquement réessayé

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal