Vous pouvez utiliser le scrapy.downloadermiddlewares.retry.RetryMiddleware middleware fourni avec Scrapy, puis le configurer via ces paramètres : RETRY_ENABLED : s'il faut activer les nouvelles tentatives RETRY_TIMES : le nombre de tentatives RETRY_HTTP_CODECS : Vous devez réessayer lorsque vous rencontrez un code http. La valeur par défaut est 500, 502, 503, 504, 408. Pour d'autres problèmes tels que l'expiration du délai de connexion réseau, il sera également automatiquement réessayé
Vous pouvez utiliser le
scrapy.downloadermiddlewares.retry.RetryMiddleware
middleware fourni avec Scrapy, puis le configurer via ces paramètres :RETRY_ENABLED
: s'il faut activer les nouvelles tentativesRETRY_TIMES
: le nombre de tentativesRETRY_HTTP_CODECS
: Vous devez réessayer lorsque vous rencontrez un code http. La valeur par défaut est 500, 502, 503, 504, 408. Pour d'autres problèmes tels que l'expiration du délai de connexion réseau, il sera également automatiquement réessayé