python - 请问scrapy中如何设置request的重试次数
天蓬老师
天蓬老师 2017-04-18 09:37:31
0
1
901

scrapy版本:1.1.2
python 版本:3.5

在使用scrapy抓取数据的时候使用了代理IP,难免会遇到代理IP失效的情况。

因为对数据完整性要求较高,请问如何设置只要没有成功的返回response则把任务重新放进Request队列中去继续爬取?

天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

membalas semua(1)
阿神

Anda boleh menggunakan scrapy.downloadermiddlewares.retry.RetryMiddleware middleware yang disertakan dengan scrapy, dan kemudian konfigurasikannya melalui parameter ini:
RETRY_ENABLED: sama ada untuk mendayakan cuba semula
RETRY_TIMES: bilangan percubaan semula
RETRY_HTTP_CODECS : Anda perlu mencuba semula apabila anda menemui sebarang kod http Lalai ialah 500, 502, 503, 504, 408. Untuk masalah lain seperti tamat masa sambungan rangkaian, ia juga akan dicuba semula secara automatik

Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan