python - Scrapy 总是出现卡顿的情况

Question

最近发现部分服务器上出现几个情况：

请教scrapy大神，

scrapy在执行scrapy crawl price 后总是停顿十几秒才会打印出下一步的输出结果。
自动设置use-agent，会卡顿十几秒换下一个use-agent继续卡住。

有没有大神读过源码，知道这是什么情况吗？

巴扎黑 · Answer

Saya tidak akan menghadapi ketinggalan jangka panjang pada mulanya, tetapi ketinggalan jangka panjang akan berlaku selepas tempoh masa yang panjang.

伊谢尔伦 · Answer

Tidak ada yang salah dengan ini dan kod sumber Anda perlu melihat kod anda, atau menyiarkan kod labah-labah untuk melihatnya. Barulah kita boleh tahu masalah khusus

伊谢尔伦 · Answer

Sekurang-kurangnya saya sedang merangkak data sekarang dan tiada lag seperti yang anda nyatakan. Hanya akan ada sedikit ketinggalan pada permulaan permulaan saya rasa ia adalah kerana terdapat terlalu banyak fail yang dimuatkan. Keadaan anda yang ketinggalan. Anda perlu melihat sama ada ia disebabkan oleh perangkak yang anda tulis. Sila hantar kod.