python - Scrapy 总是出现卡顿的情况

Question

最近发现部分服务器上出现几个情况：

请教scrapy大神，

1. scrapy在执行scrapy crawl price 后总是停顿十几秒才会打印出下一步的输出结果。

2. 自动设置use-agent，会卡顿十几秒换下一个use-agent继续卡住。

有没有大神读过源码，知道这是什么情况吗？

Answer 1

我一開始不會遇見卡頓很長的情況，較長一段時間後才會出現卡頓時間長的情況。

Answer 2

這個和原始碼沒什麼問題吧，你得看看你的程式碼，或是貼出spider程式碼看看。才能知道具體哪裡的問題

Answer 3

至少我現在爬數據，沒有出現過你說的卡頓的情況。只會在剛開始啟動的時候會出現一小下的卡頓情況，我猜測是因為載入的檔案太多的原因。你的卡頓情況。得看看是不是你寫的爬蟲的原因。貼一下代碼吧。