python - Scrapy 总是出现卡顿的情况
PHPz
PHPz 2017-04-18 09:03:18
0
3
584

最近发现部分服务器上出现几个情况:

请教scrapy大神,

  1. scrapy在执行scrapy crawl price 后总是停顿十几秒才会打印出下一步的输出结果。

  2. 自动设置use-agent,会卡顿十几秒换下一个use-agent继续卡住。

有没有大神读过源码,知道这是什么情况吗?

PHPz
PHPz

学习是最好的投资!

répondre à tous(3)
巴扎黑

Je ne rencontrerai pas de retards à long terme au début, mais des retards à long terme se produiront après une longue période de temps.

伊谢尔伦

Il n'y a rien de mal avec cela et le code source. Vous devez jeter un œil à votre code, ou publier le code spider pour y jeter un œil. Ce n'est qu'alors que nous pourrons connaître le problème spécifique

伊谢尔伦

Au moins, j'explore les données maintenant et il n'y a pas de décalage comme vous l'avez mentionné. Il n'y aura qu'un léger décalage au début du démarrage, je suppose que c'est parce qu'il y a trop de fichiers chargés. Votre situation en retard. Vous devez voir si c'est à cause du robot que vous avez écrit. Veuillez poster le code.

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal