python - Scrapy 总是出现卡顿的情况
PHPz
PHPz 2017-04-18 09:03:18
0
3
583

最近发现部分服务器上出现几个情况:

请教scrapy大神,

  1. scrapy在执行scrapy crawl price 后总是停顿十几秒才会打印出下一步的输出结果。

  2. 自动设置use-agent,会卡顿十几秒换下一个use-agent继续卡住。

有没有大神读过源码,知道这是什么情况吗?

PHPz
PHPz

学习是最好的投资!

Antworte allen(3)
巴扎黑

我在一开始不会遇见卡顿很长的情况,较长一段时间后才会出现卡顿时间长的情况。

伊谢尔伦

这个和源码没有什么问题吧,你得看看你的代码,或者贴出spider代码看看。才能知道具体哪里的问题

伊谢尔伦

至少我现在爬数据,没有出现过你说的卡顿的情况。只会在刚刚开始启动的时候会出现一小下的卡顿情况,我猜测是因为加载的文件太多的原因。你的卡顿情况。得看看是不是你写的爬虫的原因。贴一下代码吧。

Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage