使用python scrapy框架,循环爬取URL, 每次运行一段时间后直接卡死,没有任何报错
世界只因有你
世界只因有你 2017-06-12 09:27:08
0
2
934

每次运行半小时左右, 直接卡死, log里没有任何报错, 卡死的时候CPU占用率非常高

我在setting.py里设置了download timeout,不是超时的原因

ctrl-c无法正常退出, ctrl-z退出以后, 继续执行还是同样的问题, 半小时后再次卡死

世界只因有你
世界只因有你

全部回复(2)
小葫芦

先TOP看看是内否过高,还是CPU过高,再找到是被哪些进程占用了
如果都是你的爬虫进程,那就得排查代码,看看是不是哪里一直未被释放

总之从各方面去排查吧

Ty80

strace

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板