84669 人学习
152542 人学习
20005 人学习
5487 人学习
7821 人学习
359900 人学习
3350 人学习
180660 人学习
48569 人学习
18603 人学习
40936 人学习
1549 人学习
1183 人学习
32909 人学习
每次运行半小时左右, 直接卡死, log里没有任何报错, 卡死的时候CPU占用率非常高
我在setting.py里设置了download timeout,不是超时的原因
ctrl-c无法正常退出, ctrl-z退出以后, 继续执行还是同样的问题, 半小时后再次卡死
先TOP看看是内否过高,还是CPU过高,再找到是被哪些进程占用了如果都是你的爬虫进程,那就得排查代码,看看是不是哪里一直未被释放
总之从各方面去排查吧
strace
先TOP看看是内否过高,还是CPU过高,再找到是被哪些进程占用了
如果都是你的爬虫进程,那就得排查代码,看看是不是哪里一直未被释放
总之从各方面去排查吧
strace