python - 如何解决程序运行太久之后被操作系统暂停的情况?
扔个三星炸死你
扔个三星炸死你 2017-06-12 09:22:55
0
2
1070

我有几个python爬虫程序,需要持续不间断运行,但是每次都是运行了两天之后变得无响应,每次都是阻塞在time.sleep(60)的地方,但是进程又没有死掉,在控制台输入Ctrl C都不能退出程序,只能在任务管理器里强制退出才行。

请问这是由什么原因导致的?以及如何解决这个问题?

先谢谢各位前辈了!

扔个三星炸死你
扔个三星炸死你

全部回复(2)
巴扎黑

问题分析建议:

linux: 可以尝试通过strace命令追踪进程状态, 根据输出的内容做分析,或者通过proc对应目录的文件对进程的各项指标做分析! Ctrl-C无效,怀疑进程进入不可中断的睡眠,具体还得看实际获取的数据才有可能知道

windows: 通过任务管理器找到对应的进程, 右键->创建转储文件, 分析该转储文件看能否找出原因.

爬虫程序: 自身对爬取的进度,做详细的日志, 不管是链接,还是遇到的异常,最好都记录下来,以便得知具体停止的时间, 和停止时,爬取的进度, 下次可以先针对这个进度再去深入分析.

Ty80

linux系统的话试试用crontab去做定时任务
windows用任务计划

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板