我有几个python爬虫程序,需要持续不间断运行,但是每次都是运行了两天之后变得无响应,每次都是阻塞在time.sleep(60)的地方,但是进程又没有死掉,在控制台输入Ctrl C都不能退出程序,只能在任务管理器里强制退出才行。
请问这是由什么原因导致的?以及如何解决这个问题?
先谢谢各位前辈了!
问题分析建议:
linux: 可以尝试通过strace命令追踪进程状态, 根据输出的内容做分析,或者通过proc对应目录的文件对进程的各项指标做分析! Ctrl-C无效,怀疑进程进入不可中断的睡眠,具体还得看实际获取的数据才有可能知道
linux
strace
proc
Ctrl-C
windows: 通过任务管理器找到对应的进程, 右键->创建转储文件, 分析该转储文件看能否找出原因.
windows
爬虫程序: 自身对爬取的进度,做详细的日志, 不管是链接,还是遇到的异常,最好都记录下来,以便得知具体停止的时间, 和停止时,爬取的进度, 下次可以先针对这个进度再去深入分析.
爬虫程序
linux系统的话试试用crontab去做定时任务windows用任务计划
问题分析建议:
linux
: 可以尝试通过strace
命令追踪进程状态, 根据输出的内容做分析,或者通过proc
对应目录的文件对进程的各项指标做分析!Ctrl-C
无效,怀疑进程进入不可中断的睡眠,具体还得看实际获取的数据才有可能知道windows
: 通过任务管理器找到对应的进程, 右键->创建转储文件, 分析该转储文件看能否找出原因.爬虫程序
: 自身对爬取的进度,做详细的日志, 不管是链接,还是遇到的异常,最好都记录下来,以便得知具体停止的时间, 和停止时,爬取的进度, 下次可以先针对这个进度再去深入分析.linux系统的话试试用crontab去做定时任务
windows用任务计划