python - Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功
PHP中文网
PHP中文网 2017-04-18 09:18:05
0
1
1053

爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,

这是程序执行主要代码部分

代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?

PHP中文网
PHP中文网

认证0级讲师

全部回复(1)
左手右手慢动作

经过自己折腾和翻墙查找终于让它在Linux下运行起来了,第一次调度爬虫作业是打开的,但是不解析网页,只有第二次调度它时,它才开始解析并且正常工作。我自己猜测和react.run()有关,apscheduler任务调度框架和Scrapy结合使用时是要在twisted框架下使用的。当要定时执行爬虫任务时,第一次不解析,第二次开始解析。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责声明 Sitemap
PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!