爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,
这是程序执行主要代码部分
代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?
认证0级讲师
經過自己折騰和翻牆查找終於讓它在Linux下運行起來了,第一次調度爬蟲作業是打開的,但是不解析網頁,只有第二次調度它時,它才開始解析並且正常工作。我自己猜測和react.run()有關,apscheduler任務調度框架和Scrapy結合使用時是要在twisted框架下使用的。當要定時執行爬蟲任務時,第一次不解析,第二次開始解析。
經過自己折騰和翻牆查找終於讓它在Linux下運行起來了,第一次調度爬蟲作業是打開的,但是不解析網頁,只有第二次調度它時,它才開始解析並且正常工作。我自己猜測和react.run()有關,apscheduler任務調度框架和Scrapy結合使用時是要在twisted框架下使用的。當要定時執行爬蟲任務時,第一次不解析,第二次開始解析。