python - Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功
PHP中文网
PHP中文网 2017-04-18 09:18:05
0
1
1057

爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,

这是程序执行主要代码部分

代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?

PHP中文网
PHP中文网

认证0级讲师

全部回覆(1)
左手右手慢动作

經過自己折騰和翻牆查找終於讓它在Linux下運行起來了,第一次調度爬蟲作業是打開的,但是不解析網頁,只有第二次調度它時,它才開始解析並且正常工作。我自己猜測和react.run()有關,apscheduler任務調度框架和Scrapy結合使用時是要在twisted框架下使用的。當要定時執行爬蟲任務時,第一次不解析,第二次開始解析。

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!