python - Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功
PHP中文网
PHP中文网 2017-04-18 09:18:05
0
1
1055

爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,

这是程序执行主要代码部分

代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?

PHP中文网
PHP中文网

认证0级讲师

Antworte allen(1)
左手右手慢动作

经过自己折腾和翻墙查找终于让它在Linux下运行起来了,第一次调度爬虫作业是打开的,但是不解析网页,只有第二次调度它时,它才开始解析并且正常工作。我自己猜测和react.run()有关,apscheduler任务调度框架和Scrapy结合使用时是要在twisted框架下使用的。当要定时执行爬虫任务时,第一次不解析,第二次开始解析。

Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website:Online-PHP-Schulung für das Gemeinwohl,Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln!