python - Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功
PHP中文网
PHP中文网 2017-04-18 09:18:05
0
1
1059

爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,

这是程序执行主要代码部分

代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?

PHP中文网
PHP中文网

认证0级讲师

répondre à tous(1)
左手右手慢动作

Après de nombreuses recherches et recherches sur le mur, je l'ai finalement fait fonctionner sous Linux. La première fois que j'ai planifié le travail du robot, il a été activé, mais il n'a pas analysé la page Web uniquement lorsque je l'ai planifié pour le. la deuxième fois, l'analyse a commencé et a fonctionné normalement. Je suppose que cela est lié à React.run(). Lorsque le cadre de planification des tâches Apscheduler est utilisé conjointement avec Scrapy, il doit être utilisé dans le cadre torsadé. Lorsque la tâche du robot doit être exécutée régulièrement, l'analyse ne sera pas effectuée pour la première fois, mais sera analysée pour la deuxième fois.

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal
À propos de nous Clause de non-responsabilité Sitemap
Site Web PHP chinois:Formation PHP en ligne sur le bien-être public,Aidez les apprenants PHP à grandir rapidement!