python - Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功
PHP中文网
PHP中文网 2017-04-18 09:18:05
0
1
1061

爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,

这是程序执行主要代码部分

代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?

PHP中文网
PHP中文网

认证0级讲师

全員に返信(1)
左手右手慢动作

いろいろいじって調べた結果、最終的に Linux で実行できるようになりました。初めてクローラー ジョブをスケジュールしたときは有効になりましたが、スケジュールしたときのみ Web ページが解析されませんでした。 2回目は解析が開始され、正常に動作しました。私自身の推測では、apscheduler タスク スケジューリング フレームワークを Scrapy と組み合わせて使用​​する場合は、Twisted フレームワークの下で使用する必要があります。クローラータスクを定期的に実行する場合、初回の解析は行われず、2回目の解析が行われます。

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート
私たちについて 免責事項 Sitemap
PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!