python - Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功
PHP中文网
PHP中文网 2017-04-18 09:18:05
0
1
1058

爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,

这是程序执行主要代码部分

代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?

PHP中文网
PHP中文网

认证0级讲师

membalas semua(1)
左手右手慢动作

Setelah banyak mengutak-atik dan mencari di atas dinding, akhirnya saya dapat menjalankannya di bawah Linux Kali pertama saya menjadualkan kerja crawler, ia dihidupkan, tetapi ia tidak menghuraikan halaman web Hanya apabila saya menjadualkannya untuk kali kedua ia mula menghuraikan dan berfungsi seperti biasa. Tekaan saya sendiri ialah ia berkaitan dengan react.run(). Apabila rangka kerja penjadualan tugas apscheduler digunakan bersama dengan Scrapy, ia mesti digunakan di bawah rangka kerja berpintal. Apabila tugas crawler akan dilaksanakan dengan kerap, penghuraian tidak akan dilakukan buat kali pertama, tetapi akan dihuraikan untuk kali kedua.

Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan
Tentang kita Penafian Sitemap
Laman web PHP Cina:Latihan PHP dalam talian kebajikan awam,Bantu pelajar PHP berkembang dengan cepat!