python - Linux下使用APScheduler 定时执行scrapy爬虫失败,本地windows执行成功
PHP中文网
PHP中文网 2017-04-18 09:18:05
0
1
1054

爬虫使用scrapy框架写的,使用脚本方式执行,配合APScheduler任务调度器定时执行,爬虫本身可以执行,只是定时执行失败,也没有报错误原因,日志见图,

这是程序执行主要代码部分

代码在windows系统可以运行,目前在Linux失败了,请问是什么原因?

PHP中文网
PHP中文网

认证0级讲师

모든 응답(1)
左手右手慢动作

많은 고민과 검색 끝에 마침내 Linux에서 실행하게 되었습니다. 처음 크롤러 작업을 예약했을 때 켜졌으나 웹 페이지를 구문 분석하지 않았습니다. 두 번째로 구문 분석을 시작하고 정상적으로 작동했습니다. 내 추측으로는 React.run()과 관련이 있는 것 같습니다. apscheduler 작업 스케줄링 프레임워크를 Scrapy와 함께 사용할 때는 Twisted 프레임워크에서 사용해야 합니다. 크롤러 작업이 정기적으로 실행될 경우 처음으로 구문 분석이 수행되지 않고 두 번째로 구문 분석됩니다.

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿
회사 소개 부인 성명 Sitemap
PHP 중국어 웹사이트:공공복지 온라인 PHP 교육,PHP 학습자의 빠른 성장을 도와주세요!