python - Scrapy 总是出现卡顿的情况
PHPz
PHPz 2017-04-18 09:03:18
0
3
590

最近发现部分服务器上出现几个情况:

请教scrapy大神,

  1. scrapy在执行scrapy crawl price 后总是停顿十几秒才会打印出下一步的输出结果。

  2. 自动设置use-agent,会卡顿十几秒换下一个use-agent继续卡住。

有没有大神读过源码,知道这是什么情况吗?

PHPz
PHPz

学习是最好的投资!

모든 응답(3)
巴扎黑

처음에는 장기 지연이 발생하지 않지만 오랜 시간이 지나면 장기 지연이 발생합니다.

伊谢尔伦

이것과 소스코드에는 아무런 문제가 없습니다. 코드를 살펴보시거나 스파이더 코드를 게시하여 살펴보셔야 합니다. 그래야만 구체적인 문제를 알 수 있습니다

伊谢尔伦

적어도 지금은 데이터를 크롤링하고 있는데 말씀하신 것처럼 지연은 없습니다. 시작 시 약간의 지연이 있을 뿐입니다. 로드된 파일이 너무 많기 때문인 것 같습니다. 당신의 뒤쳐진 상황. 자신이 작성한 크롤러 때문인지 확인해야 합니다. 코드를 게시해 주세요.

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿