最近发现部分服务器上出现几个情况:
请教scrapy大神,
scrapy在执行scrapy crawl price 后总是停顿十几秒才会打印出下一步的输出结果。
自动设置use-agent,会卡顿十几秒换下一个use-agent继续卡住。
有没有大神读过源码,知道这是什么情况吗?
学习是最好的投资!
처음에는 장기 지연이 발생하지 않지만 오랜 시간이 지나면 장기 지연이 발생합니다.
이것과 소스코드에는 아무런 문제가 없습니다. 코드를 살펴보시거나 스파이더 코드를 게시하여 살펴보셔야 합니다. 그래야만 구체적인 문제를 알 수 있습니다
적어도 지금은 데이터를 크롤링하고 있는데 말씀하신 것처럼 지연은 없습니다. 시작 시 약간의 지연이 있을 뿐입니다. 로드된 파일이 너무 많기 때문인 것 같습니다. 당신의 뒤쳐진 상황. 자신이 작성한 크롤러 때문인지 확인해야 합니다. 코드를 게시해 주세요.
처음에는 장기 지연이 발생하지 않지만 오랜 시간이 지나면 장기 지연이 발생합니다.
이것과 소스코드에는 아무런 문제가 없습니다. 코드를 살펴보시거나 스파이더 코드를 게시하여 살펴보셔야 합니다. 그래야만 구체적인 문제를 알 수 있습니다
적어도 지금은 데이터를 크롤링하고 있는데 말씀하신 것처럼 지연은 없습니다. 시작 시 약간의 지연이 있을 뿐입니다. 로드된 파일이 너무 많기 때문인 것 같습니다. 당신의 뒤쳐진 상황. 자신이 작성한 크롤러 때문인지 확인해야 합니다. 코드를 게시해 주세요.