python - pyspider爬pdf爬了一小段时间后就不动了

Question

下载了一小部分之后就不动了，stop之后重新跑也没有任何反应，有人知道是怎么回事吗？谢谢大家。

Answer 1

放代码吧 骚年

Answer 2

根据 dashboard 最上方的信息

scheduler 到 fetcher 有100条队列中的任务
fetcher 到 processor 也有100条队列中的任务
processor 下游都是空的

因为默认的队列容量为 100，这说明在 processor 发生了堵塞，那就要看 processor 在干什么，是不是死掉了。