python - pyspider爬pdf爬了一小段时间后就不动了

Question

下载了一小部分之后就不动了，stop之后重新跑也没有任何反应，有人知道是怎么回事吗？谢谢大家。

Answer 1

放代碼吧 騷年

Answer 2

根據 dashboard 最上方的資訊

scheduler 到 fetcher 有100個佇列中的任務
fetcher 到 processor 也有100個佇列中的任務
processor 下游都是空的

因為預設的佇列容量為 100，這說明在 processor 發生了堵塞，那就要看 processor 在幹什麼，是不是死掉了。