Python – Scrapy crawlt viel mehr Seiten, als tatsächlich Elemente eingibt?

Question

2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:
Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)

Warum besuche ich mehr Seiten, als ich tatsächlich Elemente eingebe?
Es ist nur so, dass die Elemente nach längerem Crawlen nicht viele Daten enthalten.
Gibt es eine Möglichkeit, das Problem zu lösen?

Answer 1

重定向了，你看到了吧，重定向就得请求两个页面啊。还有就是看有不有页面解析发生了错误。