python - 为什么感觉 pyspider 爬取的速度好慢

Question

为什么感觉 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因为有些网页会 retry，不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对？求解释

Answer 1

Ici, vous pouvez définir le paramètre rate/burst sur la console de l'interface utilisateur Web pour ajuster la vitesse. Le taux est le nombre d'analyses par seconde et le burst est le nombre de simultanéités. La valeur par défaut est 1/3, c'est donc relativement. lent. Je ne connais toujours pas assez cet outil. Ouais

Answer 2

Je n'ai jamais utilisé de framework pour écrire des robots d'exploration, mais lorsque j'écris moi-même des robots d'exploration, plus le modèle est complexe (comme le contrôle des threads, la surveillance de l'état des threads), plus l'efficacité lors de l'écriture simultanée est faible.