python - 为什么感觉 pyspider 爬取的速度好慢

Question

为什么感觉 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因为有些网页会 retry，不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对？求解释

Answer 1

Di sini anda boleh menetapkan parameter kadar/letupan pada konsol web ui untuk melaraskan kelajuan Kadar ialah bilangan rangkak sesaat, dan letusan ialah bilangan konkurensi lalainya ialah 1/3 lambat. Saya masih tidak tahu tentang alat ini Yeah

Answer 2

Saya tidak pernah menggunakan rangka kerja untuk menulis perangkak, tetapi apabila saya sendiri menulis perangkak, model yang lebih kompleks (seperti kawalan benang, pemantauan status benang), semakin rendah kecekapan semasa menulis secara serentak.