84669 人学习
152542 人学习
20005 人学习
5487 人学习
7821 人学习
359900 人学习
3350 人学习
180660 人学习
48569 人学习
18603 人学习
40936 人学习
1549 人学习
1183 人学习
32909 人学习
为什么感觉 pyspider 爬取的速度好慢(比自己直接用 requests 和 bs慢多了),是不是因为有些网页会 retry,不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对?求解释
这里可以设置 web ui 控制台上的 rate/burst 参数来调节速度,rate 是 每秒抓取的数量,burst 是并发的数量,默认是 1/3 所以比较慢,还是对这个工具了解不够呀
我没有用过框架来写爬虫,但是我在自己写爬虫的时候,并发写起来,模型越复杂(如线程控制,线程状态监控),效率是越低的。
这里可以设置 web ui 控制台上的 rate/burst 参数来调节速度,rate 是 每秒抓取的数量,burst 是并发的数量,默认是 1/3 所以比较慢,还是对这个工具了解不够呀
我没有用过框架来写爬虫,但是我在自己写爬虫的时候,并发写起来,模型越复杂(如线程控制,线程状态监控),效率是越低的。