84669 Lernen von Personen
152542 Lernen von Personen
20005 Lernen von Personen
5487 Lernen von Personen
7821 Lernen von Personen
359900 Lernen von Personen
3350 Lernen von Personen
180660 Lernen von Personen
48569 Lernen von Personen
18603 Lernen von Personen
40936 Lernen von Personen
1549 Lernen von Personen
1183 Lernen von Personen
32909 Lernen von Personen
为什么感觉 pyspider 爬取的速度好慢(比自己直接用 requests 和 bs慢多了),是不是因为有些网页会 retry,不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对?求解释
这里可以设置 web ui 控制台上的 rate/burst 参数来调节速度,rate 是 每秒抓取的数量,burst 是并发的数量,默认是 1/3 所以比较慢,还是对这个工具了解不够呀
我没有用过框架来写爬虫,但是我在自己写爬虫的时候,并发写起来,模型越复杂(如线程控制,线程状态监控),效率是越低的。
这里可以设置 web ui 控制台上的 rate/burst 参数来调节速度,rate 是 每秒抓取的数量,burst 是并发的数量,默认是 1/3 所以比较慢,还是对这个工具了解不够呀
我没有用过框架来写爬虫,但是我在自己写爬虫的时候,并发写起来,模型越复杂(如线程控制,线程状态监控),效率是越低的。