84669 人學習
152542 人學習
20005 人學習
5487 人學習
7821 人學習
359900 人學習
3350 人學習
180660 人學習
48569 人學習
18603 人學習
40936 人學習
1549 人學習
1183 人學習
32909 人學習
为什么感觉 pyspider 爬取的速度好慢(比自己直接用 requests 和 bs慢多了),是不是因为有些网页会 retry,不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对?求解释
這裡可以設定 web ui 控制台上的 rate/burst 參數來調節速度,rate 是 每秒抓取的數量,burst 是並發的數量,預設是 1/3 所以比較慢,還是對這個工具了解不夠呀
我沒有用過框架來寫爬蟲,但是我在自己寫爬蟲的時候,並發寫起來,模型越複雜(如線程控制,線程狀態監控),效率是越低的。
這裡可以設定 web ui 控制台上的 rate/burst 參數來調節速度,rate 是 每秒抓取的數量,burst 是並發的數量,預設是 1/3 所以比較慢,還是對這個工具了解不夠呀
我沒有用過框架來寫爬蟲,但是我在自己寫爬蟲的時候,並發寫起來,模型越複雜(如線程控制,線程狀態監控),效率是越低的。