84669인 학습
152542인 학습
20005인 학습
5487인 학습
7821인 학습
359900인 학습
3350인 학습
180660인 학습
48569인 학습
18603인 학습
40936인 학습
1549인 학습
1183인 학습
32909인 학습
pyspdier的 result_worker感觉比较鸡肋,一般大量数据爬取不会存到数据库,而是序列化到磁盘。那么result_worker的设计方向是否变化一下?从原来的存储爬取结果,变成一些爬取结果情况的统计信息,比如一段时间内某个project的爬取成功,失败数量,抛出result数量。如果支持一些图表化更好了。
认证高级PHP讲师
认证高级PHP讲师