python - 关于pyspdier的result_worker

Question

pyspdier的 result_worker感觉比较鸡肋，一般大量数据爬取不会存到数据库，而是序列化到磁盘。那么result_worker的设计方向是否变化一下？从原来的存储爬取结果，变成一些爬取结果情况的统计信息，比如一段时间内某个project的爬取成功，失败数量，抛出result数量。如果支持一些图表化更好了。