改成异步也没多大用处,你这里是计算密集型,你的费时应该在 "key in need_cols", need_cols应该也是一个很大的数组,想办法优化这块就好。试试改成这样
ind = set(i.keys()) & set(need_cols) temp = {d: i[d] for d in ind}
自问自答
改成生成器就好了
def data_generator(*args): for i in v_data: # v_data是个较大的dict temp = {key: value for key, value in i.iteritems() if key in need_cols} # 部分key不需要 temp["sid"] = sid # 单独加一个sid yield temp
改成异步也没多大用处,你这里是计算密集型,你的费时应该在 "key in need_cols", need_cols应该也是一个很大的数组,想办法优化这块就好。
试试改成这样
自问自答
改成生成器就好了