pool = redis.ConnectionPool(host=host, port=port)
client = redis.StrictRedis(connection_pool=pool)
for i in range(10000):
for j in range(30):
client.lpush(IDLE_TASKS, json.dumps(args))
这种执行效率低的可怕。
需要等几十秒,才能插入完成。
请问有没更高效率的处理手法?
args 只是以一个元组内容随意(1,2,"3")之类
因为我个人没用过redis这个库, 所以只能尝试从你给出的代码去给些建议, 不喜勿喷:
1.不知道你的这个
args
是哪来的, 但是在这个循环体中, 似乎没看到改变, 所以能否将这个json.dumps(args)
放到循环体外面执行:2.看到你大概要生成30万的同样的数据, 能否将这个数据先生成, 再一次性
client.lpush
? 因为毕竟tcp也有自身的延迟因素3.可以通过
cProfile
库去找出耗时长的地方, 也可以尝试换别的库去实现(这个具体得自己去google了)