我当前正在为一组shard扩容
之前是3 shard,70亿数据,1.2T,2.4.3
当我将其扩容到6 shard之后发现几个问题:
通过mongostat查看mongos,发现每秒的写入量在500个左右,而新增加的shard分到的写入量在1~5个左右,也就是老的shard上的写入量依旧很大,而新shard的写入量很低,所以导致新写入数据的chunk无法均衡分散。
move chunk经常出现too big的问题,我查看了chunk size是32M,我把它调整到了64M后跑了一晚上,刚才看了下balancer依然会出现这个错误,更令人奇怪的是错误日志里报出too big的estimatedChunkSize
实际上只有20M~50M,小于我的chunk size。
move chunk进行的非常非常缓慢,一般一晚上能move chunk在20个左右。我的每一条数据都很小,是:{"_id":BinData(x,xxxxxxxxx),stat:1}
这样的东西。
请解答,谢谢
MongoDB sharding 中moveChunk過程中chunkTooBig原因分析