mongodb迁移工具

项目地址 [github]地址戳这里.(https://github.com/xbsura/mongo-migrate) 使用go语言编写,与m-tools保持一致,除了go语言自带的库,还需要mgo库支持. 功能 mongodb实例之间的数据迁移,带有根据源与目的的节点性质,进行自动分片,预split与movechunk,创建索引,

项目地址

[github]地址戳这里.(https://github.com/xbsura/mongo-migrate)

使用go语言编写,与m-tools保持一致,除了go语言自带的库,还需要mgo库支持.

功能

mongodb实例之间的数据迁移,带有根据源与目的的节点性质,进行自动分片,预split与movechunk,创建索引,拷贝数据与同步oplog几个过程.

设计

迁移工具分为三个阶段,初始化阶段,数据拷贝与oplog同步,分别使用InitCollection类,CopyData类与OplogSync类实现.

InitCollection

过程:

1. 建立与源,目标的连接,若失败,raise.
2. 初始化两个标识位,s(shard),o(oplog),为0, 0.
3. 检测源类型,若为mongod,检测是否为复制集,若无法检测,raise;若为复制集,令o=1;若为mongos,查看要迁移的ns是否分片,如果分片,检测数据分片类型,若都为复制集,令o=1.
4. 检测目标类型,若为mongod,令s=0.
5. 若s=1,在目标进行分片,按照源的chunk进行split并随机movechunk.

CopyData

过程:
1. 建立源与目的的连接.
2. 获取要迁移的ns.
4. 如果o=1,记录源每个数据分片oplog最新值.
5. 如果源ns分片,按照chunk边界从源并发读,并向目标并发写;如果源未分片,使用一个query查询数据并向目标写.

OplogSync

过程:
1. 如果o=0,退出.
2. 建立源各个数据节点,目标节点(单节点)的连接.
3. 在每个源分片查找oplog ts大于等于CopyData记录时间点的记录,并逐条应用到目标节点.

问题

1. 日志貌似打印有一点点问题.
2. 性能没测试.
3. 代码有点烂.

目前进度 :

完成可运行的版本,没有完整测试.

原文地址：mongodb迁移工具, 感谢原作者分享。