迁移数据效率问题
高洛峰
高洛峰 2016-11-07 14:12:10
0
1
605

问题描述如下

100万数据从A机房的一个表迁移到B机房的一个表,两个表结构不一样。我的实现方法如下:查出数据来,java层面进行数据的转义,然后开了30个线程,进行分页同步数据。即每次查询500条数据,然后插入B机房的表。线程池中有30个线程。

现在的问题是:

迁移到效率很慢,很慢。17万数据就用了一个多小时,还没有跑完数据,请问有什么方案可以提高效率的么???


高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

répondre à tous(1)
三叔

有3个地方可能存在效率问题

JDBC调用的时候没有采用Batch Update,导致性能低

每次查500条太少了,每次查个几千条应该没问题

B机房的表有索引、约束,应该在迁移的时候把这些关掉或者drop掉,迁移完成后再打开


Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal