java - 迁移数据效率问题

问题描述

问 题

问题描述如下

100万数据从A机房的一个表迁移到B机房的一个表，两个表结构不一样。我的实现方法如下：查出数据来，java层面进行数据的转义，然后开了30个线程，进行分页同步数据。即每次查询500条数据，然后插入B机房的表。线程池中有30个线程。

现在的问题是：

迁移到效率很慢，很慢。17万数据就用了一个多小时，还没有跑完数据，请问有什么方案可以提高效率的么？？？

解决方案

有3个地方可能存在效率问题

1. JDBC调用的时候没有采用Batch Update，导致性能低

2. 每次查500条太少了，每次查个几千条应该没问题

3. B机房的表有索引、约束，应该在迁移的时候把这些关掉或者drop掉，迁移完成后再打开

这篇关于java - 迁移数据效率问题的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！