基于Oracle的大数据导入方案探索

数据导入功能在报表项目中是经常可见的，因为它是报表数据展示的基础，但对于大量数据的导入，真正从性能、效率等方面兼顾的方案却很少有。最近在南航广西数据服

数据导入功能在报表项目中是经常可见的，因为它是报表数据展示的基础，但对于大量数据的导入，真正从性能、效率等方面兼顾的方案却很少有。最近在南航广西数据服务平台的项目开发中，我需要设计一个能快速将40多万条数据导入Oracle数据库的方案，为了实现导入的高效，我通过在网上收集资料以及动手实践测试，得出了一些分析总结与大家分享探讨。

谈到数据导入功能的实现，无可厚非应该包括两个过程，首先是数据文件的上传，其次是数据的导入。

文件上传本应该是与导入无关，但它处于数据导入功能的一个环节，其效率也显得有些重要。对于传统项目，文件上传通常采用Struts等框架实现的文件上传机制以及一些开源的文件上传组件，比如SmartUpload等，通过Html中类型为File的Input标签将数据文件获取，通过流的形式发送服务端，最后由服务端获取流并写入文件，如此实现了文件从客户端到服务器的上传过程，这些方式我们都可以将其统一称为Web文件上传。

除了Web方式，可以考虑使用Applet，作为一个客户端小程序嵌入到网页中，以IO的方式读取本地数据文件，然后通过Socket将文件流发送到服务端。这种方式从效率上比Web方式有明显的改进，首先是通过IO将文件转化为文件流的效率提升，其次数据通过Socket方传输式，是一种基于TCP协议的网络传输，去除了Web下Http协议对文件传输的限制，通过TCP协议直接从网络的传输层进行数据通信，传输速度上必然会更快。综上，采用Applet加Socket实现网络文件上传性能优于Web方式。

然而，Applet实现的网络文件上传又并非最优，原因在于Applet在运行时受到沙箱的限制。出于对客户机和服务器的保护，web中的applet程序只能运行在限制的沙箱中，其受到很多安全策略的限制，在applet中不能直接访问客户端本地文件系统，除非使用applet授权，采用数字签名的方式使applet能确认该客户端系统是可信的。这样一来，要使用该功能的客户机系统都需要安装安全证书，在项目的部署上就显得十分繁琐。

以上方式都各有弊端，最终，通过和用户协商，我们决定借助外部的FTP工具，使用开源的文件传输工具让用户将数据文件直接传到服务器指定目录下，在网站系统上就只执行数据文件列表加载。另外，目前也有在web上嵌入FTP功能的插件，其通过activeObject的形式嵌入web，实现类似ftp的文件上传功能，打算抽空继续研究。

大数据导入Oracle数据库是功能实现的重点。

该方案是在批量到插入的基础之上采用多线程来执行的方式实现的。

该方案第一步是加载所需的数据文件到内存，生成一个Sql的数组。对于导入的数据文件，一般是EXCEL格式的，对于此种类型数据文件，我们需要借助POI来实现EXCEL文件的加载，并通过POI读取EXCEL中行数据来生成数据插入Sql，文件代码如下：

// 创建对Excel工作簿文件的引用

// 创建对工作表的引用�1�7�1�7

XSSFSheet sheet = workbook.getSheetAt(0);

// 在Excel文档中，第一张工作表的缺省索引是0＄1�7

// 其语句为：HSSFSheet sheet = workbook.getSheetAt(0);

}

}

}

                                 ……

&& i < sheet.getLastRowNum() - sheet.getFirstRowNum()

 1; i ) {

HSSFRow row = sheet.getRow(i);

String[] valuesPerRow = getHSSFRowValues(row);

}

rows.add(valuesPerRow);

v.importToDB(rows);

rows.clear();

}

}

v.importToDB(rows);

不采用EXCEL作为数据源文件，可以采用CSV文件代之。CSV是EXCEL可另存为的数据文件格式，其本质上是以逗号分隔的文本文件，因此，对于此类文件的读取，我们可以采用传统IO读取文件的形式，通过字符串分割获得每个单元格数据，拼接到SQL里面，形成SQL的数组。

     第二步，多线程执行数据导入。

利用该方案实现的数据导入较单线程执行的批量数据导入效率提高多倍，从测试导入40万数据结果来看，单线程批量导入耗时19分钟，而基于多线程的导入只用了5分钟左右的时间。但从性能消耗上来看，多线程方案平均同时工作线程数为15个左右，CPU利用率高达90%，内存消耗约500M，对于服务器本身已造成了一定的压力，虽然在速度上提升了，其对于服务器的稳定性将造成安全隐患。

此外，对于多线程工作效率的探索上也有一点心得。多线程的出现更多的是迎合多核处理技术的革新，在单CPU工作的主机上，多线程看起来貌似是多个线程并发执行，但从操作系统的角度出发其仍然处于串行状态，因为在同一时间，处理器只对一个任务进行调度，只不过是轮询的时间间隙较短不容易发觉。如果在多核处理的主机上，就会有多个处理器同时处理并发的线程，这样才能实现真正意义上的并发调度，所以多线程还是依赖于硬件本身。为了验证效率，当我们把执行导入的各个线程以webService的形式部署到不同的虚拟机中去执行时，效果就不一样了，效率明显还会提升。由此引出一个当今IT行业的一个热点，虚拟化技术的实现与应用，有利于资源的优化配置，在有限的资源上实现更大的利用价值，该技术在云计算领域也是颇受关注的。