MySQL大数据入库（单一表）_MySQL

bitsCN.com

MySQL大数据入库（单一表）

 

        最近一段时间在研究数据入库，对于INSERT命令，少量数据时可以满足，而对于大量数据插入同一个表的时候速度很慢，明显不符合要求。于是从网上找了一下，MYSQL中有一个LOAD DATA INFILE命令。在此简单说一下LOAD DATA INFILE的作用：它主要将文件中记录批量录入表中，速度非常快。但只能对于一个表进行操作，也就是说所有的记录都是一个表中的，有一定的局限性。

 

      关于MYSQL的连接字符串：

                 m_pConnection->Open("DRIVER={MySQL ODBC 5.1 Driver}; SERVER=localhost; DATABASE=test;","root","123456",adModeUnknown);

{MySQL ODBC 5.1 Driver}是MySql的ODBC驱动，官网上有下载，5.1是版本

SERVER是mysql安装电脑的IP，如果是本地用localhost就可以.

DATABASE是要连接的数据库。

Open方法中"root"是数据库用户名 “123456”是用户密码。

测试步骤：1.新建一个数据库test

2.在这个数据库下执行以下数据库脚本

                              CREATE TABLE T_TEST(                                                      F_ID BIGINT PRIMARY KEY,                                                      F_NAME VARCHAR(32),                                                      F_SEX SMALLINT,                                                      F_BIRTHDAY DATETIME,                                                      F_CONTENT VARCHAR(512));

 

                             3. 执行程序时确保T_TEST表为空.

                             4. 测试结果是10W条数据在1s左右可以入库

bitsCN.com