mysql高速导入导出大容量TXT文本_MySQL

bitsCN.com

mysql高速导入导出大容量TXT文本
 

先谈谈如何mysql导入TXT

用到loaddata， MySQL的LOAD DATA INFILE语句用于高速地从一个文本文件中读取行，并装入一个表中。LOAD DATA INFILE语句从一个文本文件中以很高的速度读入一个表中。

 

load data参数配置：

 

SQL代码

LOAD DATA [LOW_PRIORITY] [LOCAL] INFILE 'file_name.txt（file路径）' [REPLACE | IGNORE]  

 INTO TABLE tbl_name  

 [FIELDS  

     [TERMINATED BY '/t']  

     [OPTIONALLY] ENCLOSED BY '']  

     [ESCAPED BY '//' ]] 

 [LINES TERMINATED BY '/n']  

 [IGNORE number LINES]  

 [(col_name,...)]   

 

如果指定LOCAL关键词，从客户本地主机读文件。如果LOCAL没指定，文件必须位于服务器上（远程用的）。(LOCAL在MySQL3.22.6或以后版本中可用。）如果你指定关键词LOW_PRIORITY，LOAD DATA语句的执行被推迟到没有其他客户读取表后。REPLACE和IGNORE关键词控制对现有的唯一键记录的重复的处理。如果你指定REPLACE，新行将代替有相同的唯一键值的现有行。

如果你 指定IGNORE，跳过有唯一键的现有行的重复行的输入。如果你不指定任何一个选项，当找到重复键键时，出现一个错误，并且文本文件的余下部分被忽略时。如果你使用LOCAL关键词从一个本地文件装载数据，服务器没有办法在操作的当中停止文件的传输，因此缺省的行为好像IGNORE被指定一样。LOAD DATA INFILE是SELECT ... INTO OUTFILE的逆操作，SELECT句法。为了将一个数据库的数据写入一个文件，使用SELECT ... INTO OUTFILE，为了将文件读回数据库，使用LOAD DATA INFILE。两个命令的FIELDS和LINES子句的语法是相同的。两个子句是可选的，但是如果指定两个，FIELDS必须在LINES之前。

 

如果你指定一个FIELDS子句，它的每一个子句(TERMINATED BY, [OPTIONALLY] ENCLOSED BY和ESCAPED BY)也是可选的，除了你必须至少指定他们之一。

 

如果你不指定一个FIELDS子句，缺省值与如果你这样写的相同：

 

FIELDS TERMINATED BY '/t' ENCLOSED BY '' ESCAPED BY '//'

 

如果你不指定一个LINES子句，缺省值与如果你这样写的相同：

 

LINES TERMINATED BY '/n' 

换句话说，缺省值导致读取输入时，LOAD DATA INFILE表现如下：

 

在换行符处寻找行边界 

在定位符处将行分进字段 

不要期望字段由任何引号字符封装 

将由“/”开头的定位符、换行符或“/”解释是字段值的部分字面字符 

相反，缺省值导致在写入输出时，SELECT ... INTO OUTFILE表现如下：

 

在字段之间写定位符 

不用任何引号字符封装字段 

使用“/”转义出现在字段中的定位符、换行符或“/”字符 

在行尾处写换行符 

注意，为了写入FIELDS ESCAPED BY '//'，对作为一条单个的反斜线被读取的值，你必须指定2条反斜线值。

IGNORE number LINES选项可被用来忽略在文件开始的一个列名字的头：

 

mysql> LOAD DATA INFILE "/tmp/file_name" into table test IGNORE 1 LINES;

 

我建了一个demo表：

 

SQL代码

mysql> use DB_cmd_demo;  

  

mysql> explain insertdemo;  

+-------+-------------+------+-----+---------+-------+  

| Field | Type        | Null | Key | Default | Extra |  

+-------+-------------+------+-----+---------+-------+  

| code  | varchar(25) | YES  |     | NULL    |       |  

| demo  | varchar(15) | NO   |     |         |       |  

+-------+-------------+------+-----+---------+-------+  

2 rows in set (0.01 sec)  

File_AA.txt文本格式如下：

 

XML/HTML代码

AAVTUALOJJKEC  

AAHRFTXIBLGYG  

AAOAQVLJROSBT  

AACNKRKBZEDPE  

SQL代码

mysql> load data local infile 'd:/File_AA.txt' into table insertdemo (demo);  

Query OK, 4 rows affected (0.00 sec)  

Records: 4  Deleted: 0  Skipped: 0  Warnings: 0  

生成如下：

 

SQL代码

mysql> select * from insertdemo;  

+------+----------------+  

| code | demo           |  

+------+----------------+  

| NULL | AACNKRKBZEDPE  |  

 | ULL | AAOAQVLJROSBT  

 | ULL | AAHRFTXIBLGYG  

 | ULL | AAVTUALOJJKEC  

+------+----------------+  

4 rows in set (0.00 sec)  

再谈谈mysql如何导出到TXT

这是网上的一个demo，在这里贴一下，其实两个用法主要是理解每个参数的用法就OK了

     

 

SQL代码

-- 导出数据为文本文件  

SELECT demo,code  

INTO OUTFILE 'd:/DM_HY_EXPORT.TXT'  

FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY ''''  

LINES TERMINATED BY '/n'  

FROM insertdemo;  

   

FIELDS TERMINATED BY ',' 数据字段间用逗号隔开  

OPTIONALLY ENCLOSED BY '''' 每个字段的数据用单引号括住（注意单引号的表达方法）  

LINES TERMINATED BY '/n' 每条数据结束用'/n'作为换行符。  

 

bitsCN.com