如何将JSON，Text，XML，CSV 数据文件导入 MySQL

将外部数据导入(import)数据库是在数据库应用中一个很常见的需求。其实这就是在数据的管理和 *** 作中的ETL (Extract, transform, load)的L (Load)部分，也就是说，将特定结构(structure)或者格式(format)的数据导入某个目的地(比如数据库，这里我们讨论MySQL)。

ETL Process

本文要讨论的内容，是如何方便地将多种格式(JSON, Text, XML, CSV)的数据导入MySQL之中。

本文大纲：

将Text文件（包括CSV文件）导入MySQL

将XML文件导入MySQL

将JSON文件导入MySQL

使用MySQL workbench的Table Data Export and Import Wizard进行JSON或CSV文件的导入导出

1. 将Text文件（包括CSV文件）导入MySQL

这里我们的讨论是基于一个假定，Text file和CSV file是有着比较规范的格式的(properly formatted)，比如说每行的每个数据域(field)之间是由一个共同的分隔符（比如tab: \t）分隔的。

那么首先，你需要根据你的数据的格式（有哪些域），来设计好数据库的对应的表 （的Schema）。

举个例子，要处理的Text文件或者CSV文件是以\t作为分隔符的，每行有id, name, balance这么三个数据域，那么首先我们需要在数据库中创建这个表：

CREATE TABLE sometable(id INT, name VARCHAR(255), balance DECIMAL(8,4))

创建成功以后就可以导入了。 *** 作方式很简单：

LOAD DATA LOCAL INFILE '你的文件路径（如~/file.csv）' INTO TABLE sometable FIELDS TERMINATED BY '\t' [ENCLOSED BY '"'(可选)] LINES TERMINATED BY '\n' (id, name, balance)

这里要注意的是，我们需要开启local-infile这个MySQL的配置参数，才能够成功导入。究其原因，从MySQL的Manual中可以看到这么一段话：

LOCAL works only if your server and your client both have been configured to permit it. For example, if mysqld was started with --local-infile=0, LOCAL does not work. See Section 6.1.6, “Security Issues with LOAD DATA LOCAL”.

这是MySQL出于安全考虑的默认配置。因此，我们需要在配置文件my.cnf中（以Debian发行版的Linux, 如Ubuntu为例， 即是在/etc/my.cnf中），确保：

local-infile=1

抑或是在命令行启动MySQL时加上--local-infile这一项：

mysql --local-infile -uroot -pyourpwd yourdbname

此外，我们也可以使用MySQL的一个官方导入程序mysqlimport ，这个程序本质上就是为LOAD DATA FILE提供了一个命令行的interface，很容易理解，我们这里就不再详述。

2. 将XML文件导入MySQL

这件事的完成方式，与我们的XML的形式有着很大的关系。

举个例子说，当你的XML数据文件有着很非常规范的格式，比如：

<?xml version="1.0"?>

<row>

<field name="id">1</field>

<field name="name">Free</field>

<field name="balance">2333.3333</field>

</row>

<row>

<field name="id">2</field>

<field name="name">Niki</field>

<field name="balance">1289.2333</field>

</row>

或者

<row column1="value1" column2="value2" .../>

我们就可以很方便使用LOAD XML来导入，这里可以参见MySQL的官方手册--LOAD XML Syntax。

然而我们可能有另外一些需求，比如说，我们可能会想要将XML文件的域映射到不同名字的列(TABLE COLUMN)之中。这里要注意，MySQL v5.0.7以后，MySQL的Stored Procedure中不能再运行LOAD XML INFILE 或者LOAD DATA INFILE。所以转换的程序(procedure)的编写方式与在此之前有所不同。这里，我们需要使用Load_File()和ExtractValue()这两个函数。

以下是一个示例XML文件和程序：

文件：

<?xml version="1.0"?>

<some_list>

<someone id="1" fname="Rob" lname="Gravelle"/>

<someone id="2" fname="Al" lname="Bundy"/>

<someone id="3" fname="Little" lname="Richard"/>

</some_list>

程序：

DELIMITER $$

CREATE DEFINER=`root`@`localhost` PROCEDURE `import_some_xml`(path varchar(255), node varchar(255))

BEGIN

declare xml_content text

declare v_row_index int unsigned default 0

declare v_row_count int unsigned

declare v_xpath_row varchar(255)

set xml_content = load_file(path)

-- calculate the number of row elements.

set v_row_count = extractValue(xml_content, concat('count(', node, ')'))

-- loop through all the row elements

while v_row_index <v_row_count do

set v_row_index = v_row_index + 1

set v_xpath_row = concat(node, '[', v_row_index, ']/@*')

insert into applicants values (

extractValue(xml_content, concat(v_xpath_row, '[1]')),

extractValue(xml_content, concat(v_xpath_row, '[2]')),

extractValue(xml_content, concat(v_xpath_row, '[3]'))

)

end while

END

在MySQL中，使用它进行导入：

call import_some_xml('你的XML文件路径', '/some_list/someone')

程序相当的直白，只要了解一下MySQL的脚本编写即可。

这里提一下DELIMITER $$。我们知道MySQL的命令分隔符默认为分号，然而脚本中很显然是有分号的，但是我们并不希望立即执行，所以我们需要临时更改分隔符。

3. 将JSON文件导入MySQL

如何将JSON文件导入MySQL中，是一个很有趣的话题。JSON是一种现在相当常用的文件结构，所以掌握它的导入具有比较广泛的意义。

很多时候，我们处理的JSON数据是以如下形式出现的：

{"name":"Julia","gender":"female"}

{"name":"Alice","gender":"female"}

{"name":"Bob","gender":"male"}

{"name":"Julian","gender":"male"}

而并不是规整的[{},{},{},{}]（一些NoSQL数据库的Export）。

这样的形势对于载入有一个好处：因为每一行是一个JSON Object，所以我们便可以按行处理此文件，而不需要因为JSON的严格结构将整个文件（比如一个许多G的.json文件）全部载入。

方式一 使用common-schema

common-schema是一个应用很广泛的MySQL的框架，它有着很丰富的功能和详细的文档。我们可以使用它的JSON解析的功能。（它还具有JSON转换成XML等等方便的功能）

具体说来，将common-schema导入之后，使用它的extract_json_value函数即可。源码中：

create function extract_json_value(

json_text text charset utf8,

xpath text charset utf8

) returns text charset utf8

该函数接受两个参数，一个是json_text，表示json文件的内容，另一个是xpath，表示数据的结构（这里可以类比XML文件的处理）。很多读者应该知道，XPath是用来对XML中的元素进行定位的，这里也可以作一样的理解。

以本段开始的几行JSON为例，这里common-schema的使用如下例：

select common_schema.extract_json_value(f.event_data,'/name') as name, common_schema.extract_json_value(f.event_data,'/gender') as gender, sum(f.event_count) as event_count from json_event_fact f group by name, gender

关于event_data，我们需要先理解LOAD DATA INFILE是一个event，不同的event type对应不同的event data。这部分知识可以参看Event Data for Specific Event Types

如果感兴趣，可以参看其源码。参看一个受到广泛使用的项目的源码，对于自身成长是很有益的。

当然了，我们也可以像之前处理XML文件导入一样，自己编写程序。这里便不再给出实例程序，有兴趣的读者可以自行编写或者跟笔者交流。

方式二 使用mysqljsonimport

这是Anders Karlsson的一个完成度很高的作品。这一份程序由C写成。它依赖于一个JSON Parser，Jansson。他们都有着比较好的维护和文档，所以使用上体验很好。

mysqljsonimport的下载在SourceForge上。具体使用参照其文档即可。

为了方便不熟悉源码安装的朋友，笔者在这里提一下安装流程和注意事项。

安装命令顺序如下：

$ wget http://sourceforge.net/projects/mysqljson/files/myjsonimport_1.6/mysqljsonimport-1.6.tar.gz

$ tar xvfz mysqljsonimport-1.6.tar.gz

$ cd mysqljsonimport-1.6

$ ./configure –-with-mysql=/xxx/mysql

$ make

$ make check

$ sudo make install

--with-mysql这一步不是必要的，只要你安装的mysql的路径是系统的默认路径。很关键的，而且很容易被不熟悉的朋友忽略的是，这一个C程序要成功编译和运行，是需要MySQL的C API的，所以需要安装的依赖，除了jansson，还有libmysqlclient-dev。

jansson的安装就是简单的源码安装，libmysqlclient-dev则可以使用包管理工具(比如ubuntu中使用apt-get即可；编译和安装前，建议先sudo apt-get update以避免不必要的麻烦)。

导入命令：

$ ./mysqljsonimport –-database test –-table tablename jsonfilename

还有一个parser，作者是Kazuho，感兴趣的读者可以参看一下，他的相关博文是mysql_json - a MySQL UDF for parsing JSON ，github项目是mysql_json。

4. 使用MySQL workbench

Workbench这个工具对于许多不熟悉SQL语言或者命令行的朋友还是很方便和友好的。利用它，可以方便地导入和导出CSV和JSON文件。

具体 *** 作图例参见MySQL官方手册即可:Table Data Export and Import Wizard，这里不再赘述。

文／freenik（简书作者）

原文链接：http://www.jianshu.com/p/d330edb61fe2

在loop语句前加标签，如

loop_label:LOOP

然后用LEAVE关键字+标签名称跳出该循环。例子如下

DECLARE x  INT

DECLARE str  VARCHAR(255)

SET x = 1

SET str =  ''

loop_label:  LOOP

    IF  x > 10 THEN

        LEAVE  loop_label

    END  IF

    SET  x = x + 1

    IF  (x mod 2) THEN

        ITERATE  loop_label

    ELSE

        SET  str = CONCAT(str,x,',')

    END  IF

END LOOP

ITERATE关键字是继续该循环的意思

info:

1.txt

zhangsan wuhan

lishi wuhan

把1.txt文件插入到mysql数据库中

1.mysql -u root -p 数据库名 </文件路径(在bin下就直接加文件名)

2.mysqlimport的语法介绍：

mysqlimport位于mysql/bin目录中，是mysql的一个载入（或者说导入）数据的一个非常有效的工具。这是一个命令行工具。有两个参数以及大量的选项可供选择。这个工具把一个文本文件（text file）导入到你指定的数据库和表中。比方说我们要从文件Customers.txt中把数据导入到数据库Meet_A_Geek中的表 Custermers中：

mysqlimport Meet_A_Geek Customers.txt

注意：这里Customers.txt是我们要导入数据的文本文件，而Meet_A_Geek是我们要 *** 作的数据库，数据库中的表名是Customers，这里文本文件的数据格式必须与Customers表中的记录格式一致，否则mysqlimport命令将会出错。

其中表的名字是导入文件的第一个句号（.）前面文件字符串，另外一个例子：

mysqlimport Meet_A_Geek Cus.to.mers.txt

那么我们将把文件中的内容导入到数据库Meet_A_Geek 中的Cus表中。上面的例子中，都只用到两个参数，并没有用到更多的选项，下面介绍mysqlimport的选项:

选项 功能

-d or --delete 新数据导入数据表中之前删除数据数据表中的所有信息

-f or --force 不管是否遇到错误，mysqlimport将强制继续插入数据

-i or --ignore mysqlimport跳过或者忽略那些有相同唯一关键字的行， 导入文件中的数据将被忽略。

-l or -lock-tables 数据被插入之前锁住表，这样就防止了，你在更新数据库时，用户的查询和更新受到影响。

-r or -replace 这个选项与－i选项的作用相反；此选项将替代表中有相同唯一关键字的记录。

--fields-enclosed- by= char 指定文本文件中数据的记录时以什么括起的， 很多情况下数据以双引号括起。 默认的情况下数据是没有被字符括起的。

--fields-terminated- by=char 指定各个数据的值之间的分隔符，在句号分隔的文件中，分隔符是句号。您可以用此选项指定数据之间的分隔符。默认的分隔符是跳格符（Tab）

--lines-terminated- by=str 此选项指定文本文件中行与行之间数据的分隔字符串或者字符。 默认的情况下mysqlimport以newline为行分隔符。您可以选择用一个字符串来替代一个单个的字符：一个新行或者一个回车。

mysqlimport命令常用的选项还有-v 显示版本（version）， -p 提示输入密码(password）等。

例子：导入一个以逗号为分隔符的文件文件中行的记录格式是这样的：

"1", "ORD89876", "1 Dozen Roses", "19991226"

我们的任务是要把这个文件里面的数据导入到数据库Meet_A_Geek中的表格Orders中，我们使用这个命令:

bin/mysqlimport –prl –fields-enclosed-by=" –fields-terminated-by=, Meet_A_Geek Orders.txt

3.mysql数据库常用导出导入命令的几个用例

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

几个常用用例：

1.导出整个数据库

mysqldump -u 用户名 -p 数据库名 >导出的文件名

mysqldump -u wcnc -p smgp_apps_wcnc >wcnc.sql

2.导出一个表

mysqldump -u 用户名 -p 数据库名 表名>导出的文件名

mysqldump -u wcnc -p smgp_apps_wcnc users>wcnc_users.sql

3.导出一个数据库结构

mysqldump -u wcnc -p -d --add-drop-table smgp_apps_wcnc >d:\wcnc_db.sql

-d 没有数据 --add-drop-table 在每个create语句之前增加一个drop table

4.导入数据库

常用source 命令

进入mysql数据库控制台，

如mysql -u root -p

mysql>use 数据库

然后使用source命令，后面参数为脚本文件（如这里用到的.sql）

mysql>source d:\wcnc_db.sql

4.可参看 MySQL数据的导出和导入工具:mysqldump

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

批处理是一种非交互式运行mysql程序的方法，如同您在mysql中使用的命令一样，你仍然将使用这些命令。为了实现批处理，您重定向一个文件到 mysql程序中，首先我们需要一个文本文件，这个文本文件包含有与我们在mysql中输入的命令相同的文本。比如我们要插入一些数据，使用包含下面文本的文件(文件名为New_Data.sql,当然我们也可以取名为New_Data.txt及任何其他的合法名字，并不一定要以后缀sql结尾)：

USE Meet_A_Geek

INSERT INTO Customers (Customer_ID, Last_Name) VALUES(NULL, "Block")

INSERT INTO Customers (Customer_ID, Last_Name) VALUES(NULL, "Newton")

INSERT INTO Customers (Customer_ID, Last_Name) VALUES(NULL, "Simmons")

注意上面的这些句子的语法都必须是正确的，并且每个句子以分号结束。上面的USE命令选择数据库，INSERT命令插入数据。

下面我们要把上面的文件导入到数据库中，导入之前要确认数据库已经在运行，即是mysqld进程（或者说服务，Windows NT下面称为”服务“，unix下面为”进程“）已经在运行。然后运行下面的命令：

bin/mysql –p </home/mark/New_Data.sql

接着按提示输入密码，如果上面的文件中的语句没有错误，那么这些数据就被导入到了数据库中。

命令行中使用LOAD DATA INFILE 从文件中导入数据到数据库:

现在您可能会问自己，"究竟为什么我要输入所有的这些SQL语句到文件中，然后通过程序运行它们呢？”这样看起来好像需要大量的工作。很好，你这样想很可能就对了。但是假如你有从所有这些命令中产生的log记录呢？现在这样就很棒，嗯，大多数数据库都会自动产生数据库中的事件记录的log。而大部分log 都包含有用过的原始的SQL命令。因此，如果您不能从您现在的数据库中导出数据到新的mysql数据库中使用，那么您可以使用log和mysql的批处理特性，来快速且方便地导入您地数据。当然，这样就省去了打字的麻烦。

LOAD DATA INFILE

这是我们要介绍的最后一个导入数据到MySQL数据库中的方法。这个命令与mysqlimport非常相似，但这个方法可以在mysql命令行中使用。也就是说您可以在所有使用API的程序中使用这个命令。使用这种方法，您就可以在应用程序中导入您想要导入的数据。

使用这个命令之前，mysqld进程（服务）必须已经在运行。启动mysql命令行：

bin/mysql –p

按提示输入密码，成功进入mysql命令行之后，输入下面的命令：

USE Meet_A_Geek

LOAD DATA INFILE "/home/mark/data.sql" INTO TABLE Orders

简单的讲，这样将会把文件data.sql中的内容导入到表Orders中，如mysqlimport工具一样，这个命令也有一些可以选择的参数。比如您需要把自己的电脑上的数据导入到远程的数据库服务器中，您可以使用下面的命令：

LOAD DATA LOCAL INFILE "C:\MyDocs\SQL.txt" INTO TABLE Orders

上面的LOCAL参数表示文件是本地的文件，服务器是您所登陆的服务器。这样就省去了使用ftp来上传文件到服务器，MySQL替你完成了.

您也可以设置插入语句的优先级，如果您要把它标记为低优先级（LOW_PRIORITY），那么MySQL将会等到没有其他人读这个表的时候，才把插入数据。可以使用如下的命令：

LOAD DATA LOW_PRIORITY INFILE "/home/mark/data.sql" INTO TABLE Orders

您也可以指定是否在插入数据的时候，取代或者忽略文件与数据表中重复的键值。替代重复的键值的语法：

LOAD DATA LOW_PRIORITY INFILE "/home/mark/data.sql" REPLACE INTO TABLE Orders

上面的句子看起来有点笨拙，但却把关键字放在了让您的剖析器可以理解的地方。

下面的一对选项描述了文件的记录格式，这些选项也是在mysqlimport工具中可以用的。他们在这里看起来有点不同。首先，要用到FIELDS关键字，如果用到这个关键字，MySQL剖析器希望看到至少有下面的一个选项：

TERMINATED BY character

ENCLOSED BY character

ESCAPED BY character

这些关键字与它们的参数跟mysqlimport中的用法是一样的. The

TERMINATED BY 描述字段的分隔符，默认情况下是tab字符（\t）

ENCLOSED BY描述的是字段的括起字符。比方以引号括起每一个字段。

ESCAPED BY 描述的转义字符。默认的是反些杠（backslash：\ ）.

下面仍然使用前面的mysqlimport命令的例子，用LOAD DATA INFILE语句把同样的文件导入到数据库中:

LOAD DATA INFILE "/home/mark/Orders.txt" REPLACE INTO TABLE Orders FIELDS TERMINATED BY ','

ENCLOSED BY '"'

LOAD DATA INFILE语句中有一个mysqlimport工具中没有特点：LOAD DATA INFILE 可以按指定的列把文件导入到数据库中。

当我们要把数据的一部分内容导入的时候，这个特点就很重要。比方说，我们要从Access数据库升级到MySQL数据库的时候，需要加入一些栏目（列/字段 /field）到MySQL数据库中，以适应一些额外的需要。这个时候，我们的Access数据库中的数据仍然是可用的，但是因为这些数据的栏目 (field)与MySQL中的不再匹配，因此而无法再使用mysqlimport工具。尽管如此，我们仍然可以使用LOAD DATA INFILE，下面的例子显示了如何向指定的栏目(field)中导入数据：

LOAD DATA INFILE "/home/Order.txt" INTO TABLE Orders(Order_Number, Order_Date, Customer_ID)

如您所见，我们可以指定需要的栏目（fields）。这些指定的字段依然是以括号括起，由逗号分隔的，如果您遗漏了其中任何一个，MySQL将会提醒您^_^ 。

---