php如何读取CSV大文件并且将其导入数据库示例

思路：

读取csv文件，每读取一行数据，就插入数据库

示例

文件夹结构

/

 file.csv    //csv大文件，这里只模拟三行数据，不考虑运行效率（PS：csv文件格式很简单，文件一般较小，解析很快，运行效率的瓶颈主要在写入数据库 *** 作）

 index.php    //php文件

file.csv

singi,20

lily,19

daming,23

index.php

/**

 * 读取csv文件，每读取一行数据，就插入数据库

 */

//获取数据库实例

$dsn = 'mysql:dbname=testhost=127.0.0.1'

$user = 'root'

$password = ''

try {

    $db = new PDO($dsn, $user, $password)

} catch (PDOException $e) {

    echo 'Connection failed: ' . $e->getMessage()

}

//读取file.csv文件

if (($handle = fopen("file.csv", "r")) !== FALSE) {

    while (($row = fgetcsv($handle, 1000, ",")) !== FALSE) {

        //写入数据库

        $sth = $db->prepare('insert into test set name=:name,age=:age')

        $sth->bindParam(':name',$row[0],PDO::PARAM_STR,255)

        $sth->bindParam(':age',$row[1],PDO::PARAM_INT)

        $sth->execute()

    }

    fclose($handle)

}

数据表

CREATE TABLE `test` (

`id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,

`name` VARCHAR(255) NULL DEFAULT '' COLLATE 'utf8mb4_bin',

`age` INT(10) NULL DEFAULT '0',

PRIMARY KEY (`id`)

)

COLLATE='utf8mb4_bin'

ENGINE=InnoDB

运行结束后，数据库中会插入csv中的三行数据

serial_number.txt的示例内容：

serial_number.txt：

DM00001A11 0116,

SN00002A11 0116,

AB00003A11 0116,

PV00004A11 0116,

OC00005A11 0116,

IX00006A11 0116,

创建数据表：

create table serial_number(

id int primary key auto_increment not null,

serial_number varchar(50) not null

)ENGINE=InnoDB DEFAULT CHARSET=utf8

php代码如下：

$conn = mysql_connect('127.0.0.1','root','') or die("Invalid query: " . mysql_error())

mysql_select_db('test', $conn) or die("Invalid query: " . mysql_error())

$content = file_get_contents("serial_number.txt")

$contents= explode(",",$content)//explode()函数以","为标识符进行拆分

foreach ($contents as $k =>$v)//遍历循环

{

$id = $k

$serial_number = $v

mysql_query("insert into serial_number (`id`,`serial_number`)

VALUES('$id','$serial_number')")

}

备注：方法有很多种，我这里是在拆分txt文件为数组后，然后遍历循环得到的数组，每循环一次，往数据库中插入一次。

再给大家分享一个支持大文件导入的

<?php

/**

* $splitChar 字段分隔符

* $file 数据文件文件名

* $table 数据库表名

* $conn 数据库连接

* $fields 数据对应的列名

* $insertType 插入 *** 作类型，包括INSERT,REPLACE

*/

function loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields=array(),$insertType='INSERT'){

if(empty($fields)) $head = "{$insertType} INTO `{$table}` VALUES('"

else $head = "{$insertType} INTO `{$table}`(`".implode('`,`',$fields)."`) VALUES('" //数据头

$end = "')"

$sqldata = trim(file_get_contents($file))

if(preg_replace('/\s*/i','',$splitChar) == '') {

$splitChar = '/(\w+)(\s+)/i'

$replace = "$1','"

$specialFunc = 'preg_replace'

}else {

$splitChar = $splitChar

$replace = "','"

$specialFunc = 'str_replace'

}

//处理数据体，二者顺序不可换，否则空格或Tab分隔符时出错

$sqldata = preg_replace('/(\s*)(\n+)(\s*)/i','\'),(\'',$sqldata) //替换换行

$sqldata = $specialFunc($splitChar,$replace,$sqldata) //替换分隔符

$query = $head.$sqldata.$end //数据拼接

if(mysql_query($query,$conn)) return array(true)

else {

return array(false,mysql_error($conn),mysql_errno($conn))

}

}

//调用示例1

require 'db.php'

$splitChar = '|' //竖线

$file = 'sqldata1.txt'

$fields = array('id','parentid','name')

$table = 'cengji'

$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields)

if (array_shift($result)){

echo 'Success!<br/>'

}else {

echo 'Failed!--Error:'.array_shift($result).'<br/>'

}

/*sqlda ta1.txt

1|0|A

2|1|B

3|1|C

4|2|D

-- cengji

CREATE TABLE `cengji` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`parentid` int(11) NOT NULL,

`name` varchar(255) DEFAULT NULL,

PRIMARY KEY (`id`),

UNIQUE KEY `parentid_name_unique` (`parentid`,`name`) USING BTREE

) ENGINE=InnoDB AUTO_INCREMENT=1602 DEFAULT CHARSET=utf8

*/

//调用示例2

require 'db.php'

$splitChar = ' ' //空格

$file = 'sqldata2.txt'

$fields = array('id','make','model','year')

$table = 'cars'

$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields)

if (array_shift($result)){

echo 'Success!<br/>'

}else {

echo 'Failed!--Error:'.array_shift($result).'<br/>'

}

/* sqldata2.txt

11 Aston DB19 2009

12 Aston DB29 2009

13 Aston DB39 2009

-- cars

CREATE TABLE `cars` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`make` varchar(16) NOT NULL,

`model` varchar(16) DEFAULT NULL,

`year` varchar(16) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=14 DEFAULT CHARSET=utf8

*/

//调用示例3

require 'db.php'

$splitChar = ' ' //Tab

$file = 'sqldata3.txt'

$fields = array('id','make','model','year')

$table = 'cars'

$insertType = 'REPLACE'

$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields,$insertType)

if (array_shift($result)){

echo 'Success!<br/>'

}else {

echo 'Failed!--Error:'.array_shift($result).'<br/>'

}

/* sqldata3.txt

11 Aston DB19 2009

12 Aston DB29 2009

13 Aston DB39 2009

*/

//调用示例3

require 'db.php'

$splitChar = ' ' //Tab

$file = 'sqldata3.txt'

$fields = array('id','value')

$table = 'notExist' //不存在表

$result = loadTxtDataIntoDatabase($splitChar,$file,$table,$conn,$fields)

if (array_shift($result)){

echo 'Success!<br/>'

}else {

echo 'Failed!--Error:'.array_shift($result).'<br/>'

}

//附：db.php

/* //注释这一行可全部释放

?>

<?php

static $connect = null

static $table = 'jilian'

if(!isset($connect)) {

$connect = mysql_connect("localhost","root","")

if(!$connect) {

$connect = mysql_connect("localhost","Zjmainstay","")

}

if(!$connect) {

die('Can not connect to database.Fatal error handle by /test/db.php')

}

mysql_select_db("test",$connect)

mysql_query("SET NAMES utf8",$connect)

$conn = &$connect

$db = &$connect

}

?>

//*/

.

-- 数据表结构：

-- 100000_insert,1000000_insert

CREATE TABLE `100000_insert` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`parentid` int(11) NOT NULL,

`name` varchar(255) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

100000 （10万）行插入：Insert 100000_line_data use 2.5534288883209 seconds

1000000（100万）行插入：Insert 1000000_line_data use 19.677318811417 seconds

//可能报错：MySQL server has gone away

//解决：修改my.ini/my.cnf max_allowed_packet=20M

---