db2 导入csv数据 null 处理

我记得null 是真正意义上的“空”，纯粹什么都没有；而空值（space）指的是一个叫“空”的值，也就是说在CPU看来此处仍然有一个叫“空”的值，与NULL是两个不同的概念。

DB2的table在定义时可以指定默认值是多少，default null（字符型）或者默认为0（数字型）。在导入到一个字段为字符型且不能为空的table中时，建议alter table改下table属性，遇空值改写为null字符填充（具体SQL你应该会写）；如果不让改，就改下CSV文件，把空白格都填入"null"字符.我只想到这些，坐等高人出现。

linux 下，可以使用cli程序把csv文件导入到数据库。具体代码如下：

$ORACLE_HOME/bin/sqlplus -S username/password@instanceName > /dev/null 2>&1  <<!!

#对sqlplus作一些设置，使之只输出我们需要的文本

set echo off

set pagesize 0

set verify off

set feedback off

set termout off

set linesize 3000

set trimspool on

#查询输出到临时文件

spool /tmp/some_tmp.csv 

#select语句

select column1||','||column2||','||column3 ....

from some_table where condition

spool off

#这里可以添加多个查询,且每个查询可输出到不同的文件,如下面注释

#spool /tmp/some_tmp.csv 

#select column1||','||column2||','||column3 ....

#from some_table where condition

#spool off

set markup HTML off

quit

!!

#计算记录总行数，如果是0则不发邮件

NUM=`cat /tmp/some_tmp.csv | wc -l`

if[ $NUM -gt 0 ]

then

#先写excel的每列的title

echo 'Title_Of_Column1, Title_Of_Column2, ....Title_Of_ColumnN' > /tmp/attachement.csv

#数据正文

cat /tmp/some_tmp.csv >> /tmp/attachement.csv

#发邮件

(

echo "From: user@somehost.com"

echo "To: user1@somehost.com"

echo "MIME-Version: 1.0"

echo "Content-Type: multipart/mixed"

echo ' boundary="A_Boundary_Name_You_Can_Change_It"'

echo "Subject: Subject"

echo ""

echo ""

#附件分隔符，上面的boundary前面加--

echo "--A_Boundary_Name_You_Can_Change_It"

echo 'Content-Transfer-Encoding: x-uuencode'

echo 'Content-Type: text/csv'

echo '        name="attachement.csv"'

echo 'Content-Disposition: attachment'

echo '        filename="attachement.csv"'

echo ""

uuencode /tmp/attachement.csv attachement.csv

echo "--A_Boundary_Name_You_Can_Change_It"

#附件结束

) | mailx -t

fi

#删除临时文件

rm -f /tmp/*.csv

exit 0

Oracle数据库导入csv文件，

当csv文件较小时，

可以使用数据库管理工具，

比如DBevaer导入到数据库，

当csv文件很大时，

可以使用Oracle提供的sqlldr命令行工具，

能够快速导入大量数据。

在数据库之间进行数据迁移时，

特别是不同类型的数据库，

使用csv文件是一种很好的选择。

2.sqlldr用法

下面介绍sqlldr用法，

有一个USER_INFO.csv文件，

需要导入到数据库中USER_INFO表，

而且有1.5亿条数据，

要求导入耗时尽量小。

这里先介绍基本的导入方式，

然后介绍direct导入方式，

最后介绍parallel导入方式。

3.获取csv文件

USER_INFO.csv文件内容如下，

这里仅选取了三条测试数据:

MSISDN,PROVINCE_CODE,CREATE_TIME

8617512570551,30,2019-10-31 17:16:09

8613063310680,33,2019-10-31 17:16:12

8613295281345,80,2019-10-31 17:16:14

4.创建USER_INFO表

CREATE TABLE "USER_INFO" (

"MSISDN" VARCHAR2(16),

"PROVINCE_CODE" VARCHAR2(4),

"CREATE_TIME" DATE,

CONSTRAINT "PK_USER_INFO_MSISDN" PRIMARY KEY ("MSISDN")

) TABLESPACE "USERS"

COMMENT ON COLUMN "USER_INFO"."MSISDN" IS '用户手机号'

COMMENT ON COLUMN "USER_INFO"."PROVINCE_CODE" IS '省份编码'

COMMENT ON COLUMN "USER_INFO"."CREATE_TIME" IS '用户创建时间'

注意表中字段要和csv文件对应。

5.创建ctl文件

创建名为loaddata_USER_INFO.ctl的控制文件：

options(skip=1,BINDSIZE=20971520, ROWS=10000, READSIZE=20971520, ERRORS=999999999)

load data

in

---