linuxoraclesql结果导入csv

Oracle数据库导入csv文件，

当csv文件较小时，

可以使用数据库管理工具，

比如DBevaer导入到数据库，

当csv文件很大时，

可以使用Oracle提供的sqlldr命令行工具，

能够快速导入大量数据。

在数据库之间进行数据迁移时，

特别是不同类型的数据库，

使用csv文件是一种很好的选择。

2.sqlldr用法

下面介绍sqlldr用法，

有一个USER_INFO.csv文件，

需要导入到数据库中USER_INFO表，

而且有1.5亿条数据，

要求导入耗时尽量小。

这里先介绍基本的导入方式，

然后介绍direct导入方式，

最后介绍parallel导入方式。

3.获取csv文件

USER_INFO.csv文件内容如下，

这里仅选取了三条测试数据:

MSISDN,PROVINCE_CODE,CREATE_TIME

8617512570551,30,2019-10-31 17:16:09

8613063310680,33,2019-10-31 17:16:12

8613295281345,80,2019-10-31 17:16:14

4.创建USER_INFO表

CREATE TABLE "USER_INFO" (

"MSISDN" VARCHAR2(16),

"PROVINCE_CODE" VARCHAR2(4),

"CREATE_TIME" DATE,

CONSTRAINT "PK_USER_INFO_MSISDN" PRIMARY KEY ("MSISDN")

) TABLESPACE "USERS"

COMMENT ON COLUMN "USER_INFO"."MSISDN" IS '用户手机号'

COMMENT ON COLUMN "USER_INFO"."PROVINCE_CODE" IS '省份编码'

COMMENT ON COLUMN "USER_INFO"."CREATE_TIME" IS '用户创建时间'

注意表中字段要和csv文件对应。

5.创建ctl文件

创建名为loaddata_USER_INFO.ctl的控制文件：

options(skip=1,BINDSIZE=20971520, ROWS=10000, READSIZE=20971520, ERRORS=999999999)

load data

in

使用pandas读取的方法是

pandas.to_csv()

得到的结果是dataframe格式，再用numpy库转一下

具体代码:

import pandas as pd

import numpy as np

file_content = pd.to_csv(r'C:\新建文件夹\result123.csv')

row = np.array(file_content)

lx = row.tolist()

linux 下，可以使用cli程序把csv文件导入到数据库。具体代码如下：

$ORACLE_HOME/bin/sqlplus -S username/password@instanceName > /dev/null 2>&1  <<!!

#对sqlplus作一些设置，使之只输出我们需要的文本

set echo off

set pagesize 0

set verify off

set feedback off

set termout off

set linesize 3000

set trimspool on

#查询输出到临时文件

spool /tmp/some_tmp.csv 

#select语句

select column1||','||column2||','||column3 ....

from some_table where condition

spool off

#这里可以添加多个查询,且每个查询可输出到不同的文件,如下面注释

#spool /tmp/some_tmp.csv 

#select column1||','||column2||','||column3 ....

#from some_table where condition

#spool off

set markup HTML off

quit

!!

#计算记录总行数，如果是0则不发邮件

NUM=`cat /tmp/some_tmp.csv | wc -l`

if[ $NUM -gt 0 ]

then

#先写excel的每列的title

echo 'Title_Of_Column1, Title_Of_Column2, ....Title_Of_ColumnN' > /tmp/attachement.csv

#数据正文

cat /tmp/some_tmp.csv >> /tmp/attachement.csv

#发邮件

(

echo "From: user@somehost.com"

echo "To: user1@somehost.com"

echo "MIME-Version: 1.0"

echo "Content-Type: multipart/mixed"

echo ' boundary="A_Boundary_Name_You_Can_Change_It"'

echo "Subject: Subject"

echo ""

echo ""

#附件分隔符，上面的boundary前面加--

echo "--A_Boundary_Name_You_Can_Change_It"

echo 'Content-Transfer-Encoding: x-uuencode'

echo 'Content-Type: text/csv'

echo '        name="attachement.csv"'

echo 'Content-Disposition: attachment'

echo '        filename="attachement.csv"'

echo ""

uuencode /tmp/attachement.csv attachement.csv

echo "--A_Boundary_Name_You_Can_Change_It"

#附件结束

) | mailx -t

fi

#删除临时文件

rm -f /tmp/*.csv

exit 0

---