kettle抽取linux下csv文件到Windows下数据库

kettle抽取linux下csv文件到Windows下数据库,第1张

linux 下,可以使用cli程序把csv文件导入到数据库。具体代码如下:

$ORACLE_HOME/bin/sqlplus -S username/password@instanceName > /dev/null 2>&1  <<!!

#对sqlplus作一些设置,使之只输出我们需要的文本

set echo off

set pagesize 0

set verify off

set feedback off

set termout off

set linesize 3000

set trimspool on

#查询输出到临时文件

spool /tmp/some_tmp.csv 

#select语句

select column1||','||column2||','||column3 ....

from some_table where condition

spool off

#这里可以添加多个查询,且每个查询可输出到不同的文件,如下面注释

#spool /tmp/some_tmp.csv 

#select column1||','||column2||','||column3 ....

#from some_table where condition

#spool off

set markup HTML off

quit

!!

#计算记录总行数,如果是0则不发邮件

NUM=`cat /tmp/some_tmp.csv | wc -l`

if[ $NUM -gt 0 ]

then

#先写excel的每列的title

echo 'Title_Of_Column1, Title_Of_Column2, ....Title_Of_ColumnN' > /tmp/attachement.csv

#数据正文

cat /tmp/some_tmp.csv >> /tmp/attachement.csv

#发邮件

(

echo "From: user@somehost.com"

echo "To: user1@somehost.com"

echo "MIME-Version: 1.0"

echo "Content-Type: multipart/mixed"

echo ' boundary="A_Boundary_Name_You_Can_Change_It"'

echo "Subject: Subject"

echo ""

echo ""

#附件分隔符,上面的boundary前面加--

echo "--A_Boundary_Name_You_Can_Change_It"

echo 'Content-Transfer-Encoding: x-uuencode'

echo 'Content-Type: text/csv'

echo '        name="attachement.csv"'

echo 'Content-Disposition: attachment'

echo '        filename="attachement.csv"'

echo ""

uuencode /tmp/attachement.csv attachement.csv

echo "--A_Boundary_Name_You_Can_Change_It"

#附件结束

) | mailx -t

fi

#删除临时文件

rm -f /tmp/*.csv

exit 0

将CSV文件导入数据库的方法有很多种,可以使用脚本、数据库客户端或者数据库提供的管理功能来实现。比如可以在MySQL中使用LOAD DATA INFILE命令,在SQL Server中使用BCP命令,在Oracle中使用SQL*Loader等。

拓展:另外,还可以使用编程语言,比如Java或者Python,开发一个专门的程序来实现csv文件到数据库表之间的转换。

1、首先打开sql server 选择一个数据库,右击选择任务,点击导入数据打开导入导出向导:

2、进入向导,下一步来到数据源的选择界面:

3、接着点击数据源下拉框,选择平面文件源:

4、在d出的窗口中,选择csv文件,筛选一下数据,点击下一步:

5、随后一路下一步,一直到出现完成按钮就说明导入成功了:


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/10648678.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-10
下一篇2023-05-10

发表评论

登录后才能评论

评论列表(0条)

    保存