sqoop抽取oracle数据至hive并建表

sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \

  --connect jdbc:oracle:thin:@172.2.1.17:1521:orcl \

  --username username \

  --password password \

  --table test_table \

  --hive-import \

  --hive-overwrite \

  --hive-database ods \

  --hive-table test_table \

  --hive-partition-key dt \

  --hive-partition-value 20210126 \

  --as-parquetfile

sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型数据库和hive、hdfs，hbase之间数据的相互导入，可以使用全表导入和增量导入

从RDBMS中抽取出的数据可以被MapReduce程序使用，也可以被类似Hive的工具使用；得到分析结果后sqoop可以将结果导回数据库，供其他客户端使用

使用sqoop工具。

1、在行键选择那里，通过用“”，将需要做行键的多个列写在一起就可以了。

2、例如要将a和b列同时做行键，那么--hbase-row-key "a,b"就可以了。

　

　Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将

一个关系型数据库（例如 ： MySQL ,Oracle

,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

---