hbase ImportTsv的使用

hbase ImportTsv的使用 importTsv的使用

importTsv 是一个将 TSV 格式的数据加载到 Hbase 的工具类。它有两种不同的用法：1.通过 Puts 将 HDFS 中的 TSV 格式的数据加载到 Hbase 中；2.通过生成StoreFile的方式使用completebulkload将数据加载到Hbase中。

通过 Puts 将 HDFS 中的 TSV 格式的数据加载到 Hbase 中

$ bin/hbase org.apache.hadoop.hbase.mapreduce.importTsv '-Dimporttsv.separator=|' -Dimporttsv.columns=a,b,c  

• ‘-Dimporttsv.separator=|’ 指定列之间的分隔符
• -Dimporttsv.columns 指定列族
• tablename 指定hbase表名
• hdfs-inputdir 指定数据文件在hdfs上的存放路径

通过生成StoreFile的方式使用completebulkload将数据加载到Hbase中 1.生成StoreFile

$ bin/hbase org.apache.hadoop.hbase.mapreduce.importTsv '-Dimporttsv.separator=|' -Dimporttsv.columns=a,b,c -Dimporttsv.bulk.output=hdfs://storefile-outputdir  

• ‘-Dimporttsv.separator=|’ 指定列之间的分隔符
• -Dimporttsv.columns 指定列族
• -Dimporttsv.bulk.output=hdfs://storefile-outputdir 指定StoreFile的生成路径
• tablename 指定hbase表名
• hdfs-data-inputdir 指定数据文件在hdfs上的存放路径

2.将生成的StoreFile通过completebulkload加载到hbase中

HADOOP_CLASSPATH=`${Hbase_HOME}/bin/hbase classpath` ${HADOOP_HOME}/bin/hadoop jar ${Hbase_HOME}/hbase-mapreduce-VERSION.jar completebulkload  

• hbase-mapreduce-VERSION.jar hbase对应version的jar包
• hdfs://storefileoutput 生成StoreFile在hdfs上的路径
• tablename hbase表名

注意：这里有第二种将StoreFile加载到hbase表中的方法

$ bin/hbase org.apache.hadoop.hbase.tool.LoadIncrementalHFiles  

• hdfs://storefileoutput 生成StoreFile在hdfs上的路径
• tablename hbase表名