如何用Hive 往HBase里面插入大量的数据

如何用Hive 往HBase里面插入大量的数据,第1张

使用hive-hbase-handler,通过在Hive中建立外部表可以映射到HBase中的表,然后在Hive中往外部表中INSERT数据,即可完成对HBase表的数据插入。你可以搜索"lxw的大数据田地"查看Hive与HBase整合的相关文章。

首先,从客户端考虑,其实就是要保证region下线不可服务期间,读写请求能够在集群恢复后继续,具体可以采取如下措施:

1)对于写端,可以将未写入成功的记录,添加到一个客户端缓存中,隔一段时间后交给一个后台线程统一重新提交一次;也可以通过setautoflush(flase, false)保证提交失败的记录不被抛弃,留在客户端writebuffer中等待下次writebuffer满了后再次尝试提交,直到提交成功为止。

2)对于读端,捕获异常后,可以采取休眠一段时间后进行重试等方式。

3)当然,还可以根据实际情况合理调整hbase.client.retries.number和hbase.client.pause配置选项。

然后,从服务端考虑,需要分别针对region split和region balance进行解决


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/bake/11943612.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-19
下一篇2023-05-19

发表评论

登录后才能评论

评论列表(0条)

    保存