往hbase插入数据,你会选择哪种?

   好久,好久没有写个博客了,自从上次封闭开始,到“自闭”,有了一段时间了,哈哈^_^ 、 

   多亏了云桌面的歇菜, 一下午啥都干不了, 突然想到,好久没有写点啥了,就写的,让时间流走有点痕迹吧 _(:з」∠)_

    之前,做过一个小工具,就是将一个文件中的数据,插入的hbase中, 将其简单阐述一番,多少记一点吧,要不在过一段时间都忘了。

    

  插入到hbase中,有很多中选择,java的方式是可以的,但是做一个脚本,没有必要,操作起来不方便,还得编译,.... ,  

   选择shell或python的方式,是个方便的选择,反正是个小工具,有可能会随时调整 ,而且linux是自带的Python环境

   要用Python脚步的方式插入到hbase,参考hbase的官方文档。

   查看hbase Reference Guide, 里面介绍内容很多,包括很多入门操作说明等。
   本次,主要是查看了如何更好的利用Python脚步插入到hbase中。
   由于hbase是java写的,要用Python去执行查询插入数据到hbase中,是有两种方式走,

  • 一种是利用thrift的方式,作为python和java中间翻译层,进行操作hbase的方式;
  • 还有个方法,就是用Python包装一层linux shell方式, 用hbase shell的方式操作hbae。

     由于要用thrift方式,是需要开启服务,需要往Python安装其他第三方类库,增加运维人员负担,最后尝试后采用第二中方法。

 

   用hbase shell 的方式,

  1. 使用Hbase Put API
  2. 使用Hbase批量加载工具
  3. 自定义的MapReduce job

   这几种HBase数据导入方式(不推荐使用)
   理由:

  • 这三种方式都涉及到Put内置,大多数数据迁移到hbase场景,目前只是简单直接获取表结构和插入数据,使用单线程,这种效果非常慢,还得自己去写多线程完成,这样还是增加工作量和复杂度。

   最后,查询官方文档后,得知ImportTsv是HBase官方提供的基于Mapreduce的批量数据导入工具。
   同时ImportTsv是Hbase提供的一个命令行工具,可以将存储在HDFS上的自定义分隔符(默认\t)的数据文件,通过一条命令方便的导入到HBase表中,对于大数据量导入非常实用。
   这种方式,是将要插入数据写放到HDFS上,这样保证数据不丢失,多份数据,然后开启MapReduce的方式,插入到hbase。当执行10w条数据插入没有问题,但100w的数据插入就会出现丢失情况。
解决方案是先用ImportTsv生成HFile,然后在用bulkload 的方式将HFIle导入到hbase的里面。

 

总结:
多看hbase的官方文档,但也要多搜索一下国内大牛写的博客,毕竟有人实际过,少尝试一些方法。

   

若您看到后,会用什么方式,可以留言讨论。

O(∩_∩)O哈哈~ 刚看了一下,云桌面好了,干活了!

 

posted @ 2019-05-27 16:43  dy9776  阅读(2085)  评论(0编辑  收藏  举报