2017年11月2日

在Spark上通过BulkLoad快速将海量数据导入到Hbase

摘要: 我们在《通过BulkLoad快速将海量数据导入到Hbase[Hadoop篇]》文中介绍了一种快速将海量数据导入Hbase的一种方法,而本文将介绍如何在Spark上使用Scala编写快速导入数据到Hbase中的方法。这里将介绍两种方式:第一种使用Put普通的方法来倒数;第二种使用Bulk Load A 阅读全文

posted @ 2017-11-02 13:55 cxhfuujust 阅读(3076) 评论(0) 推荐(0) 编辑

hbase大规模数据写入的优化历程

摘要: 参考:http://blog.csdn.net/zbc1090549839/article/details/51582817 业务背景:由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase数据库,以此根据一定的条件来提供近实时查询,比如根据用户id及一定的时间段等条件来过滤符合要求的若 阅读全文

posted @ 2017-11-02 10:49 cxhfuujust 阅读(2889) 评论(0) 推荐(0) 编辑

导航