hbase数据加盐读取(spark篇)

未加盐数据:spark可以使用inputformat、outputformat来读写hbase表。

加盐以后:需要在rowkey之前加一些前缀,否则是查不到数据的。

1)我们需要重新写getsplits方法:从名字我们可以知道是要计算有多少个splits。在hbase中,一个region对用一个split,对应于tablesplit实现类。

tablesplit的构造需要传入startrow和endrow。

2)我们可以通过RegionLocator 的 getStartEndKeys()拿到某张表所有 Region 的 StartKeys 和 EndKeys 的,然后将拿到startkey和用户传进来的startrow和endrow进行拼接。 

 

posted @ 2019-09-04 14:40  www555  阅读(1144)  评论(0编辑  收藏  举报