摘要: hbase本身对支持的列簇没有数量限制,当我们建议列簇一般设在1-3之间。 在hbase中调用API往对应的表中插入数据,会写到MenStore的,而Menstore是一种内存结构,每个列簇对应一个Menstore。 存储在Menstore中的数据在一定条件下会进行Flush操作,每次flush的时 阅读全文
posted @ 2019-09-04 16:02 www555 阅读(1487) 评论(0) 推荐(0) 编辑
摘要: 每个region都有startkey和endkey,协处理器的代码是在region上执行,而这些代码在region上执行的时候,我们可以拿到当前region的信息,包括startkey和endkey,然后我们可以用startkey和rowkey拼接,就可以查到我们需要的数据了。 1)定义proto文 阅读全文
posted @ 2019-09-04 15:42 www555 阅读(1303) 评论(0) 推荐(1) 编辑
摘要: 未加盐数据:spark可以使用inputformat、outputformat来读写hbase表。 加盐以后:需要在rowkey之前加一些前缀,否则是查不到数据的。 1)我们需要重新写getsplits方法:从名字我们可以知道是要计算有多少个splits。在hbase中,一个region对用一个sp 阅读全文
posted @ 2019-09-04 14:40 www555 阅读(1106) 评论(0) 推荐(1) 编辑