【HBase】HBase的RK设计、避免热点
一、HBase的RK设计
HBase读写数据大多数是通过RK，MemStore/HFile存储也是按照字典顺序排列的RK存储，所以要关注RK。
RowKey设计原则：
1）长度原则：
RowKey不应该超过16字节，因为若是过长再以KV形式存储，对于HFile和MemStore来说会极大的占用存储空间。
2）唯一原则：
保证RowKey的唯一性，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖
3）排序原则：
RowKey是按照字典序排序的。HBase中的数据永远是根据RowKey的字典排序来排序的。
4）散列原则：
设计的RowKey应均匀的分布在各个HBase节点上。能将 RegionServer的负载均衡，否则容易产生所有新数据都在一个 RegionServer 上堆积的现象。
二、HBase如何避免热点
HBase表的数据是按照RowKey来分散到不同的Region，不合理的RowKey设计会导致热点问题，热点问题是大量的客户端直接访问集群中的一个或极少数的节点，而集群中的其他节点却处于相对空闲的状态，从而影响对HBase的读写性能。
1、加盐
在RK前面加添加固定长度的随机数前缀。可以让数据分散在不同的Regin上。
缺点：增加了读的开销。
2、hash
使用将hash(rk)的全部或者只取hash值的长度前4位+rk组成新的RowKey，这里说的hash包含MD5，sha1,sha256,sha512等算法，并不是仅限于Java的Hash值计算。
缺点：同样不利于读。
3、reverse反转
4、时间戳反转
字段的选择：
一定取决于你的最大的需求，结合具体的查询条件，高频率的尽可能的放到RK里面，现有如下两列数据以及四种需求，如何设计RowKey？
userid orderno skuname skuprice skunum skusum ordercretime
jepson 0001 西瓜 10 5 50 2019-07-07 12:00:00
jepson 0002 南瓜 10 50 500 2019-07-08 12:00:00# 需求
1)根据用户查询订单最新记录
where userid=jepson order by ordercretime desc limit 12)
where userid=jepson and (ordercretime>='xxx' and ordercretime<='xxxx')3)根据时间段查询订单记录
where (ordercretime>='xxx' and ordercretime<='xxxx')4)根据用户买了西瓜的订单记录
where userid=jepson and skuname='西瓜'根据以上原则及其方法和综上所述，RowKey=hash(userid).substring(0, 4)+userid+ (Long.Max_Value - timestamp)，但是要注意 (Long.Max_Value - timestamp)要固定长度用0补齐。
例子：
最终的rowkey=hash(UserId).substring(0, 4)+UserId+Long.Max_Value - timestamp
调优（region个数）：
1个region memstore额外的开销为hbase.hregion.memstore.mslab.chunksize=2m，如果你的一张表有20个region，那么额外开销为40M，一百张表就是100 * 40M = 4G。所以建议小表region个数为1，中表region个数为5，大表为20，1台rs节点的region 是100-200个。
