HBase基于region数目和data locality来balance regions
1. 在Hbase的运维过程中,我们经常需要做如下操作:
- 移动 regionserver 到其他的 regionserver group中
- 下线一台机器
- 增加一台机器
- 移动 table 到其他 regionserver group中。
2. 在进行上述操作的过程中,一个 regionserver 上的 regions,或者一个 table 的 regions 都会重新进行分配,这样的分配过程是 HBase 控制的,我们无法控制一个 region 会移动到哪一个 regionserver 上。
3. 在 region 提供服务的过程中,影响服务质量的因素有:
- regionserver的负载情况,一般来说,region 的数目越多,如果不考虑热键的话regionserver的负载也会越高。
- regionserver机器的性能,性能越好的机器,可以提供越多的服务,在异构的HBase集群中,尤其明显。对于一些比较重要的表我们会把它们放在性能比较好的机器上。
- region的cache locality,region在服务的过程中,会通过memstore&blockcache缓冲机制来提高服务的速度,当region迁移后,region会丢失缓冲。
- data locality,data locality用来衡量region服务的数据即region的HFile位于本地的程度,在region写HFile的时候,根据HDFS的replica策略,至少会有一个备份存储在本地,因此随着时间的推移,region的locality会逐渐趋于1。region迁移的时候,不一定能移动到正好有这个region数据备份的机器上,因此,数据就会从其他节点获取,造成网络开销增加,延迟增加。
4. 考虑上面情况,我们希望可以人工干预region的迁移,比如下线一台机器之前,我们可以先把它上面的region移动到最合适的位置,然后再把机器下线。我们的移动策略有:
- cache locality:尽可能保证region的位置不发生移动。
- data locality:尽可能把region迁移到data locality高的节点。
- region count:尽可能使得region的数目分配均衡,不给单一节点造成较大的压力。
- Ability and responsibility:性能越好的机器,需要承担更多的责任。
5. 总结以上需求,我们需要这样一个工具:
- 输入1——table 我们需要balance的表,这是我们操作的基本单位。
- 输入2——server list,我们需要把表中的数据balance到那些机器上,通过用户提供列表可以非常方便实现机器的增加和减少,以及把table上的region移动到指定机器上。在提供server list的时候可以指定机器的性能参数。
- 输入3——balance的策略
6. 具体实现可见github:git@github.com:LiuPeien/hbase-balance-util.git