Hbase 1.3.0 Rsgroup
HBase RSGroup
Git环境
window环境下，警用crlf自动转换
git config --global core.autocrlf false
protobuf环境
yum install autoconfautomake libtool cmake gcc* -y
yum install ncurses-devel -y
yum install openssl-devel -y
wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
tar -xzvf ./protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure
make && make install
protoc --version
对于Ubuntu系统需要修改profile文件
vim ~/.profile
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
source ~/.profile
hbase-6721-v15-branch-1.1.patch新增GroupAdmin，Group两个protos，另外加上HBase.proto新增两个字段，重新编译然后替换HBaseProtos类
protoc HBase.proto --java_out=/home/chenxi/hbase/pb
或则使用maven命令
cd hbase-protocol
mvn compile -Pcompile-protobuf
编译HBase tarball
options: -Xms1024m -Xmx1024m -XX:PermSize=128m -XX:MaxPermSize=256M
mvn -DskipTests clean install && mvn -DskipTests package assembly:single
maven编译hbase-1.3.0源码时，默认采用-Dhadoop.profile=2.0，使用${hadoop-two.version}（2.5.1）版本，tarball在hbase-assembly/target/hbase--bin.tar.gz.
配置rsgroup
hbase.coprocessor.master.classes
org.apache.hadoop.hbase.group.GroupAdminEndpoint
hbase.master.loadbalancer.class
org.apache.hadoop.hbase.group.GroupBasedLoadBalancer
idea debug
-
选择执行HMaster或则HRegionerver
Main class: HMaster -
VM options
VM options:
-Dlog4j.configuration=file:/usr/code/hbase/conf/log4j.properties -server -Xms4g -Xms4g -
Program arguments
Program arguments: start -
修改idea配置
idea.max.intellisense.filesize=25000 -
添加配置
hbase.defaults.for.version.skip true
conf/hbase-site.xml -
执行打包命令
mvn -DskipTests clean install && mvn -DskipTests package assembly:single
rsgroup常用命令
添加group
1）添加组
add_group ‘groupname’
注意：此时group没有划分属于哪个server，使用move_group_servers移动 rs到该group上
2）移动rs到组
move_group_servers ‘group_name’,[ 'server:port ']
3）删除group
此时，删除group时，group中不能有其他的server
remove_group ‘group_name’
查看group信息
1）查看group
get_group ‘groupname’
balance命令
1）对group执行balance
balance_group ‘groupname’
master节点打印日志如下
2017-11-15 09:38:40,173 INFO [RpcServer.FifoWFPBQ.default.handler=27,queue=0,port=16000] group.GroupAdminServer: Partial plan for table hbase:meta: []
2017-11-15 09:38:40,174 INFO [RpcServer.FifoWFPBQ.default.handler=27,queue=0,port=16000] group.GroupAdminServer: Creating partial plan for table test: {cnsz22vlk3242,16020,1510659204083=[], cnsz22vlk3243,16020,1510566142277=[], cnsz22vlk3244,16020,1510566453873=[{ENCODED => 0f2e2af9f0e253f9d96a62013563338a, NAME => ‘test,1510650335225.0f2e2af9f0e253f9d96a62013563338a.’, STARTKEY => ‘’, ENDKEY => ‘’}]}
2017-11-15 09:38:40,175 INFO [RpcServer.FifoWFPBQ.default.handler=27,queue=0,port=16000] group.GroupAdminServer: Partial plan for table test: []
table操作
1）移动table到组中必须保证组内必须有server存在，即必须有rs
move_group_tables ‘groupname’,[‘tablename’]
补充：对于group中的table可以直接做disable、drop操作
Tips
- 升级hbase rsgroup时，必须先升级master并重启master节点。
- 测试发现对于批量移动rs、table会存在bug，因此强制规定单条操作。
- 由于rsgroup以group为单位，因此每张表只能分配到一个group中，但是可以分配多个server到一个group中。
- remove group时必须的保证没有server处在该group，并且将group表全部移走
- 新添加（或则移动）server到group之后表的region还没有分配到新server上，此时需要执行balance命令
- 升级rsgroup主要有两个host和faild_open两个问题，参考HBASE-19144
