是不是都需要一个声明，来一个：
声明：
本文只是总结本人本地模拟环境测试，并没有经过严格的线上测试。请自己在本地严格测试之后慎重使用在生产环境！
kudu_master、kudu_tserver服务迁移时候会涉及数据的迁移，概括如下：
1、kudu_master部署机器
| 172.16.100.1 | kudu_master1 | Leader |
| 172.16.100.2 | kudu_master2 | Follower |
| 172.16.100.3 | kudu_master3 | Follower |
2、确认kudu集群健康状态，通过ksck命令查看
./kudu cluster ksck kudu_master1,kudu_master2,kudu_master3
注释：
kudu_master1,kudu_master2,kudu_master3：kudu_master服务所在机器的host
Version Summary
Version | Servers
-----------------+-------------------------
1.10.0-cdh6.3.1 | all 6 server(s) checked
Tablet Summary
Summary by table
Name | RF | Status | Total Tablets | Healthy | Recovering | Under-replicated | Unavailable
--------------------------+----+---------+---------------+---------+------------+------------------+-------------
impala::default.dd1 | 3 | HEALTHY | 1 | 1 | 0 | 0 | 0
impala::default.dd2 | 3 | HEALTHY | 1 | 1 | 0 | 0 | 0
impala::hxoffice_pri.dd3 | 3 | HEALTHY | 1 | 1 | 0 | 0 | 0
Tablet Replica Count Summary
Statistic | Replica Count
----------------+---------------
Minimum | 3
First Quartile | 3
Median | 3
Third Quartile | 3
Maximum | 3
Total Count Summary
| Total Count
----------------+-------------
Masters | 3
Tablet Servers | 3
Tables | 3
Tablets | 3
Replicas | 9
3、获取kudu集群master机器的UUID
./kudu local_replica cmeta print_replica_uuids --fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master 00000000000000000000000000000000 2>/dev/null
命令执行结果：
0ad919b7c68049a3bcf46abc029da8f6 909d4c97d0b948c6902e40f6968a3b8b 739298ec62504f898a71d4f6b92f908e
注释：
--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master：该参数是kudu集群部署时候你指定的数据和日志路径，具体可在master.gflagfile文件查看
00000000000000000000000000000000 ：固定参数
4、在kudu的WEBUI界面确认自己需要迁移的master节点的UUID
5、迁移的机器的UUID
909d4c97d0b948c6902e40f6968a3b8b
6、在新增的kudu_master机器，把--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master 这两个路径下的master目录干掉，没什么用
7、重新格式化--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master 这个新增机器的数据目录
./kudu fs format --fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master --uuid=909d4c97d0b948c6902e40f6968a3b8b
注释：
--uuid：需要迁移的kudu_master节点机器的UUID，第5步，你已经确认你需要迁移的机器了
--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master：这两个路径配置，上面已经说过了是数据和日志相关的路径配置，新增机器的配置维持原样
8、现在从正常的、存活的kudu_master节点复制一份完成数据到这个新增的机器上
./kudu local_replica copy_from_remote --fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master 00000000000000000000000000000000 hxb06:7051
注释：
--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master：数据和日志相关配置目录，不要随意修改，按照你自己之前的配置来
00000000000000000000000000000000：固定参数
hxb06:7051：正常的、存活的kudu_master节点，之前准备迁移的那一台kudu_master机器已经停掉，这一步执行最好选择是kudu_master服务的LEADER角色
9、拷贝完之后，修改配置文件master.gflagfile、tserver.gflagfile
--master_addresses=172.16.100.1:7051,172.16.100.2:7051,172.16.100.4:7051(这一台是新增上来的机器)
10、每一台kudu_master节点执行，刷新当前kudu_master集群配置
./kudu local_replica cmeta rewrite_raft_config --fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master 00000000000000000000000000000000 909d4c97d0b948c6902e40f6968a3b8b:172.16.100.179:7051 0ad919b7c68049a3bcf46abc029da8f6:172.16.100.249:7051 739298ec62504f898a71d4f6b92f908e:172.16.101.230:7051
注释：
--fs_wal_dir=/data/kudu/master --fs_data_dirs=/data/kudu/master：老生常谈，这两个路径是你数据和日志相关路径
00000000000000000000000000000000：固定参数
909d4c97d0b948c6902e40f6968a3b8b kudu_master机器的UUID（这个UUID，你去WEBUI界面上看，现在活着的kudu_master的UUID是什么，千万不要写错，kudu_master迁移完全依赖机器的UUID）
11、kudu_tserver服务和数据迁移
经查阅官网资料，kudu官网提供kudu cluster rebalance工具和自主恢复机制两种方式进行kudu_tserver节点的永久移除，考虑到该工具使用牵扯到gcc编译和版本要求，再者考虑到数据量并不是很大，故采用kudu集群自主迁移恢复机制进行kudu_tserver数据迁移，本地测试超过两次，均未造成数据丢失，操作比较简单
注释：
如果你想试一下balance工具，参考官网地址：
https://kudu.apache.org/docs/administration.html#tablet_server_decommissioning
https://kudu.apache.org/docs/administration.html#ksck
12、我使用的是kudu集群自主迁移恢复机制
1. 停掉一台需要迁移的kudu_tserver节点，保证活着的kudu_tserver至少三台，因为我的副本数设置的是3，仅仅如此
2.根据自主恢复机制，停机超5分钟后，该机器副本会自动迁移至其他活着的kudu_tserver节点
3. 重启kudu集群各个kudu_master、kudu_tserver服务
4. 使用ksck命令检查集群健康状态是否正常，检查kudu集群WEBUI界面是否已经移除掉迁移的kudu_tserver节点
至此，kudu_master、kudu_tserver服务及数据迁移完成，SOEASY!!!
posted on
