tidb损坏tikv节点怎么恢复集群
tikv节点宕机(机器再起不来)，或者数据节点被rm -rf 掉了怎么办
正常情况下tikv节点down掉了。此时不要去执行store delete store_id 。数据一般可以正常访问，但是如果永久损坏的tikv节点。我们总想要把它移除。如何移除呢？
（移除kv节点过程中，如果kv节点健康在线，可以实现动态移除。如果kv节点不可用，可能导致访问数据的时候找不到region。【ERROR 9005 (HY000): Region is unavailable[try again later]】）
记移除一个损坏的tikv节点的过程：
1、动态移除kv节点
./pd-ctl -d -u http://192.168.100.73:4203 store delete 1
则该tikv节点状态会变为 "state_name": "Offline" 状态。
执行 operator show 会看到后台很多线程 transfer-peer 和 remove-peer 。
在此过程中可以先把故障节点的region 为leader 的转走先（理论上leader转义走了可以恢复正常，但实际并不一定）：
scheduler add evict-leader-scheduler 1
调整作业调度的参数，加快region。（通过operator show可以看到调度进程。）
config set leader-schedule-limit 10
config set region-schedule-limit 10
config set replica-schedule-limit 20
如下图：我们会看到leader_count 和region_count 慢慢在减少。
2、直至最后，有些region_count 一直不能自动transfer-peer 到别的kv节点。所以不能被 remove-peer。可以采取手动移除的办法：
（1）：找出拥有损害kv节点的region。
pd-ctl -d -u http://192.168.100.73:4203 region check down-peer |grep -B 1 "start_key" |grep '"id":'|awk '{print "./pd-ctl -d -u http://192.168.100.73:4203 operator add remove-peer "$NF" 1"}'|sed s/,//g
（2）：以上语句会生成如下类似的语句，执行之（1是store_id的id标志。）。
./pd-ctl -d -u http://192.168.100.73:4203 operator add remove-peer 4743 1
./pd-ctl -d -u http://192.168.100.73:4203 operator add remove-peer 171058 1
./pd-ctl -d -u http://192.168.100.73:4203 operator add remove-peer 11642 1
./pd-ctl -d -u http://192.168.100.73:4203 operator add remove-peer 4419 1
在此查看损坏的kv节点的信息：
所有的region已经移除走，该kv节点已经不拥有任何region。理论上，此节点状态应该变为Tombstone。数据库恢复正常。但实际上可能会出现查询到坏的region节点。依然不正常。
怎么办呢？再次在pd工具下最新region。查看元数据信息，依然可以看到某些属于损坏kv的region。并且处于pendingpear状态。说明移除的region处于挂起状态，可能hung住：
这些损坏kv节点的pendingpears虽然不是leader 。但是依然影响tidb节点的数据操作，导致dml时候老报以下错误：
ERROR 9005 (HY000): Region is unavailable[try again later]
3、如何解决？启用kv节点修复数据工具：
停止所有kv节点，执行以下语句。命令将一些失败掉的机器从所有 Region 的 peers 列表中移除。这样，这些 Region 便可以在 TiKV 重启之后以剩下的健康的副本继续提供服务了。这个命令常常用于多个 TiKV store 损坏或被删除的情况。此命令会导致数据丢失，但因为在集群下我们有至少3个副本。所以基本上一个kv节点损坏并不会导致数据丢失，可放心执行。
tikv-ctl --db /path/to/tikv/db unsafe-recover remove-fail-stores 1
执行完以上语句后。在pd工具下查看store信息：
"state_name": "Tombstone" 表示下线成功的 TiKV 节点
状态信息说明：
Up Stores：正常运行的 TiKV 节点数量
Disconnect Stores：短时间内通信异常的 TiKV 节点数量
LowSpace Stores：剩余可用空间小于 80% 的 TiKV 节点数量
Down Stores：停止工作的 TiKV 节点数量，如果大于 0，说明有节点不正常
Offline Stores：正在下线的 TiKV 节点数量（正在下线的 TiKV 节点还在提供服务）
Tombstone Stores：下线成功的 TiKV 节点数量
注：
如果集群不可用，紧急恢复集群，数据安全性不高。可以直接执行
tikv-ctl --db /path/to/tikv/db unsafe-recover remove-fail-stores 1
