k8s之external-etcd集群管理
一、概述
kubernetes使用etcd作为数据中心，使用kubeadm部署kubernetes的时候默认会自己部署一个etcd，当然也可以将kubeadm部署的单点的etcd做成集群，但是比较麻烦，所以我们使用的是自建
的etcd集群即external etcd cluster。在使用kubeadm初始化集群的时候指定etcd为external。
具体kubeadm的init config参考我的另外一篇blog：https://www.cnblogs.com/cuishuai/p/10149727.html
etcd集群的搭建参考：https://www.cnblogs.com/cuishuai/p/9897006.html
本片blog不再赘述详细的搭建过程，主要记录一下etcd集群的管理。
二、Etcd Cluster 管理
1、准备etcdctl
默认etcd部署采用的是etcd-v2，kubernetes默认使用的是v3，所以直接使用etcdctl在etcd里查不到任何关于kubernetes的信息，v2和v3有很大的差距，可以从v2迁移到v3，但是不能往回迁。
想要使用必须指定etcd api 为v3，作如下操作：
# vim ~/.bashrc
#etcd
host1='10.42.13.230:2379'
host2='10.42.43.147:2379'
host3='10.42.150.212:2379'
endpoints=$host1,$host2,$host3
alias etcdctl='etcdctl --endpoints=$endpoints --key /etc/etcd/ssl/etcd-key.pem --cert /etc/etcd/ssl/etcd.pem --cacert /etc/kubernetes/ssl/ca.pem'
export ETCDCTL_API=3
#使修改生效
#source ~/.bashrc
现在使用etcdctl查看kubernetes的信息：
查看所有的key：
etcdctl get --prefix "" --keys-only
删掉所有的key：
etcdctl del --prefix ""
查看以calico开头的所有的key：
etcdctl get --prefix "/calico" --keys-only
使用etcdctl可以管理很多etcd的内容，具体的可以使用etcdctl --help查看。
2、etcd集群添加节点
添加节点前的准备：
！集群必须是奇数个节点
！重新创建etcd的证书，将所有要添加的ip都加进去，参考https://www.cnblogs.com/cuishuai/p/9897006.html
！为新的etcd服务创建启动文件，参考https://www.cnblogs.com/cuishuai/p/9897006.html，需要做一些简单的修改：
#cat /etc/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos
[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/opt/bin/etcd \
--name=etcd-host3 \
--cert-file=/etc/etcd/ssl/etcd.pem \
--key-file=/etc/etcd/ssl/etcd-key.pem \
--peer-cert-file=/etc/etcd/ssl/etcd.pem \
--peer-key-file=/etc/etcd/ssl/etcd-key.pem \
--trusted-ca-file=/etc/kubernetes/ssl/ca.pem \
--peer-trusted-ca-file=/etc/kubernetes/ssl/ca.pem \
--initial-advertise-peer-urls=https://10.42.10.90:2380 \
--listen-peer-urls=https://10.42.10.90:2380 \
--listen-client-urls=https://10.42.10.90:2379,http://127.0.0.1:2379 \
--advertise-client-urls=https://10.42.10.90:2379 \
--initial-cluster-token=etcd-cluster-1 \
--initial-cluster=etcd-host0=https://10.42.13.230:2380,etcd-host1=https://10.42.43.147:2380,etcd-host2=https://10.42.150.212:2380,etcd-host3=https://10.42.10.90:2380 \
--initial-cluster-state=exsiting \
--data-dir=/var/lib/etcd
Restart=on-failure
RestartSec=5
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
--initial-cluster-state修改为existing
创建数据目录：
mkdir /var/lib/etcd
添加节点：
etcdctl member add --endpoints=https://10.42.10.90:2379 etcd-host3 https://10.42.10.90:2380
启动etcd实例
systemctl start etcd
systemctl enable etcd
查看：
etcdctl endpoint health
etcdctl member list
3、移除节点
找到需要移除节点的memberid：
etcdctl member list
移除：
etcdctl member remove [memberid]
4、etcd集群数据备份与恢复
！数据备份
准备备份路径
mkdir -p /data/backup/etcd
开始备份：
etcdctl snapshot save /data/backup/etcd/snapshot-$(date +%Y%m%d%H%M).db
查看snapshot文件的状态：
etcdctl snapshot status /data/backup/etcd/snapshot-201901171717.db
！数据恢复
写了一个脚本，现在集群假设是3个节点，名称一次为etcd-host0、etcd-host1、etcd-host2:
#cat etcdrestoe.sh
#!/bin/bash
h0=10.42.13.230
h1=10.42.43.147
h2=10.42.150.212
for i in h0 h1 h2
do
etcdctl snapshot restore snapshot.db \
--data-dir=/var/lib/etcd \
--name=$i \
--initial-cluster=etcd-host0=https://$h0:2380,etcd-host1=https://$h1:2380,etcd-host2=https://$h2:2380 \
--initial-cluster-token=etcd-cluster-1 \
--initial-advertise-peer-urls=https://$i:2380 && \
mv /var/lib/etcd/ etcd_$i
done
把生成的etcd_10.42.13.230、etcd_10.42.43.147、etcd_10.42.150.212分别覆盖各自节点之前的/var/lib/etcd下面的数据。
