搭建高可用K8S集群
搭建高可用K8S集群
说明：高可用的K8S集群，需要用到虚拟IP漂移技术。虚拟IP跟多台主机的IP相映射，外界只需要访问虚拟IP，就可以访问到主机，而无需关注具体访问的是哪一台主机。虚拟IP技术，可参考 https://www.cnblogs.com/fasionchan/p/10417177.html 和 https://www.cnblogs.com/myseries/p/11409895.html。本文重点在实操。
一、主机和网络规划
K8S高可用集群，需要用到etcd存储，etcd是一个采用了raft一致性算法的分布式键值存储系统。因此至少需要3台主机作为master。主机的 存活数 和 失败容忍 可参考 https://www.cnblogs.com/ants/p/11489598.html#_label0 。我的主机和网络规划如下：
ens33 k8s-master01 172.20.111.73
ens33 k8s-master02 172.20.111.80
ens33 k8s-master03 172.20.111.86
k8s-vip 172.20.111.22
其中，虚拟IP是没有被其他主机使用的IP。这台IP不会绑定到任何主机上。
二、安装和配置 keepalived
需要在三台 k8s master主机上操作。
1. 安装keepalived
keepalived 是实现IP虚拟漂移的关键技术。需要在三台K8S master主机上安装。
yum install -y keepalived
2.配置keepalived 虚拟漂移
三台K8S master主机，都需要进行配置。
cat <<EOF > /etc/keepalived/keepalived.conf
! /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
script_user root
enable_script_security
router_id LVS_DEVEL
}
vrrp_script check_apiserver {
script "/etc/keepalived/check_apiserver.sh"
interval 3
weight -2
fall 10
rise 2
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 50
authentication {
auth_type PASS
auth_pass 123456
}
virtual_ipaddress {
172.20.111.22
}
track_script {
check_apiserver
}
}
EOF
在上面的文件中替换自己相应的内容：
STATE 如果是主节点 则为MASTER 其他则为 BACKUP。我这里选择k8s-master01为MASTER；k8s-master02 、k8s-master03为BACKUP；
INTERFACE是网络接口，即服务器网卡的，我的服务器均为eth33；
ROUTER_ID 这个值只要在keepalived集群中保持一致即可，我使用的是默认值51；
PRIORITY 优先级，在master上比在备份服务器上高就行了。我的master设为100，备份服务50；
AUTH_PASS 这个值只要在keepalived集群中保持一致即可；123456
APISERVER_VIP 就是VIP的地址，我的为：172.20.111.22。
3.配置keepalived 健康检查
三台k8s master主机都要配置。
vi /etc/keepalived/check_apiserver.sh
### 添加内容
#!/bin/sh
errorExit() {
echo "*** $*" 1>&2
exit 1
}
curl --silent --max-time 2 --insecure https://localhost:16443/ -o /dev/null || errorExit "Error GET https://localhost:16443/"
if ip addr | grep -q 172.20.111.22; then
curl --silent --max-time 2 --insecure https://172.20.111.22:16443/ -o /dev/null || errorExit "Error GET https://172.20.111.22:16443/"
fi
APISERVER_VIP 就是VIP的地址，172.20.111.22；
APISERVER_DEST_PORT 这个是和apiserver交互的端口号，其实就是HAProxy绑定的端口号，因为HAProxy和k8s一起部署，这里做一个区分，我使用了16443，这个下面会说到。
4.启动keepalived，并设置开启自启动。
三台k8s master 主机都要启动
systemctl start keepalived #启动keepalived
systemctl enable keepalived #写入注册表，开启自启动
5.测试虚拟IP漂移
在master01上查看虚拟IP映射情况
ip addr show ens33
执行命令后，可以看到虚拟IP映射到了master01上。
ping 虚拟IP，如果虚拟IP能ping通，说明是可以工作的。
ping 172.20.111.22
关掉 master01，在执行 ping 172.20.111.22，如果发现还能ping通，说明已经漂移到其他master主机，在其他主机 执行ip addr show ens33，可查看具体漂移到哪台master主机。
（可以通过 systemctl status keepalived 查看服务状态，具体问题具体分析）
通过虚拟IP技术 keepalived，可以实现多台主机之间的高可用。用户只需要访问虚拟IP即可，而无需知道是具体是哪台主机做出的响应。
三、安装和配置haproxy
1. 安装haproxy（3台主机都要操作）
在安装haproxy之前，三台K8S master主机执行K8S集群搭建的 1到8步骤。这些步骤参考https://www.cnblogs.com/Fengyinyong/p/14682770.html
haproxy实现了负载均衡的作用，当通过虚拟IP访问K8S集群时，会访问到漂移到的具体K8S master 主机，再由该主机上的haproxy 将请求 负载均衡到三台K8S master主机。三台K8S master主机都要安装haproxy。
可以理解为，keepalived 负载实现高可用，只要由一台能工作，就可以通过虚拟IP访问到。haproxy负责实现负载均衡。
yum install -y haproxy
2.配置 haproxy（3台主机都要操作）
打开 /etc/haproxy/haproxy.cfg ，并替换成如下内容：
# /etc/haproxy/haproxy.cfg
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
log /dev/log local0
log /dev/log local1 notice
daemon
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
mode http
log global
option httplog
option dontlognull
option http-server-close
option forwardfor except 127.0.0.0/8
option redispatch
retries 1
timeout http-request 10s
timeout queue 20s
timeout connect 5s
timeout client 20s
timeout server 20s
timeout http-keep-alive 10s
timeout check 10s
#---------------------------------------------------------------------
# apiserver frontend which proxys to the masters
#---------------------------------------------------------------------
frontend apiserver
bind *:16443 # APISERVER_DEST_PORT
mode tcp
option tcplog
default_backend apiserver
#---------------------------------------------------------------------
# round robin balancing for apiserver
#---------------------------------------------------------------------
backend apiserver
option httpchk GET /healthz
http-check expect status 200
mode tcp
option ssl-hello-chk
balance roundrobin
server k8s-master01 172.20.111.73:6443 check # ${HOST1_ID} ${HOST1_ADDRESS}:${APISERVER_SRC_PORT}
server k8s-master02 172.20.111.80:6443 check
server k8s-master03 172.20.111.86:6443 check
APISERVER_DEST_PORT 这个值同上面的keepalived健康检查脚本里面的值一样，我这里使用16443；
${HOST1_ID} ${HOST1_ADDRESS}:${APISERVER_SRC_PORT} 其实就是你的k8s主节点的配置
3.启动，并设置开启自启动。
systemctl start haproxy
systemctl enable haproxy
此时用 systemctl status haproxy查看状态，会发现haproxy是启动的，但是收不到任何服务。那是因为我们完整搭建K8S集群。
如下所示：
四 配置网络，搭建集群
这一步骤，不再赘述，这里只说不同点。参考 K8S单点集群搭建 https://www.cnblogs.com/Fengyinyong/p/14682770.html
1、不同点一：集群初始化
第一次和第二次初始化，采用的是虚拟IP+haproxy设置的16443端口。只在master01上执行。
第一次初始化
kubeadm init --control-plane-endpoint "172.20.111.22:16443" \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.20.0 \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16 \
--upload-certs | tee kubeadm-init.log \
第二次初始化
kubeadm init --control-plane-endpoint "172.20.111.22:16443" \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.20.0 \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16 \
--apiserver-bind-port=6443 \
--ignore-preflight-errors=all \
--upload-certs | tee kubeadm-init.log
2、不同点二：master和node的加入集群指令
执行完初始化后，会输出两个加入集群的指令，一个是用于node集群加入的，一个是用于master集群加入的。其他 master 和 node 分别执行对应的指令
3、不同点三：三个k8s master都要执行默认指令
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
第一个主master 在初始化的时候执行，其他master 在执行加入集群命令后 执行。
4、不同点四：指令token过期
master加入集群的指令token只有两个小时有效。失效后，需要重新生成。可参考官网 https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/#steps-for-the-first-control-plane-node
