K8s高可用集群部署（四）

k8s官网高可用部署参考：https://kubernetes.io/docs/setup/independent/high-availability/

一，k8s高可用集群搭建原理

二，k8s高可用搭建步骤

一， k8s高可用集群搭建原理
　在k8s集群中，pod节点挂掉还不用担心，它会有恢复，但是如果是单节点master挂掉了，那情况就危险了，会导致
集群全部挂点，所以，需要给k8s集群做高可用，消除master的单点故障

对于k8s，要做高可用，要考虑一下几点
在kubernetes-1.15.以后的版本有些改变,如下：
****Apiserver****Apiserver****Apiserver****                   （如果有三个，并不会影响与etcd的沟通）
        ****ETCD****ETCD****ETCD****                               (当配置多主集群时，etcd会扩展)
****controller-manager****controller-manager****controller-manager         （在高可用集群中，是休眠状态，就是一个运行，其他休眠）
****scheduler****scheduler****scheduler****                                                （在高可用集群中，是休眠状态，就是一个运行，其他休眠）
                      ****kubelet****                                                                     （不需要做高可用）
                         ****Proxy****                                                                      （不需要做高可用）

上图就是要搭建的集群架构

二， k8s高可用搭建步骤

搭建目录：

注：一定要慢慢来，按步骤做，不然出差不好找问题

集群的准备
集群各各节点初始化
安装docker-ce
kubeadm安装搭建主从
加入主节点，和从节点
ETCD集群查看
部署网络Flannfly(集群内）

(1) 集群的准备

系统	主机名	I P
Centos7.6	matser01	192.168.30.145
Centos7.6	master02	192.168.30.144
Centos7.6	master03	192.168.30.143

三台master节点做高可用

要求：三台master的cpu虚拟核数要>=4个 | 三台master节点机器要可以上网，可以相互连通。（确保每一台master都是一样的配置）

(2) 集群各各节点初始化

这里初始化参看我的笔记部署k8s集群（二）

这里初始化最后有一点不同

按部署k8s集群（二）中部署到升级完内核后，重启reboor后，需要关闭NUMA

如图：（这里是一定要是重启完后做）

其中#vim grub 修改的是："GRUB_CMDLINE_LINUX" 这一行最后添加numa=off （关闭的意思）添加完后，是这样的：GRUB_CMDLINE_LINUX="crashkernel=auto rhgb quiet numa=off" （每个人做可能quiet前不同，只要在最后添加即可）

按图中步骤做完后，要再次重启机器*****

(3) 安装docker-ce

*****所有节点都安装docker-ce*****

安装需要的依赖包

#yum install -y yum-utils device-mapper-persistent-data lvm2

下载docker-ce源

#yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

更新软件包并安装docker-ce

#yum update -y && yum install -y docker-ce

创建docker目录

#mkdir /etc/docker

#mkdir -p /etc/systemd/system/docker.service.d

*上传文件daemon.json 到/etc/docker/ (如图：)

启动docker-ce并开机自启

#systemctl start docker && systemctl enable docker

(4) kubeadm安装搭建主从

开始搭建前，先部署调度

部署调度(所有节点都要做)
#modprobe br_netfilter
#cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
#chmod 755 /etc/sysconfig/modules/ && bash /etc/sysconfig/modules/ipvs.modules
#lsmod | grep -e ip_vs -e nf_conntrack_ipv4

调度做完，开始部署kubeadm

这里每个节点都采用的是睿云的镜像包,下载以下包如图

导入docker

#docker load -i haproxy.tar

#dcoker load -i keepalived.tar

解压

#tar zxvf kubeadm-basic.images.tar .gz

修改load-images.sh

如图：通过pwd这里先找到解压后的路径，并复制粘贴到load-images.sh中“cd”和“ls” 这两行

完成后，对这个文件加权限

#chmod a+x load-images.sh

加完权限后，开始执行权限

#./load-images.sh

每个节点都做完以上操作后，解压start文件

#tar zxvf start.keep.tar.gz

#mv data /

#cd /data/lb/

这里的yaml文件是Kubeadm的配置文件，另外两个sh文件是启动脚本

进入etc目录下，有一个haproxy的文件，修改，再最后一行加入本负载节点IP与端口

保存退出后，修改start-haproxy,sh文件，如下图（修改前几行，加入节点IP）

启动haproxy

#./start-haproxy.sh

查看一下是否成功监听

修改keepalived文件如下图（定义一个VIP在第一行添加修改，第二行是当前网卡名）

其他不做修改，保存退出即可

启动#./start-keepalived.sh

查看一下是否开启

#ip a

(4) 加入主节点，和从节点

************以上做完后，就可以创建集群了（开始安装kubeadm）

加入源

#yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1

#systemc enable kubelet.service

Kub,生成yaml文件如图

#cd /usr/local/kubernetes/install

#kubeadm config print init-defaults > kubeadm-config.yaml

修改kubeadm-config.yaml (红色为必要修改内容)

cat

*******************************************************************

apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
- system:bootstrappers:kubeadm:default-node-token
token: abcdef.0123456789abcdef
ttl: 24h0m0s
usages:2
- signing
- authentication
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 192.168.30.145
bindPort: 6443
nodeRegistration:
criSocket: /var/run/dockershim.sock
name: k8s-master01
taints:
- effect: NoSchedule
key: node-role.kubernetes.io/master
---
apiServer:
timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controlPlaneEndpoint: "192.168.30.140:6444"
controllerManager: {}
dns:
type: CoreDNS
etcd:
local:
dataDir: /var/lib/etcd
imageRepository: k8s.gcr.io
kind: ClusterConfiguration
kubernetesVersion: v1.15.1
networking:
dnsDomain: cluster.local
podSubnet: "10.244.0.0/16"
serviceSubnet: 10.96.0.0/12
scheduler: {}
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
SupportIPVSProxyMode: true
mode: ipvs