随笔- 87 文章- 10 评论- 0 阅读- 91278

Centos7系统二进制安装Kubernetes（v1.18）集群

一、环境准备

1.1、集群环境

**集群环境**
角色	IP	组件
k8s-master01	192.168.100.31	kube-apiserver，kube-controller-manager，kube-scheduler，kubelet，kube-proxy，docker，etcd
k8s-master02	192.168.100.32	kube-apiserver，kube-controller-manager，kube-scheduler，kubelet，kube-proxy，docker
k8s-node01	192.168.100.33	kubelet，kube-proxy，docker，etcd
k8s-node01	192.168.100.34	kubelet、kube-proxy、docker、 etcd
nginx-master	192.168.100.35	kubelet，kube-proxy，docker，etcd
nginx-backup	192.168.100.36	Nginx L4+keepalived
VIP	192.168.100.37	Nginx L4+keepalived

1.2、软件环境

**软件环境**
软件	版本
操作系统	CentOS Linux release 7.9.2009 (Core) 内核：3.10.0-1160.99.1.el7.x86_64
Docker	19-ce
kubernetes	1.18

部署说明：

搭建这套K8s 高可用集群分两部分实施，先部署一套单 Master 架构（3 台），再扩容为多Master 架构（4 台或 6 台），顺便再熟悉下 Master 扩容流程。

单 Master 架构图：

1.3、系统环境初始化

1.3.1、修改网卡UUID

 #查看网卡UUID
nmcli con
 
#获取新的UUID
uuidgen ens33
 
#把uuid添加到网卡配置
sed -i '5i UUID="aff7fd51-bc25-4724-93a7-c5fb44b98771"' /etc/sysconfig/network-scripts/ifcfg-ens33
 
#如果网卡里面有UUID的配置可以选择替换掉
sed -i 's/UUID="25ca232d-c891-4dd4-9566-55d0cf03c8b6"/UUID="aff7fd51-bc25-4724-93a7-c5fb44b98771"/g' /etc/sysconfig/network-scripts/ifcfg-ens33
 
#重启网卡
systemctl restart network
 
#查看
nmcli con

1.3.2、关闭防火墙

 systemctl stop firewalld
 
systemctl disable --now firewalld

1.3.3、关闭selinux

 #永久关闭
sed -i 's/enforcing/disabled/' /etc/selinux/config
 
#临时关闭
setenforce 0

1.3.4、关闭swap分区

 sed -ri 's/.*swap.*/#&/' /etc/fstab
 
swapoff -a && sysctl -w vm.swappiness=0
 
cat /etc/fstab
 
# 参数解释：
# 
# -ri: 这个参数用于在原文件中替换匹配的模式。-r表示扩展正则表达式，-i允许直接修改文件。
# 's/.*swap.*/#&/': 这是一个sed命令，用于在文件/etc/fstab中找到包含swap的行，并在行首添加#来注释掉该行。
# /etc/fstab: 这是一个文件路径，即/etc/fstab文件，用于存储文件系统表。
# swapoff -a: 这个命令用于关闭所有启用的交换分区。
# sysctl -w vm.swappiness=0: 这个命令用于修改vm.swappiness参数的值为0，表示系统在物理内存充足时更倾向于使用物理内存而非交换分区。

1.3.5、时间同步

 #加到计划任务每5分钟同步一次时间
echo "5 * * * *    ntpdate ntp1.aliyun.com" > /var/spool/cron/root
 
#同步时间
/usr/sbin/ntpdate ntp.aliyun.com
 
#同步到硬件时钟
hwclock --systohc

1.3.6、配置umilit

 ulimit -SHn 65535
cat >> /etc/security/limits.conf <<EOF
* soft nofile 655360
* hard nofile 131072
* soft nproc 655350
* hard nproc 655350
* seft memlock unlimited
* hard memlock unlimitedd
EOF
 
# 参数解释
#
# soft nofile 655360
# soft表示软限制，nofile表示一个进程可打开的最大文件数，默认值为1024。这里的软限制设置为655360，即一个进程可打开的最大文件数为655360。
#
# hard nofile 131072
# hard表示硬限制，即系统设置的最大值。nofile表示一个进程可打开的最大文件数，默认值为4096。这里的硬限制设置为131072，即系统设置的最大文件数为131072。
#
# soft nproc 655350
# soft表示软限制，nproc表示一个用户可创建的最大进程数，默认值为30720。这里的软限制设置为655350，即一个用户可创建的最大进程数为655350。
#
# hard nproc 655350
# hard表示硬限制，即系统设置的最大值。nproc表示一个用户可创建的最大进程数，默认值为4096。这里的硬限制设置为655350，即系统设置的最大进程数为655350。
#
# seft memlock unlimited
# seft表示软限制，memlock表示一个进程可锁定在RAM中的最大内存，默认值为64 KB。这里的软限制设置为unlimited，即一个进程可锁定的最大内存为无限制。
#
# hard memlock unlimited
# hard表示硬限制，即系统设置的最大值。memlock表示一个进程可锁定在RAM中的最大内存，默认值为64 KB。这里的硬限制设置为unlimited，即系统设置的最大内存锁定为无限制。

1.3.7、配置阿里yum源

 # 配置CentOS 7 yum源
 
#配置centos源
#备份官方centos源
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
 
#下载阿里centos源
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
 
#配置epel源
wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
 
#清除缓存
yum clean all
 
#生成新的缓存
yum makecache

1.3.8、修改内核参数

 cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
fs.may_detach_mounts = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720
 
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 65536
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
EOF
 
sysctl --system
 
# 这些是Linux系统的一些参数设置，用于配置和优化网络、文件系统和虚拟内存等方面的功能。以下是每个参数的详细解释：
# 
# 1. net.ipv4.ip_forward = 1
#    - 这个参数启用了IPv4的IP转发功能，允许服务器作为网络路由器转发数据包。
# 
# 2. net.bridge.bridge-nf-call-iptables = 1
#    - 当使用网络桥接技术时，将数据包传递到iptables进行处理。
#   
# 3. fs.may_detach_mounts = 1
#    - 允许在挂载文件系统时，允许被其他进程使用。
#   
# 4. vm.overcommit_memory=1
#    - 该设置允许原始的内存过量分配策略，当系统的内存已经被完全使用时，系统仍然会分配额外的内存。
# 
# 5. vm.panic_on_oom=0
#    - 当系统内存不足（OOM）时，禁用系统崩溃和重启。
# 
# 6. fs.inotify.max_user_watches=89100
#    - 设置系统允许一个用户的inotify实例可以监控的文件数目的上限。
# 
# 7. fs.file-max=52706963
#    - 设置系统同时打开的文件数的上限。
# 
# 8. fs.nr_open=52706963
#    - 设置系统同时打开的文件描述符数的上限。
# 
# 9. net.netfilter.nf_conntrack_max=2310720
#    - 设置系统可以创建的网络连接跟踪表项的最大数量。
# 
# 10. net.ipv4.tcp_keepalive_time = 600
#     - 设置TCP套接字的空闲超时时间（秒），超过该时间没有活动数据时，内核会发送心跳包。
# 
# 11. net.ipv4.tcp_keepalive_probes = 3
#     - 设置未收到响应的TCP心跳探测次数。
# 
# 12. net.ipv4.tcp_keepalive_intvl = 15
#     - 设置TCP心跳探测的时间间隔（秒）。
# 
# 13. net.ipv4.tcp_max_tw_buckets = 36000
#     - 设置系统可以使用的TIME_WAIT套接字的最大数量。
# 
# 14. net.ipv4.tcp_tw_reuse = 1
#     - 启用TIME_WAIT套接字的重新利用，允许新的套接字使用旧的TIME_WAIT套接字。
# 
# 15. net.ipv4.tcp_max_orphans = 327680
#     - 设置系统可以同时存在的TCP套接字垃圾回收包裹数的最大数量。
# 
# 16. net.ipv4.tcp_orphan_retries = 3
#     - 设置系统对于孤立的TCP套接字的重试次数。
# 
# 17. net.ipv4.tcp_syncookies = 1
#     - 启用TCP SYN cookies保护，用于防止SYN洪泛攻击。
# 
# 18. net.ipv4.tcp_max_syn_backlog = 16384
#     - 设置新的TCP连接的半连接数（半连接队列）的最大长度。
# 
# 19. net.ipv4.ip_conntrack_max = 65536
#     - 设置系统可以创建的网络连接跟踪表项的最大数量。
# 
# 20. net.ipv4.tcp_timestamps = 0
#     - 关闭TCP时间戳功能，用于提供更好的安全性。
# 
# 21. net.core.somaxconn = 16384
#     - 设置系统核心层的连接队列的最大值。

1.3.9、配置免密登录

 yum install -y sshpass
ssh-keygen -f /root/.ssh/id_rsa -P ''
export IP="192.168.100.31 192.168.100.32 192.168.100.33 192.168.100.34 192.168.100.35 192.168.100.36"
export SSHPASS=086530
for HOST in $IP;do
     sshpass -e ssh-copy-id -o StrictHostKeyChecking=no $HOST
done
 
 
# 这段脚本的作用是在一台机器上安装sshpass工具，并通过sshpass自动将本机的SSH公钥复制到多个远程主机上，以实现无需手动输入密码的SSH登录。
# 
# 具体解释如下：
# 
# 1. `apt install -y sshpass` 或 `yum install -y sshpass`：通过包管理器（apt或yum）安装sshpass工具，使得后续可以使用sshpass命令。
# 
# 2. `ssh-keygen -f /root/.ssh/id_rsa -P ''`：生成SSH密钥对。该命令会在/root/.ssh目录下生成私钥文件id_rsa和公钥文件id_rsa.pub，同时不设置密码（即-P参数后面为空），方便后续通过ssh-copy-id命令自动复制公钥。
# 
# 3. `export IP="192.168.100.31 192.168.100.32 192.168.100.33 192.168.100.34 192.168.100.35 192.168.100.36"`：设置一个包含多个远程主机IP地址的环境变量IP，用空格分隔开，表示要将SSH公钥复制到这些远程主机上。
# 
# 4. `export SSHPASS=086530`：设置环境变量SSHPASS，将sshpass所需的SSH密码（在这里是"086530"）赋值给它，这样sshpass命令可以自动使用这个密码进行登录。
# 
# 5. `for HOST in $IP;do`：遍历环境变量IP中的每个IP地址，并将当前IP地址赋值给变量HOST。
# 
# 6. `sshpass -e ssh-copy-id -o StrictHostKeyChecking=no $HOST`：使用sshpass工具复制本机的SSH公钥到远程主机。其中，-e选项表示使用环境变量中的密码（即SSHPASS）进行登录，-o StrictHostKeyChecking=no选项表示连接时不检查远程主机的公钥，以避免交互式确认。
# 
# 通过这段脚本，可以方便地将本机的SSH公钥复制到多个远程主机上，实现无需手动输入密码的SSH登录。

1.3.10、设置主机名

 hostnamectl set-hostname k8s-master01
hostnamectl set-hostname k8s-master02
hostnamectl set-hostname k8s-node01
hostnamectl set-hostname k8s-node02
hostnamectl set-hostname nginx-master
hostnamectl set-hostname nginx-backup

1.3.11、所有节点配置hosts本地解析

 cat > /etc/hosts <<EOF
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
 
192.168.100.31 k8s-master01
192.168.100.32 k8s-master02
192.168.100.33 k8s-node01
192.168.100.34 k8s-node02
192.168.100.35 nginx-master
192.168.100.36 nginx-backup
192.168.100.37 lb-vip
EOF

二、部署Etcd集群

Etcd 是一个分布式键值存储系统， Kubernetes使用Etcd进行数据存储，所以先准备一个Etcd数据库，为解决Etcd单点故障，应采用集群方式部署，这里使用3台组建集群，可容忍1台机器故障，当然，你也可以使用5台组建集群，可容忍2台机器故障。

K8s二进制软件包v1.18下载：

链接：https://pan.baidu.com/s/19qAlXFwgeajy8-mHvmMKug
提取码：nvzb

k8s-master01、k8s-node01、k8s-node02三台机器安装

2.1、准备cfssl证书生成工具

cfssl是一个开源的证书管理工具，使用json文件生成证书，相比openssl更方便使用。找任意一台服务器操作，这里用Master01节点。

 cd K8s二进制软件包v1.18/
 
chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
 
mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
mv cfssl-certinfo_linux-amd64 /usr/bin/cfssl-certinfo

2.2、生成Etcd证书

2.2.1、自签证书颁发机构（CA）

创建工作目录：

 mkdir -p ~/TLS/{etcd,k8s}
 
cd ~/TLS/etcd

自签CA：

 cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF
 
cat > ca-csr.json << EOF
{
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF

生成证书：

 cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
 
ls *pem
ca-key.pem  ca.pem

2.2.2、使用自签CA签发Etcd HTTPS证书

创建证书申请文件：

 cat > server-csr.json << EOF
{
    "CN": "etcd",
    "hosts": [
    "192.168.100.31",
    "192.168.100.33",
    "192.168.100.34",
    "192.168.100.38",
    "192.168.100.39"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}                      
EOF
 
 
 
#上述文件hosts字段中IP为所有etcd节点的集群内部通信IP，一个都不能少！为了方便后期扩容可以多写几个预留的IP（192.168.100.38,192.168.100.39为预留IP）。

生成证书：

 cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server
 
ls server*pem
server-key.pem  server.pem

2.3、部署Etcd集群

以下在k8s-master01上操作，为简化操作，待会将k8s-master01生成的所有文件拷贝到k8s-node01节点和k8s-node02节点.

2.3.1、创建工作目录并解压二进制包

 cd K8s二进制软件包v1.18/
 
mkdir /opt/etcd/{bin,cfg,ssl} -p
 
tar zxvf etcd-v3.4.9-linux-amd64.tar.gz
 
mv etcd-v3.4.9-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/

2.3.2、创建etcd配置文件

 cat > /opt/etcd/cfg/etcd.conf << EOF
#[Member]
ETCD_NAME="etcd-1"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.100.31:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.100.31:2379"
 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.100.31:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.100.31:2379"
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.100.31:2380,etcd-2=https://192.168.100.33:2380,etcd-3=https://192.168.100.34:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF
 
 
说明：
#ETCD_NAME：节点名称，集群中唯一
#ETCD_DATA_DIR：数据目录
#ETCD_LISTEN_PEER_URLS：集群通信监听地址
#ETCD_LISTEN_CLIENT_URLS：客户端访问监听地址
#ETCD_INITIAL_ADVERTISE_PEER_URLS：集群通告地址
#ETCD_ADVERTISE_CLIENT_URLS：客户端通告地址
#ETCD_INITIAL_CLUSTER：集群节点地址
#ETCD_INITIAL_CLUSTER_TOKEN：集群Token
#ETCD_INITIAL_CLUSTER_STATE：加入集群的当前状态，new是新集群，existing表示加入已有集群

2.3.3、systemd管理etcd

 cat > /usr/lib/systemd/system/etcd.service << EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
 
[Service]
Type=notify
EnvironmentFile=/opt/etcd/cfg/etcd.conf
ExecStart=/opt/etcd/bin/etcd \
--cert-file=/opt/etcd/ssl/server.pem \
--key-file=/opt/etcd/ssl/server-key.pem \
--peer-cert-file=/opt/etcd/ssl/server.pem \
--peer-key-file=/opt/etcd/ssl/server-key.pem \
--trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
--logger=zap
Restart=on-failure
LimitNOFILE=65536
 
[Install]
WantedBy=multi-user.target
EOF

2.3.4、拷贝刚才生成的证书

把刚才生成的证书拷贝到配置文件中的路径：

 cp ~/TLS/etcd/ca*pem  ~/TLS/etcd/server*pem  /opt/etcd/ssl/

2.3.5、将k8s-master01节点所有生成的文件拷贝到k8s-node01节点和k8s-node02节点

 scp -r /opt/etcd/ root@192.168.100.33:/opt/
 
scp /usr/lib/systemd/system/etcd.service root@192.168.100.33:/usr/lib/systemd/system/
 
scp -r /opt/etcd/ root@192.168.100.34:/opt/
 
scp /usr/lib/systemd/system/etcd.service root@192.168.100.34:/usr/lib/systemd/system/

然后在k8s-node01节点和k8s-node02节点分别修改etcd.conf配置文件中的节点名称和当前服务器IP：

 vim /opt/etcd/cfg/etcd.conf
#[Member]
ETCD_NAME="etcd-1"   # 修改此处，k8s-node01节点改为etcd-2，k8s-node02节点改为etcd-3
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.100.31:2380"   # 修改此处为当前服务器IP
ETCD_LISTEN_CLIENT_URLS="https://192.168.100.31:2379" # 修改此处为当前服务器IP
 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.100.31:2380" # 修改此处为当前服务器IP
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.100.31:2379" # 修改此处为当前服务器IP
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.100.31:2380,etcd-2=https://192.168.100.33:2380,etcd-3=https://192.168.100.34:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

2.3.6、启动并设置开机启动

 systemctl daemon-reload
systemctl start etcd
systemctl enable etcd

2.3.7、查看集群状态

 ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.100.31:2379,https://192.168.100.33:2379,https://192.168.100.34:2379" endpoint health --write-out=table
 
+-----------------------------+--------+-------------+-------+
|          ENDPOINT           | HEALTH |    TOOK     | ERROR |
+-----------------------------+--------+-------------+-------+
| https://192.168.100.31:2379 |   true | 22.913584ms |       |
| https://192.168.100.33:2379 |   true | 25.470072ms |       |
| https://192.168.100.34:2379 |   true | 25.793772ms |       |
+-----------------------------+--------+-------------+-------+

三、安装Docker

以下在所有节点操作。这里采用二进制安装，用yum安装也一样。

3.1、解压docker二进制包

 tar zxvf docker-19.03.9.tgz
mv docker/* /usr/bin

3.2、systemd管理docker

 cat > /usr/lib/systemd/system/docker.service << EOF
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
 
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
 
[Install]
WantedBy=multi-user.target
EOF

3.3、创建配置文件

 mkdir /etc/docker
cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF

3.4、启动并设置开机启动

 systemctl daemon-reload
systemctl start docker
systemctl enable docker

四、部署Master Node

4.1 、生成kube-apiserver证书

4.1.1、自签证书颁发机构（CA）

 cd ~/TLS/k8s/
 
cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF
cat > ca-csr.json << EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

生成证书：

 cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
 
ls *pem
ca-key.pem  ca.pem

4.1.2、使用自签CA签发kube-apiserver HTTPS证书

创建证书申请文件：

 cat > server-csr.json << EOF
{
    "CN": "kubernetes",
    "hosts": [
      "10.0.0.1",
      "127.0.0.1",
      "192.168.100.31",
      "192.168.100.33",
      "192.168.100.34",
      "192.168.100.35",
      "192.168.100.36",
      "192.168.100.37",
      "192.168.100.38",
      "192.168.100.39",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}                           
EOF
 
注：上述文件hosts字段中IP为所有Master/LB/VIP IP，一个都不能少！为了方便后期扩容可以多写几个预留的IP（192.168.100.38和192.168.100.39为预留IP）。

生成证书：

 cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server
 
ls server*pem
server-key.pem  server.pem

4.2、解压kubernetes-server二进制包

 cd K8s二进制软件包v1.18/
mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs} 
tar zxvf kubernetes-server-linux-amd64.tar.gz
cd kubernetes/server/bin
cp kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/bin
cp kubectl /usr/bin/

4.2.1、创建配置文件

 cat > /opt/kubernetes/cfg/kube-apiserver.conf << EOF
KUBE_APISERVER_OPTS="--logtostderr=false \
--v=2 \
--log-dir=/opt/kubernetes/logs \
--etcd-servers=https://192.168.100.31:2379,https://192.168.100.33:2379,https://192.168.100.34:2379 \
--bind-address=192.168.100.31 \
--secure-port=6443 \
--advertise-address=192.168.100.31 \
--allow-privileged=true \
--service-cluster-ip-range=10.0.0.0/24 \
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \
--authorization-mode=RBAC,Node \
--enable-bootstrap-token-auth=true \
--token-auth-file=/opt/kubernetes/cfg/token.csv \
--service-node-port-range=30000-32767 \
--kubelet-client-certificate=/opt/kubernetes/ssl/server.pem \
--kubelet-client-key=/opt/kubernetes/ssl/server-key.pem \
--tls-cert-file=/opt/kubernetes/ssl/server.pem  \
--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \
--client-ca-file=/opt/kubernetes/ssl/ca.pem \
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \
--etcd-cafile=/opt/etcd/ssl/ca.pem \
--etcd-certfile=/opt/etcd/ssl/server.pem \
--etcd-keyfile=/opt/etcd/ssl/server-key.pem \
--audit-log-maxage=30 \
--audit-log-maxbackup=3 \
--audit-log-maxsize=100 \
--audit-log-path=/opt/kubernetes/logs/k8s-audit.log"
EOF
 
注：上面两个\ \ 第一个是转义符，第二个是换行符，使用转义符是为了使用EOF保留换行符。
•	--logtostderr：启用日志
•	---v：日志等级
•	--log-dir：日志目录
•	--etcd-servers：etcd集群地址
•	--bind-address：监听地址
•	--secure-port：https安全端口
•	--advertise-address：集群通告地址
•	--allow-privileged：启用授权
•	--service-cluster-ip-range：Service虚拟IP地址段
•	--enable-admission-plugins：准入控制模块
•	--authorization-mode：认证授权，启用RBAC授权和节点自管理
•	--enable-bootstrap-token-auth：启用TLS bootstrap机制
•	--token-auth-file：bootstrap token文件
•	--service-node-port-range：Service nodeport类型默认分配端口范围
•	--kubelet-client-xxx：apiserver访问kubelet客户端证书
•	--tls-xxx-file：apiserver https证书
•	1.20版本必须加的参数：--service-account-issuer，--service-account-signing-key-file
•	--etcd-xxxfile：连接Etcd集群证书
•	--audit-log-xxx：审计日志
•	启动聚合层相关配置：--requestheader-client-ca-file，--proxy-client-cert-file，--proxy-client-key-file，--requestheader-allowed-names，--requestheader-extra-headers-prefix，--requestheader-group-headers，--requestheader-username-headers，--enable-aggregator-routing

4.2.2、拷贝刚才生成的证书

把刚才生成的证书拷贝到配置文件中的路径：

 cp ~/TLS/k8s/ca*pem ~/TLS/k8s/server*pem /opt/kubernetes/ssl/

4.2.3、启用 TLS Bootstrapping 机制

TLS Bootstraping：Master apiserver启用TLS认证后，Node节点kubelet和kube-proxy要与kube-apiserver进行通信，必须使用CA签发的有效证书才可以，当Node节点很多时，这种客户端证书颁发需要大量工作，同样也会增加集群扩展复杂度。为了简化流程，Kubernetes引入了TLS bootstraping机制来自动颁发客户端证书，kubelet会以一个低权限用户自动向apiserver申请证书，kubelet的证书由apiserver动态签署。所以强烈建议在Node上使用这种方式，目前主要用于kubelet，kube-proxy还是由我们统一颁发一个证书。

TLS bootstraping 工作流程：

创建上述配置文件中token文件：

 cat > /opt/kubernetes/cfg/token.csv << EOF
c47ffb939f5ca36231d9e3121a252940,kubelet-bootstrap,10001,"system:node-bootstrapper"
EOF

格式：token，用户名，UID，用户组

token也可自行生成替换：

 head -c 16 /dev/urandom | od -An -t x | tr -d ' '

4.2.4、systemd管理apiserver

 cat > /usr/lib/systemd/system/kube-apiserver.service << EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes
 
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-apiserver.conf
ExecStart=/opt/kubernetes/bin/kube-apiserver \$KUBE_APISERVER_OPTS
Restart=on-failure
 
[Install]
WantedBy=multi-user.target
EOF

4.2.5、启动并设置开机启动

 systemctl daemon-reload
systemctl start kube-apiserver
systemctl enable kube-apiserver

4.2.6、授权kubelet-bootstrap用户允许请求证书

 kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap

4.3、部署kube-controller-manager

4.3.1、创建配置文件

 cat > /opt/kubernetes/cfg/kube-controller-manager.conf << EOF
KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--leader-elect=true \\
--master=127.0.0.1:8080 \\
--bind-address=127.0.0.1 \\
--allocate-node-cidrs=true \\
--cluster-cidr=10.244.0.0/16 \\
--service-cluster-ip-range=10.0.0.0/24 \\
--cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \\
--cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem  \\
--root-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--experimental-cluster-signing-duration=87600h0m0s"
EOF
 
•	--kubeconfig：连接apiserver配置文件
•	--leader-elect：当该组件启动多个时，自动选举（HA）
•	--cluster-signing-cert-file/--cluster-signing-key-file：自动为kubelet颁发证书的CA，与apiserver保持一致

4.3.2、systemd管理controller-manager

 cat > /usr/lib/systemd/system/kube-controller-manager.service << EOF
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-controller-manager.conf
ExecStart=/opt/kubernetes/bin/kube-controller-manager \$KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

4.3.3、启动并设置开机启动

 systemctl daemon-reload
systemctl start kube-controller-manager
systemctl enable kube-controller-manager

4.4、部署kube-scheduler

4.4.1、创建配置文件

 cat > /opt/kubernetes/cfg/kube-scheduler.conf << EOF
KUBE_SCHEDULER_OPTS="--logtostderr=false \
--v=2 \
--log-dir=/opt/kubernetes/logs \
--leader-elect \
--master=127.0.0.1:8080 \
--bind-address=127.0.0.1"
EOF
 
–master：通过本地非安全本地端口8080连接apiserver。
 
–leader-elect：当该组件启动多个时，自动选举（HA）

4.4.2、systemd管理scheduler

 cat > /usr/lib/systemd/system/kube-scheduler.service << EOF
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-scheduler.conf
ExecStart=/opt/kubernetes/bin/kube-scheduler \$KUBE_SCHEDULER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

4.4.3、启动并设为开机自启

 systemctl daemon-reload
systemctl start kube-scheduler
systemctl enable kube-scheduler

4.4.4、查看集群状态

 kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
controller-manager   Healthy   ok                  
scheduler            Healthy   ok                  
etcd-1               Healthy   {"health":"true"}   
etcd-0               Healthy   {"health":"true"}   
etcd-2               Healthy   {"health":"true"} 
 
#如上输出说明Master节点组件运行正常。

五、部署Worker Node

注意！！！下面还是在k8s-master01节点上操作，即同时作为Worker Node

5.1、创建工作目录并拷贝二进制文件

在所有worker node创建工作目录：

 mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

将kube-proxy文件拷贝到/opt/kubernetes/bin目录下：

 cp ~/K8s二进制软件包v1.18/kubernetes/server/bin/{kube-proxy,kubelet} /opt/kubernetes/bin

5.2、部署kubelet

5.2.1、创建配置文件

 cat > /opt/kubernetes/cfg/kubelet.conf << EOF
KUBELET_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--hostname-override=k8s-master1 \\
--network-plugin=cni \\
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\
--config=/opt/kubernetes/cfg/kubelet-config.yml \\
--cert-dir=/opt/kubernetes/ssl \\
--pod-infra-container-image=lizhenliang/pause-amd64:3.0"
EOF
 
 
•	--hostname-override：显示名称，集群中唯一
•	--network-plugin：启用CNI
•	--kubeconfig：空路径，会自动生成，后面用于连接apiserver
•	--bootstrap-kubeconfig：首次启动向apiserver申请证书
•	--config：配置参数文件
•	--cert-dir：kubelet证书生成目录
•	--pod-infra-container-image：管理Pod网络容器的镜像

5.2.2、配置参数文件

 cat > /opt/kubernetes/cfg/kubelet-config.yml << EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 0.0.0.0
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS:
- 10.0.0.2
clusterDomain: cluster.local 
failSwapOn: false
authentication:
  anonymous:
    enabled: false
  webhook:
    cacheTTL: 2m0s
    enabled: true
  x509:
    clientCAFile: /opt/kubernetes/ssl/ca.pem 
authorization:
  mode: Webhook
  webhook:
    cacheAuthorizedTTL: 5m0s
    cacheUnauthorizedTTL: 30s
evictionHard:
  imagefs.available: 15%
  memory.available: 100Mi
  nodefs.available: 10%
  nodefs.inodesFree: 5%
maxOpenFiles: 1000000
maxPods: 110
EOF

5.2.3、生成bootstrap.kubeconfig文件

 # apiserver IP:PORT
KUBE_APISERVER="https://192.168.100.31:6443" 
 
# 与token.csv里保持一致
TOKEN="c47ffb939f5ca36231d9e3121a252940" 
 
# 生成 kubelet bootstrap kubeconfig 配置文件
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig
kubectl config set-credentials "kubelet-bootstrap" \
  --token=${TOKEN} \
  --kubeconfig=bootstrap.kubeconfig
kubectl config set-context default \
  --cluster=kubernetes \
  --user="kubelet-bootstrap" \
  --kubeconfig=bootstrap.kubeconfig
  
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig
 
#拷贝到配置文件路径：
cp bootstrap.kubeconfig /opt/kubernetes/cfg

5.2.4、systemd管理kubelet

 cat > /usr/lib/systemd/system/kubelet.service << EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service
 
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/bin/kubelet \$KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536
 
[Install]
WantedBy=multi-user.target
EOF

5.2.5、启动并设置开机启动

 systemctl daemon-reload
systemctl start kubelet
systemctl enable kubelet

5.3、批准kubelet证书申请并加入集群

 # 查看kubelet证书请求
kubectl get csr
NAME                                                   AGE   SIGNERNAME                                    REQUESTOR           CONDITION
node-csr--zye9OtuaCCQgTb0JzUATHLek9yIOa1xs3YxaTpvTQ4   44s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
 
#批准申请
kubectl certificate approve node-csr--zye9OtuaCCQgTb0JzUATHLek9yIOa1xs3YxaTpvTQ4
certificatesigningrequest.certificates.k8s.io/node-csr--zye9OtuaCCQgTb0JzUATHLek9yIOa1xs3YxaTpvTQ4 approved
 
#查看节点
kubectl get node

注：由于网络插件还没有部署，节点会没有准备就绪 NotReady

5.4、部署kube-proxy

5.4.1、创建配置文件

 cat > /opt/kubernetes/cfg/kube-proxy.conf << EOF
KUBE_PROXY_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--config=/opt/kubernetes/cfg/kube-proxy-config.yml"
EOF

5.4.2、配置文件参数

 cat > /opt/kubernetes/cfg/kube-proxy-config.yml << EOF
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:
  kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: k8s-master1
clusterCIDR: 10.0.0.0/24
EOF

5.4.3、生成kube-proxy.kubeconfig文件

生成kube-proxy证书：

 # 切换工作目录
cd ~/TLS/k8s
 
# 创建证书请求文件
cat > kube-proxy-csr.json << EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
 
#生成证书
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy
 
ls kube-proxy*pem
kube-proxy-key.pem  kube-proxy.pem
 
#生成kubeconfig文件：
KUBE_APISERVER="https://192.168.100.31:6443"
 
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig
kubectl config set-credentials kube-proxy \
  --client-certificate=./kube-proxy.pem \
  --client-key=./kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig
 
#拷贝到配置文件指定路径：
cp kube-proxy.kubeconfig /opt/kubernetes/cfg/

5.4.4、systemd管理kube-proxy

 cat > /usr/lib/systemd/system/kube-proxy.service << EOF
[Unit]
Description=Kubernetes Proxy
After=network.target
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/bin/kube-proxy \$KUBE_PROXY_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

5.4.5、启动并设置开机启动

 systemctl daemon-reload
systemctl start kube-proxy
systemctl enable kube-proxy

5.5、部署CNI网络

5.5.1、解压二进制包并移动到默认工作目录：

 mkdir /opt/cni/bin
tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

5.5.2、部署CNI网络：

 cd ~/K8s二进制软件包v1.18/
 
#默认镜像地址无法访问，修改为docker hub镜像仓库。
sed -i -r "s#quay.io/coreos/flannel:.*-amd64#lizhenliang/flannel:v0.12.0-amd64#g" kube-flannel.yml
 
kubectl apply -f kube-flannel.yml
 
kubectl get pods -n kube-system
NAME                          READY   STATUS    RESTARTS   AGE
kube-flannel-ds-amd64-jr7n6   1/1     Running   2          45h
 
 
kubectl get node
NAME          STATUS   ROLES    AGE   VERSION
k8s-master1   Ready    <none>   45h   v1.18.3
 
 
#部署好网络插件，Node准备就绪。

5.5.3、授权apiserver访问kubelet

 cat > apiserver-to-kubelet-rbac.yaml << EOF
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
  name: system:kube-apiserver-to-kubelet
rules:
  - apiGroups:
      - ""
    resources:
      - nodes/proxy
      - nodes/stats
      - nodes/log
      - nodes/spec
      - nodes/metrics
      - pods/log
    verbs:
      - "*"
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: system:kube-apiserver
  namespace: ""
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:kube-apiserver-to-kubelet
subjects:
  - apiGroup: rbac.authorization.k8s.io
    kind: User
    name: kubernetes
EOF
 
kubectl apply -f apiserver-to-kubelet-rbac.yaml

5.6、新增加Worker Node

5.6.1、拷贝已部署好的Node相关文件到新节点

在master节点将Worker Node涉及文件拷贝到新节点192.168.100.33/34

 scp -r /opt/kubernetes root@192.168.100.33:/opt/
 
scp -r /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@192.168.100.33:/usr/lib/systemd/system
 
scp -r /opt/cni/ root@192.168.100.33:/opt/
 
scp /opt/kubernetes/ssl/ca.pem root@192.168.100.33:/opt/kubernetes/ssl

5.6.2、删除kubelet证书和kubeconfig文件

 rm /opt/kubernetes/cfg/kubelet.kubeconfig 
rm -f /opt/kubernetes/ssl/kubelet*
 
#注：这几个文件是证书申请审批后自动生成的，每个Node不同，必须删除重新生成。

5.6.3、修改主机名

 vim /opt/kubernetes/cfg/kubelet.conf
--hostname-override=k8s-node1
 
vim /opt/kubernetes/cfg/kube-proxy-config.yml
hostnameOverride: k8s-node1

5.6.4、启动并设为开机自启

 systemctl daemon-reload
systemctl start kubelet
systemctl enable kubelet
systemctl start kube-proxy
systemctl enable kube-proxy

5.6.5、在Master上批准新Node kubelet证书申请

 kubectl get csr
NAME                                                   AGE   SIGNERNAME                                    REQUESTOR           CONDITION
node-csr-0wcuEkD-p05qjNZCfK9RKGsQdXcjG3FN8Pnpa_xmQ10   46h   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Approved,Issued
 
kubectl certificate approve node-csr-0wcuEkD-p05qjNZCfK9RKGsQdXcjG3FN8Pnpa_xmQ10

5.6.6、查看node状态

 kubectl get node
NAME          STATUS   ROLES    AGE   VERSION
k8s-master1   Ready    <none>   46h   v1.18.3
k8s-node1     Ready    <none>   45h   v1.18.3
k8s-node2     Ready    <none>   45h   v1.18.3

Node2（192.168.100.34 ）节点同上。记得修改主机名！

六、部署Dashboard和CoreDNS

6.1、部署Dashboard

默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部

 cat kubernetes-dashboard.yaml
...
---
 
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001
  type: NodePort
  selector:
    k8s-app: kubernetes-dashboard
 
---
...
 
kubectl apply -f kubernetes-dashboard.yaml
 
kubectl get pods,svc -n kubernetes-dashboard
NAME                                             READY   STATUS    RESTARTS   AGE
pod/dashboard-metrics-scraper-694557449d-7wqww   1/1     Running   2          45h
pod/kubernetes-dashboard-7548ffc8b7-lxljl        1/1     Running   2          45h
 
NAME                           TYPE       CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE
service/kubernetes-dashboard   NodePort   10.0.0.117   <none>        443:30001/TCP   45h
 
#访问地址：https://NodeIP:30001

创建service account并绑定默认cluster-admin管理员集群角色：

  
kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

使用输出的token登录Dashboard。

6.2、部署CoreDNS

CoreDNS用于集群内部Service名称解析。

 kubectl apply -f coredns.yaml
 
kubectl get pods -n kube-system 
NAME                          READY   STATUS    RESTARTS   AGE
coredns-5ffbfd976d-lg96h      1/1     Running   2          45h
kube-flannel-ds-amd64-jr7n6   1/1     Running   2          45h
kube-flannel-ds-amd64-rzwn4   1/1     Running   2          45h
kube-flannel-ds-amd64-sft8r   1/1     Running   2          46h
kube-flannel-ds-amd64-xcjln   1/1     Running   2          45h

DNS解析测试：

 kubectl run -it --rm dns-test --image=busybox:1.28.4 sh
If you don't see a command prompt, try pressing enter.
 
/ # nslookup kubernetes
Server:    10.0.0.2
Address 1: 10.0.0.2 kube-dns.kube-system.svc.cluster.local
 
Name:      kubernetes
Address 1: 10.0.0.1 kubernetes.default.svc.cluster.local

解析没问题。

至此，单Master集群部署完成，下一步扩容为多Master集群~

七、高可用架构（扩容多Master架构）

Kubernetes作为容器集群系统，通过健康检查+重启策略实现了Pod故障自我修复能力，通过调度算法实现将Pod分布式部署，并保持预期副本数，根据Node失效状态自动在其他Node拉起Pod，实现了应用层的高可用性。

针对Kubernetes集群，高可用性还应包含以下两个层面的考虑：Etcd数据库的高可用性和Kubernetes Master组件的高可用性。而Etcd我们已经采用3个节点组建集群实现高可用，本节将对Master节点高可用进行说明和实施。

Master节点扮演着总控中心的角色，通过不断与工作节点上的Kubelet进行通信来维护整个集群的健康工作状态。如果Master节点故障，将无法使用kubectl工具或者API做任何集群管理。

Master节点主要有三个服务kube-apiserver、kube-controller-mansger和kube-scheduler，其中kube-controller-mansger和kube-scheduler组件自身通过选择机制已经实现了高可用，所以Master高可用主要针对kube-apiserver组件，而该组件是以HTTP API提供服务，因此对他高可用与Web服务器类似，增加负载均衡器对其负载均衡即可，并且可水平扩容。

多Master架构图：

7.1、安装docker

同上

7.2、部署Master2 Node（192.168.100.32）

Master2 与已部署的Master1所有操作一致。所以我们只需将Master1所有K8s文件拷贝过来，再修改下服务器IP和主机名启动即可。

7.2.1、创建etcd证书目录

在Master2创建etcd证书目录

 mkdir -p /opt/etcd/ssl

7.2.2、拷贝文件（在Master1操作）

拷贝Master1上所有K8s文件和etcd证书到Master2：

 scp -r /opt/kubernetes root@192.168.100.32:/opt
scp -r /opt/cni/ root@192.168.100.32:/opt
scp -r /opt/etcd/ssl root@192.168.100.32:/opt/etcd
scp /usr/lib/systemd/system/kube* root@192.168.100.32:/usr/lib/systemd/system
scp /usr/bin/kubectl  root@192.168.100.32:/usr/bin

7.2.3、删除证书文件

删除kubelet证书和kubeconfig文件：

 rm -f /opt/kubernetes/cfg/kubelet.kubeconfig
rm -f /opt/kubernetes/ssl/kubelet*

7.2.4、修改配置文件IP和主机名

修改apiserver、kubelet和kube-proxy配置文件为本地IP：

 vim /opt/kubernetes/cfg/kube-apiserver.conf
...
--bind-address=192.168.100.32 \
--advertise-address=192.168.100.32 \
...
 
vim /opt/kubernetes/cfg/kubelet.conf
--hostname-override=k8s-master2
 
vim /opt/kubernetes/cfg/kube-proxy-config.yml
hostnameOverride: k8s-master2

7.2.5、启动设置开机启动

 systemctl daemon-reload
systemctl start kube-apiserver
systemctl start kube-controller-manager
systemctl start kube-scheduler
systemctl start kubelet
systemctl start kube-proxy
systemctl enable kube-apiserver
systemctl enable kube-controller-manager
systemctl enable kube-scheduler
systemctl enable kubelet
systemctl enable kube-proxy

7.2.6、查看集群状态

 kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
controller-manager   Healthy   ok                  
etcd-1               Healthy   {"health":"true"}   
etcd-2               Healthy   {"health":"true"}   
etcd-0               Healthy   {"health":"true"}

7.2.7、批准kubelet证书申请

 kubectl get csr
 
kubectl certificate approve node-csr-PCDrLAD1dA8azZmUr5qWLuJfDGq6U7994pytidbUfMk
 
kubectl get node
NAME          STATUS   ROLES    AGE   VERSION
k8s-master1   Ready    <none>   46h   v1.18.3
k8s-master2   Ready    <none>   45h   v1.18.3
k8s-node1     Ready    <none>   46h   v1.18.3
k8s-node2     Ready    <none>   46h   v1.18.3

7.3、部署nginx负载均衡器

kube-apiserver高可用架构图：

Nginx是一个主流Web服务和反向代理服务器，这里用四层实现对apiserver实现负载均衡。
Keepalived是一个主流高可用软件，基于VIP绑定实现服务器双机热备，在上述拓扑中，Keepalived主要根据Nginx运行状态判断是否需要故障转移（偏移VIP），例如当Nginx主节点挂掉，VIP会自动绑定在Nginx备节点，从而保证VIP一直可用，实现Nginx高可用。

7.3.1、安装软件包（主/备）

 yum install epel-release -y
yum install nginx keepalived -y
yum -y install nginx-all-modules.noarch

7.3.2、Nginx配置文件（主/备一样）

 cat > /etc/nginx/nginx.conf << "EOF"
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
 
include /usr/share/nginx/modules/*.conf;
 
events {
    worker_connections 1024;
}
 
# 四层负载均衡，为两台Master apiserver组件提供负载均衡
stream {
 
    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
 
    access_log  /var/log/nginx/k8s-access.log  main;
 
    upstream k8s-apiserver {
       server 192.168.100.31:6443;   # Master1 APISERVER IP:PORT
       server 192.168.100.32:6443;   # Master2 APISERVER IP:PORT
    }
    
    server {
       listen 6443;
       proxy_pass k8s-apiserver;
    }
}
 
http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
 
    access_log  /var/log/nginx/access.log  main;
 
    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 2048;
 
    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;
 
    server {
        listen       80 default_server;
        server_name  _;
 
        location / {
        }
    }
}
EOF

7.3.3、keepalived配置文件（Nginx Master）

 cat > /etc/keepalived/keepalived.conf << EOF
global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id NGINX_MASTER
}
vrrp_script check_nginx {
    script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51 # VRRP 路由 ID实例，每个实例是唯一的
    priority 100    # 优先级，备服务器设置 90
    advert_int 1    # 指定VRRP 心跳包通告间隔时间，默认1秒
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 虚拟IP
    virtual_ipaddress {
        192.168.100.37/24
    }
    track_script {
        check_nginx
    }
}
EOF

vrrp_script：指定检查nginx工作状态脚本（根据nginx状态判断是否故障转移）
virtual_ipaddress：虚拟IP（VIP）

检查nginx状态脚本：

 cat > /etc/keepalived/check_nginx.sh  << "EOF"
#!/bin/bash
count=$(ps -ef |grep nginx |egrep -cv "grep|$$")
 
if [ "$count" -eq 0 ];then
    exit 1
else
    exit 0
fi
EOF
chmod +x /etc/keepalived/check_nginx.sh

7.3.4、keepalived配置文件（Nginx Backup）

 cat > /etc/keepalived/keepalived.conf << EOF
global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id NGINX_BACKUP
}
vrrp_script check_nginx {
    script "/etc/keepalived/check_nginx.sh"
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51 # VRRP 路由 ID实例，每个实例是唯一的
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.100.37/24
    }
    track_script {
        check_nginx
    }
}
EOF

上述配置文件中检查nginx运行状态脚本：

 cat > /etc/keepalived/check_nginx.sh  << "EOF"
#!/bin/bash
count=$(ps -ef |grep nginx |egrep -cv "grep|$$")
 
if [ "$count" -eq 0 ];then
    exit 1
else
    exit 0
fi
EOF
chmod +x /etc/keepalived/check_nginx.sh

注：keepalived根据脚本返回状态码（0为工作正常，非0不正常）判断是否故障转移。

7.3.5、启动并设置开机启动

 systemctl daemon-reload
systemctl start nginx
systemctl start keepalived
systemctl enable nginx
systemctl enable keepalived

7.3.6、查看keepalived工作状态

 ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:21:e1:da brd ff:ff:ff:ff:ff:ff
    inet 192.168.100.35/24 brd 192.168.100.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 192.168.100.37/24 scope global secondary ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::9c33:6951:42ac:86ca/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

可以看到，在ens33网卡绑定了192.168.31.88 虚拟IP，说明工作正常。

7.3.7、Nginx+Keepalived高可用测试

关闭主节点Nginx，测试VIP是否漂移到备节点服务器。

 在Nginx Master执行 pkill nginx
在Nginx Backup，ip addr命令查看已成功绑定VIP。

7.3.8、访问负载均衡器测试

找K8s集群中任意一个节点，使用curl查看K8s版本测试，使用VIP访问：

 [root@k8s-node1 ~]# curl -k https://192.168.100.37:6443/version
{
  "major": "1",
  "minor": "18",
  "gitVersion": "v1.18.3",
  "gitCommit": "2e7996e3e2712684bc73f0dec0200d64eec7fe40",
  "gitTreeState": "clean",
  "buildDate": "2020-05-20T12:43:34Z",
  "goVersion": "go1.13.9",
  "compiler": "gc",
  "platform": "linux/amd64"

可以正确获取到K8s版本信息，说明负载均衡器搭建正常。该请求数据流程：curl -> vip(nginx) -> apiserver

通过查看Nginx日志也可以看到转发apiserver IP：

 [root@nginx-master ~]# tail /var/log/nginx/k8s-access.log -f
192.168.100.31 192.168.100.31:6443 - [28/Oct/2023:00:58:26 +0800] 200 427
192.168.100.2 192.168.100.32:6443 - [28/Oct/2023:01:00:43 +0800] 200 669
192.168.100.2 192.168.100.31:6443 - [28/Oct/2023:01:03:49 +0800] 200 1502
192.168.100.31 192.168.100.31:6443 - [28/Oct/2023:01:12:15 +0800] 200 427
192.168.100.33 192.168.100.31:6443 - [29/Oct/2023:22:37:41 +0800] 200 427

到此还没结束，还有下面最关键的一步

7.4、修改所有Worker Node连接LB VIP

试想下，虽然我们增加了Master2和负载均衡器，但是我们是从单Master架构扩容的，也就是说目前所有的Node组件连接都还是Master1，如果不改为连接VIP走负载均衡器，那么Master还是单点故障。

因此接下来就是要改所有Node组件配置文件，由原来192.168.100.31修改为192.168.100.37（VIP）：

也就是通过kubectl get node命令查看到的节点。

在上述所有Worker Node执行：

 sed -i 's#192.168.100.31:6443#192.168.100.37:6443#' /opt/kubernetes/cfg/*
systemctl restart kubelet
systemctl restart kube-proxy

检查节点状态：

 kubectl get node
NAME          STATUS   ROLES    AGE   VERSION
k8s-master1   Ready    <none>   46h   v1.18.3
k8s-master2   Ready    <none>   45h   v1.18.3
k8s-node1     Ready    <none>   46h   v1.18.3
k8s-node2     Ready    <none>   46h   v1.18.3

至此，一套完整的 Kubernetes 高可用集群就部署完成了！

PS：如果你是在公有云上，一般都不支持keepalived，那么你可以直接用它们的负载均衡器产品（内网就行，还免费~），架构与上面一样，直接负载均衡多台Master kube-apiserver即可！

posted @ 2023-10-19 00:18 我的城市没有海阅读(137) 评论(0) 编辑收藏举报

刷新页面返回顶部

（评论功能已被禁用）

相关博文：

· Centos7系统二进制安装Kubernetes（v1.20）集群

· kubeadm部署k8s集群

· 二进制部署k8s-1.12.0

· k8s多节点二进制部署以及Dashboard UI

昵称：我的城市没有海
园龄： 6年8个月
粉丝： 13
关注： 2

+加关注

2025年3月

日

一

二

三

四

五

六

	#查看网卡UUID
	nmcli con

	#获取新的UUID
	uuidgen ens33

	#把uuid添加到网卡配置
	sed -i '5i UUID="aff7fd51-bc25-4724-93a7-c5fb44b98771"' /etc/sysconfig/network-scripts/ifcfg-ens33

	#如果网卡里面有UUID的配置可以选择替换掉
	sed -i 's/UUID="25ca232d-c891-4dd4-9566-55d0cf03c8b6"/UUID="aff7fd51-bc25-4724-93a7-c5fb44b98771"/g' /etc/sysconfig/network-scripts/ifcfg-ens33

	#重启网卡
	systemctl restart network

	#查看
	nmcli con

	#永久关闭
	sed -i 's/enforcing/disabled/' /etc/selinux/config

	#临时关闭
	setenforce 0

	sed -ri 's/.swap./#&/' /etc/fstab

	swapoff -a && sysctl -w vm.swappiness=0

	cat /etc/fstab

	# 参数解释：
	#
	# -ri: 这个参数用于在原文件中替换匹配的模式。-r表示扩展正则表达式，-i允许直接修改文件。
	# 's/.swap./#&/': 这是一个sed命令，用于在文件/etc/fstab中找到包含swap的行，并在行首添加#来注释掉该行。
	# /etc/fstab: 这是一个文件路径，即/etc/fstab文件，用于存储文件系统表。
	# swapoff -a: 这个命令用于关闭所有启用的交换分区。
	# sysctl -w vm.swappiness=0: 这个命令用于修改vm.swappiness参数的值为0，表示系统在物理内存充足时更倾向于使用物理内存而非交换分区。

	#加到计划任务每5分钟同步一次时间
	echo "5 * * * * ntpdate ntp1.aliyun.com" > /var/spool/cron/root

	#同步时间
	/usr/sbin/ntpdate ntp.aliyun.com

	#同步到硬件时钟
	hwclock --systohc

	ulimit -SHn 65535
	cat >> /etc/security/limits.conf <<EOF
	* soft nofile 655360
	* hard nofile 131072
	* soft nproc 655350
	* hard nproc 655350
	* seft memlock unlimited
	* hard memlock unlimitedd
	EOF

	# 参数解释
	#
	# soft nofile 655360
	# soft表示软限制，nofile表示一个进程可打开的最大文件数，默认值为1024。这里的软限制设置为655360，即一个进程可打开的最大文件数为655360。
	#
	# hard nofile 131072
	# hard表示硬限制，即系统设置的最大值。nofile表示一个进程可打开的最大文件数，默认值为4096。这里的硬限制设置为131072，即系统设置的最大文件数为131072。
	#
	# soft nproc 655350
	# soft表示软限制，nproc表示一个用户可创建的最大进程数，默认值为30720。这里的软限制设置为655350，即一个用户可创建的最大进程数为655350。
	#
	# hard nproc 655350
	# hard表示硬限制，即系统设置的最大值。nproc表示一个用户可创建的最大进程数，默认值为4096。这里的硬限制设置为655350，即系统设置的最大进程数为655350。
	#
	# seft memlock unlimited
	# seft表示软限制，memlock表示一个进程可锁定在RAM中的最大内存，默认值为64 KB。这里的软限制设置为unlimited，即一个进程可锁定的最大内存为无限制。
	#
	# hard memlock unlimited
	# hard表示硬限制，即系统设置的最大值。memlock表示一个进程可锁定在RAM中的最大内存，默认值为64 KB。这里的硬限制设置为unlimited，即系统设置的最大内存锁定为无限制。

	# 配置CentOS 7 yum源

	#配置centos源
	#备份官方centos源
	mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

	#下载阿里centos源
	wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

	#配置epel源
	wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo

	#清除缓存
	yum clean all

	#生成新的缓存
	yum makecache

	cat <<EOF > /etc/sysctl.d/k8s.conf
	net.ipv4.ip_forward = 1
	net.bridge.bridge-nf-call-iptables = 1
	fs.may_detach_mounts = 1
	vm.overcommit_memory=1
	vm.panic_on_oom=0
	fs.inotify.max_user_watches=89100
	fs.file-max=52706963
	fs.nr_open=52706963
	net.netfilter.nf_conntrack_max=2310720

	net.ipv4.tcp_keepalive_time = 600
	net.ipv4.tcp_keepalive_probes = 3
	net.ipv4.tcp_keepalive_intvl =15
	net.ipv4.tcp_max_tw_buckets = 36000
	net.ipv4.tcp_tw_reuse = 1
	net.ipv4.tcp_max_orphans = 327680
	net.ipv4.tcp_orphan_retries = 3
	net.ipv4.tcp_syncookies = 1
	net.ipv4.tcp_max_syn_backlog = 16384
	net.ipv4.ip_conntrack_max = 65536
	net.ipv4.tcp_max_syn_backlog = 16384
	net.ipv4.tcp_timestamps = 0
	net.core.somaxconn = 16384
	EOF

	sysctl --system

	# 这些是Linux系统的一些参数设置，用于配置和优化网络、文件系统和虚拟内存等方面的功能。以下是每个参数的详细解释：
	#
	# 1. net.ipv4.ip_forward = 1
	# - 这个参数启用了IPv4的IP转发功能，允许服务器作为网络路由器转发数据包。
	#
	# 2. net.bridge.bridge-nf-call-iptables = 1
	# - 当使用网络桥接技术时，将数据包传递到iptables进行处理。
	#
	# 3. fs.may_detach_mounts = 1
	# - 允许在挂载文件系统时，允许被其他进程使用。
	#
	# 4. vm.overcommit_memory=1
	# - 该设置允许原始的内存过量分配策略，当系统的内存已经被完全使用时，系统仍然会分配额外的内存。
	#
	# 5. vm.panic_on_oom=0
	# - 当系统内存不足（OOM）时，禁用系统崩溃和重启。
	#
	# 6. fs.inotify.max_user_watches=89100
	# - 设置系统允许一个用户的inotify实例可以监控的文件数目的上限。
	#
	# 7. fs.file-max=52706963
	# - 设置系统同时打开的文件数的上限。
	#
	# 8. fs.nr_open=52706963
	# - 设置系统同时打开的文件描述符数的上限。
	#
	# 9. net.netfilter.nf_conntrack_max=2310720
	# - 设置系统可以创建的网络连接跟踪表项的最大数量。
	#
	# 10. net.ipv4.tcp_keepalive_time = 600
	# - 设置TCP套接字的空闲超时时间（秒），超过该时间没有活动数据时，内核会发送心跳包。
	#
	# 11. net.ipv4.tcp_keepalive_probes = 3
	# - 设置未收到响应的TCP心跳探测次数。
	#
	# 12. net.ipv4.tcp_keepalive_intvl = 15
	# - 设置TCP心跳探测的时间间隔（秒）。
	#
	# 13. net.ipv4.tcp_max_tw_buckets = 36000
	# - 设置系统可以使用的TIME_WAIT套接字的最大数量。
	#
	# 14. net.ipv4.tcp_tw_reuse = 1
	# - 启用TIME_WAIT套接字的重新利用，允许新的套接字使用旧的TIME_WAIT套接字。
	#
	# 15. net.ipv4.tcp_max_orphans = 327680
	# - 设置系统可以同时存在的TCP套接字垃圾回收包裹数的最大数量。
	#
	# 16. net.ipv4.tcp_orphan_retries = 3
	# - 设置系统对于孤立的TCP套接字的重试次数。
	#
	# 17. net.ipv4.tcp_syncookies = 1
	# - 启用TCP SYN cookies保护，用于防止SYN洪泛攻击。
	#
	# 18. net.ipv4.tcp_max_syn_backlog = 16384
	# - 设置新的TCP连接的半连接数（半连接队列）的最大长度。
	#
	# 19. net.ipv4.ip_conntrack_max = 65536
	# - 设置系统可以创建的网络连接跟踪表项的最大数量。
	#
	# 20. net.ipv4.tcp_timestamps = 0
	# - 关闭TCP时间戳功能，用于提供更好的安全性。
	#
	# 21. net.core.somaxconn = 16384
	# - 设置系统核心层的连接队列的最大值。

	yum install -y sshpass
	ssh-keygen -f /root/.ssh/id_rsa -P ''
	export IP="192.168.100.31 192.168.100.32 192.168.100.33 192.168.100.34 192.168.100.35 192.168.100.36"
	export SSHPASS=086530
	for HOST in $IP;do
	sshpass -e ssh-copy-id -o StrictHostKeyChecking=no $HOST
	done


	# 这段脚本的作用是在一台机器上安装sshpass工具，并通过sshpass自动将本机的SSH公钥复制到多个远程主机上，以实现无需手动输入密码的SSH登录。
	#
	# 具体解释如下：
	#
	# 1. `apt install -y sshpass` 或 `yum install -y sshpass`：通过包管理器（apt或yum）安装sshpass工具，使得后续可以使用sshpass命令。
	#
	# 2. `ssh-keygen -f /root/.ssh/id_rsa -P ''`：生成SSH密钥对。该命令会在/root/.ssh目录下生成私钥文件id_rsa和公钥文件id_rsa.pub，同时不设置密码（即-P参数后面为空），方便后续通过ssh-copy-id命令自动复制公钥。
	#
	# 3. `export IP="192.168.100.31 192.168.100.32 192.168.100.33 192.168.100.34 192.168.100.35 192.168.100.36"`：设置一个包含多个远程主机IP地址的环境变量IP，用空格分隔开，表示要将SSH公钥复制到这些远程主机上。
	#
	# 4. `export SSHPASS=086530`：设置环境变量SSHPASS，将sshpass所需的SSH密码（在这里是"086530"）赋值给它，这样sshpass命令可以自动使用这个密码进行登录。
	#
	# 5. `for HOST in $IP;do`：遍历环境变量IP中的每个IP地址，并将当前IP地址赋值给变量HOST。
	#
	# 6. `sshpass -e ssh-copy-id -o StrictHostKeyChecking=no $HOST`：使用sshpass工具复制本机的SSH公钥到远程主机。其中，-e选项表示使用环境变量中的密码（即SSHPASS）进行登录，-o StrictHostKeyChecking=no选项表示连接时不检查远程主机的公钥，以避免交互式确认。
	#
	# 通过这段脚本，可以方便地将本机的SSH公钥复制到多个远程主机上，实现无需手动输入密码的SSH登录。

	hostnamectl set-hostname k8s-master01
	hostnamectl set-hostname k8s-master02
	hostnamectl set-hostname k8s-node01
	hostnamectl set-hostname k8s-node02
	hostnamectl set-hostname nginx-master
	hostnamectl set-hostname nginx-backup

	cat > /etc/hosts <<EOF
	127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
	::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

	192.168.100.31 k8s-master01
	192.168.100.32 k8s-master02
	192.168.100.33 k8s-node01
	192.168.100.34 k8s-node02
	192.168.100.35 nginx-master
	192.168.100.36 nginx-backup
	192.168.100.37 lb-vip
	EOF

	cd K8s二进制软件包v1.18/

	chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64

	mv cfssl_linux-amd64 /usr/local/bin/cfssl
	mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
	mv cfssl-certinfo_linux-amd64 /usr/bin/cfssl-certinfo

	cat > ca-config.json << EOF
	{
	"signing": {
	"default": {
	"expiry": "87600h"
	},
	"profiles": {
	"www": {
	"expiry": "87600h",
	"usages": [
	"signing",
	"key encipherment",
	"server auth",
	"client auth"
	]
	}
	}
	}
	}
	EOF

	cat > ca-csr.json << EOF
	{
	"CN": "etcd CA",
	"key": {
	"algo": "rsa",
	"size": 2048
	},
	"names": [
	{
	"C": "CN",
	"L": "Beijing",
	"ST": "Beijing"
	}
	]
	}
	EOF

	cfssl gencert -initca ca-csr.json \| cfssljson -bare ca -

	ls *pem
	ca-key.pem ca.pem

	cat > server-csr.json << EOF
	{
	"CN": "etcd",
	"hosts": [
	"192.168.100.31",
	"192.168.100.33",
	"192.168.100.34",
	"192.168.100.38",
	"192.168.100.39"
	],
	"key": {
	"algo": "rsa",
	"size": 2048
	},
	"names": [
	{
	"C": "CN",
	"L": "BeiJing",
	"ST": "BeiJing"
	}
	]
	}
	EOF



	#上述文件hosts字段中IP为所有etcd节点的集群内部通信IP，一个都不能少！为了方便后期扩容可以多写几个预留的IP（192.168.100.38,192.168.100.39为预留IP）。

	cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json \| cfssljson -bare server

	ls server*pem
	server-key.pem server.pem

	cd K8s二进制软件包v1.18/

	mkdir /opt/etcd/{bin,cfg,ssl} -p

	tar zxvf etcd-v3.4.9-linux-amd64.tar.gz

	mv etcd-v3.4.9-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/

	cat > /opt/etcd/cfg/etcd.conf << EOF
	#[Member]
	ETCD_NAME="etcd-1"
	ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
	ETCD_LISTEN_PEER_URLS="https://192.168.100.31:2380"
	ETCD_LISTEN_CLIENT_URLS="https://192.168.100.31:2379"

	#[Clustering]
	ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.100.31:2380"
	ETCD_ADVERTISE_CLIENT_URLS="https://192.168.100.31:2379"
	ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.100.31:2380,etcd-2=https://192.168.100.33:2380,etcd-3=https://192.168.100.34:2380"
	ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
	ETCD_INITIAL_CLUSTER_STATE="new"
	EOF


	说明：
	#ETCD_NAME：节点名称，集群中唯一
	#ETCD_DATA_DIR：数据目录
	#ETCD_LISTEN_PEER_URLS：集群通信监听地址
	#ETCD_LISTEN_CLIENT_URLS：客户端访问监听地址
	#ETCD_INITIAL_ADVERTISE_PEER_URLS：集群通告地址
	#ETCD_ADVERTISE_CLIENT_URLS：客户端通告地址
	#ETCD_INITIAL_CLUSTER：集群节点地址
	#ETCD_INITIAL_CLUSTER_TOKEN：集群Token
	#ETCD_INITIAL_CLUSTER_STATE：加入集群的当前状态，new是新集群，existing表示加入已有集群

	cat > /usr/lib/systemd/system/etcd.service << EOF
	[Unit]
	Description=Etcd Server
	After=network.target
	After=network-online.target
	Wants=network-online.target

	[Service]
	Type=notify
	EnvironmentFile=/opt/etcd/cfg/etcd.conf
	ExecStart=/opt/etcd/bin/etcd \
	--cert-file=/opt/etcd/ssl/server.pem \
	--key-file=/opt/etcd/ssl/server-key.pem \
	--peer-cert-file=/opt/etcd/ssl/server.pem \
	--peer-key-file=/opt/etcd/ssl/server-key.pem \
	--trusted-ca-file=/opt/etcd/ssl/ca.pem \
	--peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
	--logger=zap
	Restart=on-failure
	LimitNOFILE=65536

	[Install]
	WantedBy=multi-user.target
	EOF

	scp -r /opt/etcd/ root@192.168.100.33:/opt/

	scp /usr/lib/systemd/system/etcd.service root@192.168.100.33:/usr/lib/systemd/system/

	scp -r /opt/etcd/ root@192.168.100.34:/opt/

	scp /usr/lib/systemd/system/etcd.service root@192.168.100.34:/usr/lib/systemd/system/

	vim /opt/etcd/cfg/etcd.conf
	#[Member]
	ETCD_NAME="etcd-1" # 修改此处，k8s-node01节点改为etcd-2，k8s-node02节点改为etcd-3
	ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
	ETCD_LISTEN_PEER_URLS="https://192.168.100.31:2380" # 修改此处为当前服务器IP
	ETCD_LISTEN_CLIENT_URLS="https://192.168.100.31:2379" # 修改此处为当前服务器IP

	#[Clustering]
	ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.100.31:2380" # 修改此处为当前服务器IP
	ETCD_ADVERTISE_CLIENT_URLS="https://192.168.100.31:2379" # 修改此处为当前服务器IP
	ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.100.31:2380,etcd-2=https://192.168.100.33:2380,etcd-3=https://192.168.100.34:2380"
	ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
	ETCD_INITIAL_CLUSTER_STATE="new"

Centos7系统二进制安装Kubernetes（v1.18）集群

一、环境准备

1.1、集群环境

1.2、软件环境

部署说明：

1.3、系统环境初始化

1.3.1、修改网卡UUID

1.3.2、关闭防火墙

1.3.3、关闭selinux

1.3.4、关闭swap分区

1.3.5、时间同步

1.3.6、配置umilit

1.3.7、 配置阿里yum源

1.3.8、修改内核参数

1.3.9、配置免密登录

1.3.10、设置主机名

1.3.11、所有节点配置hosts本地解析

二、部署Etcd集群

2.1、准备cfssl证书生成工具

2.2、生成Etcd证书

2.2.1、自签证书颁发机构（CA）

2.2.2、使用自签CA签发Etcd HTTPS证书

2.3、 部署Etcd集群

2.3.1、 创建工作目录并解压二进制包

2.3.2、创建etcd配置文件

2.3.3、systemd管理etcd

2.3.4、拷贝刚才生成的证书

2.3.5、将k8s-master01节点所有生成的文件拷贝到k8s-node01节点和k8s-node02节点

2.3.6、启动并设置开机启动

2.3.7、查看集群状态

三、安装Docker

3.1、解压docker二进制包

3.2、systemd管理docker

3.3、创建配置文件

3.4、启动并设置开机启动

四、部署Master Node

4.1 、生成kube-apiserver证书

4.1.1、自签证书颁发机构（CA）

4.1.2、使用自签CA签发kube-apiserver HTTPS证书

4.2、 解压kubernetes-server二进制包

4.2.1、创建配置文件

4.2.2、拷贝刚才生成的证书

4.2.3、启用 TLS Bootstrapping 机制

4.2.4、systemd管理apiserver

4.2.5、启动并设置开机启动

4.2.6、授权kubelet-bootstrap用户允许请求证书

4.3、部署kube-controller-manager

4.3.1、创建配置文件

4.3.2、systemd管理controller-manager

4.3.3、 启动并设置开机启动

4.4、部署kube-scheduler

4.4.1、创建配置文件

4.4.2、systemd管理scheduler

4.4.3、启动并设为开机自启

4.4.4、查看集群状态

五、部署Worker Node

5.1、 创建工作目录并拷贝二进制文件

5.2、部署kubelet

5.2.1、创建配置文件

5.2.2、配置参数文件

5.2.3、生成bootstrap.kubeconfig文件

5.2.4、systemd管理kubelet

5.2.5、启动并设置开机启动

5.3、批准kubelet证书申请并加入集群

5.4、部署kube-proxy

5.4.1、创建配置文件

5.4.2、配置文件参数

5.4.3、生成kube-proxy.kubeconfig文件

5.4.4、systemd管理kube-proxy

5.4.5、启动并设置开机启动

5.5、部署CNI网络

5.5.1、解压二进制包并移动到默认工作目录：

5.5.2、部署CNI网络：

5.5.3、授权apiserver访问kubelet

5.6、新增加Worker Node

5.6.1、拷贝已部署好的Node相关文件到新节点

5.6.2、删除kubelet证书和kubeconfig文件

5.6.3、修改主机名

5.6.4、启动并设为开机自启

5.6.5、在Master上批准新Node kubelet证书申请

1.3.7、配置阿里yum源

2.3、部署Etcd集群

2.3.1、创建工作目录并解压二进制包

4.2、解压kubernetes-server二进制包

4.3.3、启动并设置开机启动

5.1、创建工作目录并拷贝二进制文件

	systemctl daemon-reload
	systemctl start etcd
	systemctl enable etcd

	ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.100.31:2379,https://192.168.100.33:2379,https://192.168.100.34:2379" endpoint health --write-out=table

	+-----------------------------+--------+-------------+-------+
	\| ENDPOINT \| HEALTH \| TOOK \| ERROR \|
	+-----------------------------+--------+-------------+-------+
	\| https://192.168.100.31:2379 \| true \| 22.913584ms \| \|
	\| https://192.168.100.33:2379 \| true \| 25.470072ms \| \|
	\| https://192.168.100.34:2379 \| true \| 25.793772ms \| \|
	+-----------------------------+--------+-------------+-------+

	cat > /usr/lib/systemd/system/docker.service << EOF
	[Unit]
	Description=Docker Application Container Engine
	Documentation=https://docs.docker.com
	After=network-online.target firewalld.service
	Wants=network-online.target

	[Service]
	Type=notify
	ExecStart=/usr/bin/dockerd
	ExecReload=/bin/kill -s HUP $MAINPID
	LimitNOFILE=infinity
	LimitNPROC=infinity
	LimitCORE=infinity
	TimeoutStartSec=0
	Delegate=yes
	KillMode=process
	Restart=on-failure
	StartLimitBurst=3
	StartLimitInterval=60s

	[Install]
	WantedBy=multi-user.target
	EOF

	mkdir /etc/docker
	cat > /etc/docker/daemon.json << EOF
	{
	"registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
	}
	EOF

	systemctl daemon-reload
	systemctl start docker
	systemctl enable docker

	cd ~/TLS/k8s/

	cat > ca-config.json << EOF
	{
	"signing": {
	"default": {
	"expiry": "87600h"
	},
	"profiles": {
	"kubernetes": {
	"expiry": "87600h",
	"usages": [
	"signing",
	"key encipherment",
	"server auth",
	"client auth"
	]
	}
	}
	}
	}
	EOF
	cat > ca-csr.json << EOF
	{
	"CN": "kubernetes",
	"key": {
	"algo": "rsa",
	"size": 2048
	},
	"names": [
	{
	"C": "CN",
	"L": "Beijing",
	"ST": "Beijing",
	"O": "k8s",
	"OU": "System"
	}
	]
	}
	EOF

	cd K8s二进制软件包v1.18/
	mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}
	tar zxvf kubernetes-server-linux-amd64.tar.gz
	cd kubernetes/server/bin
	cp kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/bin
	cp kubectl /usr/bin/

	cat > /opt/kubernetes/cfg/kube-apiserver.conf << EOF
	KUBE_APISERVER_OPTS="--logtostderr=false \
	--v=2 \
	--log-dir=/opt/kubernetes/logs \
	--etcd-servers=https://192.168.100.31:2379,https://192.168.100.33:2379,https://192.168.100.34:2379 \
	--bind-address=192.168.100.31 \
	--secure-port=6443 \
	--advertise-address=192.168.100.31 \
	--allow-privileged=true \
	--service-cluster-ip-range=10.0.0.0/24 \
	--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \
	--authorization-mode=RBAC,Node \
	--enable-bootstrap-token-auth=true \
	--token-auth-file=/opt/kubernetes/cfg/token.csv \
	--service-node-port-range=30000-32767 \
	--kubelet-client-certificate=/opt/kubernetes/ssl/server.pem \
	--kubelet-client-key=/opt/kubernetes/ssl/server-key.pem \
	--tls-cert-file=/opt/kubernetes/ssl/server.pem \
	--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \
	--client-ca-file=/opt/kubernetes/ssl/ca.pem \
	--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \
	--etcd-cafile=/opt/etcd/ssl/ca.pem \
	--etcd-certfile=/opt/etcd/ssl/server.pem \
	--etcd-keyfile=/opt/etcd/ssl/server-key.pem \
	--audit-log-maxage=30 \
	--audit-log-maxbackup=3 \
	--audit-log-maxsize=100 \
	--audit-log-path=/opt/kubernetes/logs/k8s-audit.log"
	EOF

	注：上面两个\ \ 第一个是转义符，第二个是换行符，使用转义符是为了使用EOF保留换行符。
	• --logtostderr：启用日志
	• ---v：日志等级
	• --log-dir：日志目录
	• --etcd-servers：etcd集群地址
	• --bind-address：监听地址
	• --secure-port：https安全端口
	• --advertise-address：集群通告地址
	• --allow-privileged：启用授权
	• --service-cluster-ip-range：Service虚拟IP地址段
	• --enable-admission-plugins：准入控制模块
	• --authorization-mode：认证授权，启用RBAC授权和节点自管理
	• --enable-bootstrap-token-auth：启用TLS bootstrap机制
	• --token-auth-file：bootstrap token文件
	• --service-node-port-range：Service nodeport类型默认分配端口范围
	• --kubelet-client-xxx：apiserver访问kubelet客户端证书
	• --tls-xxx-file：apiserver https证书
	• 1.20版本必须加的参数：--service-account-issuer，--service-account-signing-key-file
	• --etcd-xxxfile：连接Etcd集群证书
	• --audit-log-xxx：审计日志
	• 启动聚合层相关配置：--requestheader-client-ca-file，--proxy-client-cert-file，--proxy-client-key-file，--requestheader-allowed-names，--requestheader-extra-headers-prefix，--requestheader-group-headers，--requestheader-username-headers，--enable-aggregator-routing

	cat > /opt/kubernetes/cfg/token.csv << EOF
	c47ffb939f5ca36231d9e3121a252940,kubelet-bootstrap,10001,"system:node-bootstrapper"
	EOF

	cat > /usr/lib/systemd/system/kube-apiserver.service << EOF
	[Unit]
	Description=Kubernetes API Server
	Documentation=https://github.com/kubernetes/kubernetes

	[Service]
	EnvironmentFile=/opt/kubernetes/cfg/kube-apiserver.conf
	ExecStart=/opt/kubernetes/bin/kube-apiserver \$KUBE_APISERVER_OPTS
	Restart=on-failure

	[Install]
	WantedBy=multi-user.target
	EOF