k8s-部署 Kubernetes 集群（kubeadm方式）
一 机器准备
| IP | 主机名 | 角色 | 配置 | 安装组件 |
| 192.168.198.150 | master-1 | master | 2U2G |
master组件 etcd kubectl |
| 192.168.198.151 | master-2 | master | 2U2G | master组件 etcd kubectl |
| 192.168.198.152 | master-3 | master | 2U2G | master组件 etcd kubectl |
| 192.168.198.153 | node-1 | worker | 2U2G | worker组件 |
| 192.168.198.154 | node-2 | worker | 2U2G | worker组件 |
| 192.168.198.155 | node-3 | worker | 2U2G | worker组件 |
二 环境准备（所有节点）
所有机器关闭防火墙 selinux swap分区
所有机器做好相互解析 时间同步
可在master-1节点上生成密钥对 并将公钥拷贝至其他节点 方便通信与传输文件
#关闭防火墙 systemctl stop firewalld systemctl disable firewalld #关闭selinux setenforce 0 sed -ri "s/(^SELINUX=)(.*)/\1disabled/" /etc/selinux/config #关闭swap分区 swapoff -a sed -i.bak 's/^.*swap/#&/' /etc/fstab #相互解析 [root@localhost ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.198.150 master-1 192.168.198.151 master-2 192.168.198.152 master-3 192.168.198.153 node-1 192.168.198.154 node-2 192.168.198.155 node-3 #时间同步略 #建议用master节点上的一台服务器同步外网时间 其他节点服务器同步这台服务器时间
配置内核参数
[root@localhost ~]# cat /etc/sysctl.d/kubernetes.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_nonlocal_bind = 1 net.ipv4.ip_forward = 1 vm.swappiness=0 [root@localhost ~]# sysctl --system
加载ipvs模块
[root@localhost ~]# yum -y install ipset ipvsadm [root@localhost ~]# cat /etc/sysconfig/modules/ipvs.modules #!/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 [root@localhost ~]# chmod +x /etc/sysconfig/modules/ipvs.modules [root@localhost ~]# /etc/sysconfig/modules/ipvs.modules
三 安装docker（所有节点）
下载docker
#下载docker源 cd /etc/yum.repos.d/ curl -O http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo #下载docker（本次下载18.06版本） #可用 yum list docker-ce --showduplicates 查看可下载版本 yum -y install docker-ce-18.06.0.ce
配置docker
[root@localhost ~]# mkdir /etc/docker [root@localhost ~]# cat /etc/docker/daemon.json { "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_kernel_check=true" ], #下为镜像加速器 可不写 也可加入自己的镜像加速器地址 "registry-mirrors": ["https://xxxxxx.mirror.aliyuncs.com"] } [root@localhost ~]# systemctl enable docker --now
四 安装kubelet（所有节点）
下载k8s源
[root@localhost ~]# cat /etc/yum.repos.d/kubernetes.repo
[kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
下载kubeadm kubelet kubectl ipvsadm（前三版本要一致 不然容易出错 ipvsadm可选择下载）
#查看可下载版本 yum list --showduplicates|egrep kubeadm #下载1.18.0版本 yum install -y kubeadm-1.18.0-0 kubelet-1.18.0-0 kubectl-1.18.0-0 ipvsadm #先将kubelet设为开机自启（还没配网络 起不来） systemctl enable kubelet
五 安装负载均衡（master节点）（单master无需部署）
在master上安装kube-apiserver kube-scheduler kube-controller-manager
kube-scheduler 和 kube-controller-manager 可以以集群模式运行 通过 leader 选举产生一个工作进程 其它进程处于阻塞模式
kube-apiserver可以运行多个实例 但对其它组件需要提供统一的访问地址 该地址需要高可用
创建 haproxy 启动脚本并启动
#!/bin/bash MasterIP1=192.168.198.150 MasterIP2=192.168.198.151 MasterIP3=192.168.198.152 MasterPort=6443 # apiserver端口 docker run -d --restart=always --name haproxy-k8s -p 6444:6444 \ -e MasterIP1=$MasterIP1 \ -e MasterIP2=$MasterIP2 \ -e MasterIP3=$MasterIP3 \ -e MasterPort=$MasterPort wise2c/haproxy-k8s
创建keepalived 启动脚本并启动
#!/bin/bash VIRTUAL_IP=192.168.122.100 # VIP INTERFACE=eth0 # 网卡名称 NETMASK_BIT=24 CHECK_PORT=6444 # Haproxy端口 RID=10 VRID=160 MCAST_GROUP=224.0.0.18 docker run -itd --restart=always --name=keepalived-k8s \ --net=host --cap-add=NET_ADMIN \ -e VIRTUAL_IP=$VIRTUAL_IP \ -e INTERFACE=$INTERFACE \ -e NETMASK_BIT=$NETMASK_BIT \ -e CHECK_PORT=$CHECK_PORT \ -e RID=$RID -e VRID=$VRID \ -e MCAST_GROUP=$MCAST_GROUP wise2c/keepalived-k8s
测试
创建成功后在每台master节点上查看容器是否正常运行
查看每台master节点上的6444端口是否被监听
在有VIP的机器关闭haproxy容器或keepalived容器看看VIP能否正常漂移
六 初始化master（master-1）
创建初始化配置文件
#创建配置文件目录 mkdir k8s cd k8s/ #生成配置文件 kubeadm config print init-defaults > init.yml
根据实际环境修改初始化配置文件
apiVersion: kubeadm.k8s.io/v1beta2 bootstrapTokens: - groups: - system:bootstrappers:kubeadm:default-node-token token: abcdef.0123456789abcdef ttl: 24h0m0s usages: - signing - authentication kind: InitConfiguration localAPIEndpoint: advertiseAddress: 192.168.198.150 #改为本机IP bindPort: 6443 nodeRegistration: criSocket: /var/run/dockershim.sock name: master-1 taints: - effect: NoSchedule key: node-role.kubernetes.io/master --- apiServer: timeoutForControlPlane: 4m0s apiVersion: kubeadm.k8s.io/v1beta2 certificatesDir: /etc/kubernetes/pki clusterName: kubernetes controlPlaneEndpoint: "192.168.122.100:6444" # 添加 VIP：PORT controllerManager: {} dns: type: CoreDNS etcd: local: dataDir: /var/lib/etcd imageRepository: registry.aliyuncs.com/google_containers # 使用国内镜像仓库 kind: ClusterConfiguration kubernetesVersion: v1.18.0 #版本号 networking: dnsDomain: cluster.local serviceSubnet: 10.96.0.0/12 podSubnet: 10.244.0.0/16 # 添加 pod子网，和Flannel中要一致 scheduler: {} #添加下列数据 --- apiVersion: kubeproxy.config.k8s.io/v1alpha1 kind: KubeProxyConfiguration mode: ipvs
初始化master-1
此过程需要等待几分钟时间 如果中途失败 再次初始化前先执行 kubeadm reset 命令清理 然后再执行init或join操作
kubeadm init --config=init.yml --upload-certs | tee kubeadm-init.log
成功后记住回显中添加master和node节点的命令（也可到保存的文件中查看）后续需用其添加节点
第一条为添加master节点 第二条为添加node节点
token有效期为两小时 过期后可输入命令重新生成
kubeadm init phase upload-certs --upload-certs
七 配置kubectl（ 无论在master节点或node节点 要能够执行kubectl命令必须进行配置 有两种配置方式 ）
1 通过配置文件（初始化master后的回显）
2 通过环境变量
echo 'export KUBECONFIG=/etc/kubernetes/admin.conf' >> ~/.bashrc source ~/.bashrc
八 部署网络插件（master-1）
#下载kube-flannel.yml文件 wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml #执行安装 kubectl apply -f kube-flannel.yml #查看信息（等待） kubectl get po -n kube-system
九 添加节点
将/etc/kubernetes/admin.conf 这个文件拷贝至你需要操作的机器上
执行添加节点命令添加相应的节点
