Kubernetes安装记录

一、系统规划

3个节点

机器名	IP
k8s-master	192.168.1.57
k8s-node58	192.168.1.58
k8s-node59	192.168.1.59

Pod 网段

172.31.0.0/16

版本选择

• Docker： 19.03.15
• Kubernetes: 1.18.20-0

二、环境设置

禁用防火墙

# 查看firewalld状态
firewall-cmd --state

# 关闭防火墙
systemctl stop firewalld

# 禁止开机启动
systemctl disable firewalld.service

禁用SeLinux

参考 SeLinux是什么

# 永久关闭
sed -i 's/^ *SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

设置时区

timedatectl set-timezone Asia/Shanghai

修改主机名

# 修改
hostnamectl set-hostname k8s-master
# 查看
hostnamectl
more /etc/hostname

重新登录后即可显示新设置的主机名

修改Hosts文件

# /etc/hosts
192.168.1.57 k8s-master
192.168.1.58 k8s-node58
192.168.1.59 k8s-node58

验证mac地址uuid

保证各节点的mac和uuid唯一

cat /sys/class/net/ens33/address
cat /sys/class/dmi/id/product_uuid

禁用swap

# 查看内存交换情况
free -m

# 临时禁用
swapoff -a

# 永久禁用
sed -i.bak '/swap/s/^/#/' /etc/fstab

安装Docker

参考 Docker安装记录

配置网桥

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

# 查看
sysctl -p /etc/sysctl.d/k8s.conf

修改Cgroup Driver

修改daemon.json，新增“exec-opts”: [“native.cgroupdriver=systemd"]

sudo cat <<-'EOF' >/etc/docker/daemon.json 
{
  "registry-mirrors": ["https://yn0x8uqa.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

修改cgroupdriver是为了消除告警：

WARNING IsDockerSystemdCheck]: detected “cgroupfs” as the Docker cgroup driver. The recommended driver is “systemd”. Please follow the guide at https://kubernetes.io/docs/setup/cri/

三、安装k8s

添加镜像源

# 添加kubernetes镜像源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

• [] 中括号中的是repository id，唯一，用来标识不同仓库
• name 仓库名称，自定义
• baseurl 仓库地址
• enable 是否启用该仓库，默认为1表示启用
• gpgcheck 是否验证从该仓库获得程序包的合法性，1为验证
• repo_gpgcheck 是否验证元数据的合法性 元数据就是程序包列表，1为验证
• gpgkey=URL 数字签名的公钥文件所在位置，如果gpgcheck值为1，此处就需要指定gpgkey文件的位置，如果gpgcheck值为0就不需要此项了

选择版本

# g
[root@master ~]# yum clean all
[root@master ~]# yum -y makecache

# 查看可用版本
 yum list kubelet --showduplicates | sort -r 

选择版本1.18.20-0

安装kubelet、kubeadm和kubectl

yum install -y kubelet-1.18.20-0 kubeadm-1.18.20-0 kubectl-1.18.20-0

• kubelet：运行在集群所有节点上，用于启动Pod和容器的工具
• kubeadm：用于初始化集群，启动集群的命令工具
• kubectl: 与集群通信的命令行

# 启动kubelet并设置开机启动
systemctl enable kubelet && systemctl start kubelet

kubeleet命令补全

echo "source <(kubectl completion bash)" >> ~/.bash_profile
source .bash_profile

安装组件

Kubernetes几乎所有的安装组件和Docker镜像都放在goolge自己的网站上,直接访问可能会有网络问题，这里的解决办法是从阿里云镜像仓库下载镜像，拉取到本地以后改回默认的镜像tag。

配置下载脚本 image.sh

#!/bin/bash
url=registry.cn-hangzhou.aliyuncs.com/google_containers
version=stable-1.18
images=(`kubeadm config images list --kubernetes-version=$version|awk -F '/' '{print $2}'`)
for imagename in ${images[@]} ; do
  docker pull $url/$imagename
  docker tag $url/$imagename k8s.gcr.io/$imagename
  docker rmi -f $url/$imagename
done

url为阿里云镜像仓库地址，version为安装的kubernetes版本。

chmod u+x image.sh
./image.sh

# 查看k8s组件的镜像是否已下载
docker images

四、初始化Master

kubeadm init --apiserver-advertise-address 192.168.1.57 --pod-network-cidr=172.31.0.0/16

• apiserver-advertise-address: 指定master的的地址
• pod-network-cidr: 指定规划好的Pod网络地址

配置kubectl命令

echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source .bash_profile

安装Ingress

kubectl apply -f  https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.0.0/deploy/static/provider/cloud/deploy.yaml

五、安装Flannel网络

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

修改Pod的网络地址：

net-conf.json: |
 {
   # "Network": "10.244.0.0/16",
   "Network": "172.31.0.0/16",
   "Backend": {
     "Type": "vxlan"
   }
 }

六、加入工作节点

在主节点查询join的token

kubeadm token list

如果token超过24小时，token会失效。创新创建token:

[root@k8s-prod-master ~]# kubeadm token create
k3ivaq.v5yr5x3zjn1dpbtn
[root@k8s-prod-master ~]# kubeadm token list
TOKEN                     TTL         EXPIRES                     USAGES                   DESCRIPTION                                                EXTRA GROUPS
k3ivaq.v5yr5x3zjn1dpbtn   23h         2021-08-28T09:30:18+08:00   authentication,signing   <none>                                                     system:bootstrappers:kubeadm:default-node-token

生成获取ca证书sha256编码hash值

[root@k8s-prod-master ~]# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
3a5d0728550acdf4ee6c600b7e73f574ca4ca379bf85a69bbca1652b160338a2

在从节点执行命令，加入集群

kubeadm join ${Mater_ip}:6443 --token \({token} --discovery-token-ca-cert-hash sha256:\){hash}

kubeadm join 192.168.1.57:6443 --token z1x1gh.igr7qjkszp5ggqd3 \
    --discovery-token-ca-cert-hash sha256:3a5d0728550acdf4ee6c600b7e73f574ca4ca379bf85a69bbca1652b160338a2

七、问题排查

1. 主节点重置

kubeadm reset

rm -rf /root/.kube/

2. 卸载flannel网络

#第一步，在master节点删除flannel
kubectl delete -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
 
#第二步，在node节点清理flannel网络留下的文件
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/
rm -f /etc/cni/net.d/*
注：执行完上面的操作，重启kubelet

3. 跨节点网络不通的问题

在所有节点上执行：

iptables -P INPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -F
iptables -L -n