centos7.8 / ubuntu 利用 Kubeadm 搭建 k8s 集群

1- 服务器设置

192.168.0.10 master
192.168.0.11 node01
192.168.0.12 node02

docker 版本 sudo yum -y install docker-ce-24.0.5-1.el7

• 三台服务器同样的操作

#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 禁用SELinux ，让容器可以读取主机文件系统：
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

# 禁用swap
swapoff -a

# 分别修改每台服务器的主机名
hostnamectl set-hostname master && su
hostnamectl set-hostname node01 && su
hostnamectl set-hostname node02 && su

# 将修改后的主机名写入三台服务器的 hosts 中
cat >> /etc/hosts << EOF
192.168.74.11 master
192.168.74.12 node01
192.168.74.14 node02
EOF

# 将桥接的 IPV4 流量传递到 iptables 链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness = 0
net.ipv4.ip_forward= 1
EOF
# 载入配置：
sysctl --system

# 运行自动登录
sed -i "s/PasswordAuthentication no/PasswordAuthentication yes/g" /etc/ssh/sshd_config

# 时间同步
yum -y install ntpdate
ntpdate time.windows.com

2-安装docker

• 三台服务器同样操作

sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

sudo yum remove docker-ce docker-ce-cli containerd.io
sudo rm -rf /var/lib/docker
sudo rm -rf /var/lib/containerd


sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum makecache fast
sudo yum -y install docker-ce-24.0.5-1.el7

# 加入国内镜像源
sudo mkdir -p /etc/docker
sudo echo -e  "{\"registry-mirrors\": [\"https://hub-mirror.c.163.com\",\"https://mirror.baidubce.com\"]}" > /etc/docker/daemon.json

# 启动docker
sudo systemctl start docker

# 设置开机启动
sudo systemctl enable docker
sudo systemctl daemon-reload
sudo systemctl restart docker

3-配置阿里云 K8S repo 源（三台服务器）

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

yum clean all && yum makecache

4-安装 kubeadm，kubelet，kubectl（三台服务器） 版本比较老了，选择合适的版本

• centos 安装

yum -y install kubelet-1.23.16 kubeadm-1.23.16 kubectl-1.23.16 --nogpgcheck
systemctl enable kubelet

• Ubuntu 安装

#!/bin/bash
apt update && apt install apt-transport-https
curl -fsSL https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main"
apt-get update
apt-cache madison kubelet kubectl kubeadm |grep '1.22.7-00' 
apt install -y kubelet=1.22.7-00 kubectl=1.22.7-00 kubeadm=1.22.7-00

5- 部署 kubernetes Master 节点（master 节点执行）

• 初始化kubeadm

kubeadm init \
--apiserver-advertise-address=192.168.0.10 \   #指定master监听的地址，修改为自己的master地址
--image-repository registry.aliyuncs.com/google_containers \  #指定为aliyun的下载源，最好用国内的
--kubernetes-version v1.18.0 \  #指定k8s版本，1.18.0版本比较稳定
--service-cidr=10.96.0.0/12 \  #设置集群内部的网络
--pod-network-cidr=10.244.0.0/16  #设置pod的网络

# service-cidr 和 pod-network-cidr 最好就用这个，不然需要修改后面的 kube-flannel.yaml 文件

kubeadm init \
--apiserver-advertise-address=192.168.230.129 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.22.7 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--ignore-preflight-errors=Swap

出现 Your Kubernetes control-plane has initialized successfully! 为初始化成功，把输入的join内容复制出来，node 节点加入集群需要master生成的 token，token 有效期为 24 小时，过期需要重新创建，创建命令为 kubeadm token create --print-join-command

kubeadm join 192.168.0.10:6443 --token 66a1se.xq83b1smkkwhdbmm \
    --discovery-token-ca-cert-hash sha256:4df7599905d613de676c20537f6d0ddc7231f12c982eeb047e128959990e9976

如果忘了sha256，可以执行下面的命令进行查看

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

6-使用 kubectl 管理工具

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

[root@master ~] kubectl get node
NAME     STATUS     ROLES    AGE    VERSION
master   NotReady   master   106m   v1.18.0

7- k8s-node 节点加入 master 节点（两个 node 执行）

分别在node01和node02上执行下面的命令

kubeadm join 192.168.0.10:6443 --token 66a1se.xq83b1smkkwhdbmm \
    --discovery-token-ca-cert-hash sha256:4df7599905d613de676c20537f6d0ddc7231f12c982eeb047e128959990e9976 --ignore-preflight-errors=Swap

• 执行完成后在master上查看 kubectl get node

• 可以看到节点显示 NotReady 状态，需要安装网络插件

8- 安装 Pod 网络CNI 插件（master 节点）

• 下载插件 yaml 文件

#国外网站
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
#国内网站
wget http://120.78.77.38/file/kube-flannel.yaml

• 执行安装

#修改 flannel 插件文件
sed -i -r "s#quay.io/coreos/flannel:.*-amd64#lizhenliang/flannel:v0.12.0-amd64#g" kube-flannel.yaml
kubectl apply -f kube-flannel.yaml

• 查看, 部署好网络插件，node 准备就绪

kubectl get pods -n kube-system
kubectl get node　　

• 测试 k8s 集群，在集群中创建一个 pod，验证是否能正常运行

[root@master ~] kubectl get pod	#默认命名空间现在是没有 pod 的
No resources found in default namespace.

[root@master ~] kubectl create deployment nginx --image=nginx
deployment.apps/nginx created

[root@master ~] kubectl expose deployment nginx --port=80 --type=NodePort #暴露端口供外网访问
service/nginx exposed
[root@master ~]kubectl get pod,svc
NAME                        READY   STATUS    RESTARTS   AGE
pod/nginx-f89759699-g76rt   1/1     Running   0          6m8s

NAME                 TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
service/kubernetes   ClusterIP   10.96.0.1      <none>        443/TCP        15m
service/nginx        NodePort    10.104.42.45   <none>        80:30547/TCP   6m

# nginx 暴露了 30547 端口，http://nodeIP:port 访问，任意节点 IP 都可以
[root@master ~]# curl 192.168.0.11:30547

master 节点安装可视化管理界面 dashboard

• 下载插件文件

wget http://120.78.77.38/file/kubernetes-dashboard.yaml

• 修改内容

修改 kubernetes-dashboard.yaml，增加一行 nodePort: 30001，如图所示，光标处为增加的行，端口自行选定，不冲突就行

• 执行安装

[root@master ~] kubectl apply -f kubernetes-dashboard.yaml
[root@master ~] kubectl get pods -n kubernetes-dashboard

查看 pod 在哪个节点，访问 web 界面，dashboard-metrics 所在节点采集监控指标，kubernetes-dashboard 所在节点为 web 管理页面

• 访问：https://192.168.0.10:30001，这首k8s Dashboard浏览器可能不能访问

解决k8s Dashboard浏览器不能访问

kubeadm 部署

• 删除默认的secret，用自签证书创建新的secret

kubectl delete secret kubernetes-dashboard-certs -n kubernetes-dashboard
kubectl create secret generic kubernetes-dashboard-certs \
--from-file=/etc/kubernetes/pki/apiserver.key --from-file=/etc/kubernetes/pki/apiserver.crt -n kubernetes-dashboard

• 修改 kubernetes-dashboard.yaml 文件，在args下面增加证书两行

      args:
        # PLATFORM-SPECIFIC ARGS HERE
        - --auto-generate-certificates
        - --tls-key-file=apiserver.key
        - --tls-cert-file=apiserver.crt

• 重载

kubectl apply -f kubernetes-dashboard.yaml

使用 token 访问kubernetes-dashboard ：https://192.168.0.10:30001

使用 token 令牌登录，在 master 节点生成令牌

kubectl create serviceaccount  dashboard-admin -n kube-system
kubectl create  clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret |awk '/dashboard-admin/{pirnt $1}')

选择一个令牌并在网页上输入