使用kubeadm部署k8s集群v1.21【其他版本通用】

1.服务器要求：

建议最小硬件配置：2核/2G/20G 
网络需求：最好能访问外网，需要拉取一些必要的镜像；若没有网络条件，需要提前导入必要的镜像

2.kubeadm常用工具功能：

•kubeadm init：初始化一个Master节点
•kubeadm join：将工作节点加入集群
•kubeadm upgrade：升级K8s版本
•kubeadm token：管理 kubeadm join 使用的令牌
•kubeadm reset：清空 kubeadm init 或者 kubeadm join 对主机所做的任何更改
•kubeadm version：打印 kubeadm 版本
•kubeadm alpha：预览可用的新功能

3.k8s架构图：

Master组件
kube-apiserver：集群的统一入口，各组件协调者，以RESTful API提供接口服务，所有对象资源的增删改查和监听操作都交给APIServer处理后再提交给Etcd存储。
kube-controller-manager：处理集群中常规后台任务，一个资源对应一个控制器，而ControllerManager就是负责管理这些控制器的。
kube-scheduler：根据调度算法为新创建的Pod选择一个Node节点，可以任意部署,可以部署在同一个节点上,也可以部署在不同的节点上。
etcd：分布式键值存储系统。用于保存集群状态数据，比如Pod、Service等对象信息。

Node组件
kubelet：是Master在Node节点上的Agent，管理本机运行容器的生命周期，比如创建容器、Pod挂载数据卷、下载secret、获取容器和节点状态等工作。kubelet将每个Pod转换成一组容器。
kube-proxy：在Node节点上实现Pod网络代理，维护网络规则和四层负载均衡工作。
docker或rocket：容器引擎，运行容器。

 4.操作系统初始化配置：

# 关闭防火墙
systemctl stop firewalld
systemctl status firewalld
systemctl disable firewalld

# 关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
setenforce 0  # 临时

# 关闭swap
swapoff -a  # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

# 根据规划设置主机名【主机名不能用下划线】
hostnamectl set-hostname <hostname>

# 在master添加hosts
cat >> /etc/hosts << EOF
10.200.202.156 k8s-master1
10.200.202.106 k8s-node1
10.200.202.87 k8s-node2
EOF

# 将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 生效

# 时间同步
yum install ntpdate -y
ntpdate time.windows.com

5.安装docker及配置，参考：https://www.cnblogs.com/chenjw-note/p/15091668.html

6.配置阿里云YUM软件源：

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

7.安装kubeadm，kubelet，kubectl【在所有节点安装】

yum install -y kubelet-1.21.0 kubeadm-1.21.0 kubectl-1.21.0
设置开机启动kubelet：systemctl enable kubelet

8.部署Kubernetes Master，执行 kubeadm init【在master上执行】

kubeadm init \
  --apiserver-advertise-address=10.200.202.156 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.21.0 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16 \
  --ignore-preflight-errors=all

参数解析：
•--apiserver-advertise-address 集群通告地址【master地址】
•--image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
•--kubernetes-version K8s版本，与上面安装的一致
•--service-cidr 集群内部虚拟网络，Pod统一访问入口
•--pod-network-cidr Pod网络，，与下面部署的CNI网络组件yaml中保持一致

或者使用配置文件引导：vi kubeadm.conf

apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.21.0
imageRepository: registry.aliyuncs.com/google_containers
networking:
  podSubnet: 10.244.0.0/16
  serviceSubnet: 10.96.0.0/12 

kubeadm init --config kubeadm.conf --ignore-preflight-errors=all

初始化完成后，最后会输出一个join命令，先记住，下面用。

拷贝kubectl使用的连接k8s认证文件到默认路径：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看工作节点：

kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master1 NotReady control-plane,master 25s v1.21.2

注：由于网络插件还没有部署，还没有准备就绪 NotReady，参考资料：
https://kubernetes.io/zh/docs/reference/setup-tools/kubeadm/kubeadm-init/#config-file
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#initializing-your-control-plane-node

9.加入Kubernetes node节点到集群【在node节点上执行】
向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：

kubeadm join 10.200.202.156:6443 --token 2d02wf.num2k8xwfrc43sww --discovery-token-ca-cert-hash sha256:e948502f872d289a29215235fd50a7555e2fdcc30741d9137ede9ce954c2ae03

默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，可以直接使用命令快捷生成：

kubeadm token create --print-join-command

参考资料：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-join/

10.部署容器网络（CNI）

Calico是一个纯三层的数据中心网络方案，是目前Kubernetes主流的网络方案。
下载YAML：wget https://docs.projectcalico.org/manifests/calico.yaml
calico用到的镜像如下：

下载完后还需要修改里面定义Pod网络（CALICO_IPV4POOL_CIDR），与前面kubeadm init的 --pod-network-cidr指定的一样。修改完后文件后，部署：

kubectl apply -f calico.yaml
kubectl get pods -n kube-system

等Calico Pod都Running，节点也会准备就绪：
参考资料：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#pod-network

11.kubeadmv1.21会有CoreDNS问题，应该是镜像名写错，这样处理：

错误：kubectl get pods -n kube-system
NAME                                     READY   STATUS             RESTARTS   AGE
calico-kube-controllers-8db96c76-z7h5p   1/1     Running            0          16m
calico-node-pshdd                        1/1     Running            0          16m
calico-node-vjwlg                        1/1     Running            0          16m
coredns-545d6fc579-5hd9x                 0/1     ImagePullBackOff   0          16m
coredns-545d6fc579-wdbsz                 0/1     ImagePullBackOff   0          16m

解决：
在所有节点执行：
docker pull registry.aliyuncs.com/google_containers/coredns:1.8.0
docker tag registry.aliyuncs.com/google_containers/coredns:1.8.0 registry.aliyuncs.com/google_containers/coredns/coredns:v1.8.0
过一会儿，CoreDNS Pod会自动恢复正常。

12.验证Kubernetes集群，在Kubernetes集群中创建一个pod，验证是否正常运行：

kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get pod,svc -o wide

 访问测试：http://k8s-node1:30936              http://10.200.202.40:30936/

13.部署 Dashboard：

Dashboard是官方提供的一个UI，可用于基本管理K8s资源。
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml
mv recommended.yaml kubernetes-dashboard.yaml 
默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：

...
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001
  selector:
    k8s-app: kubernetes-dashboard
  type: NodePort
...

kubectl apply -f recommended.yaml
kubectl get pods -n kubernetes-dashboard

访问地址：https://NodeIP:30001

14.创建service account并绑定默认cluster-admin管理员集群角色：

# 创建用户
$ kubectl create serviceaccount dashboard-admin -n kube-system
# 用户授权
$ kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
# 获取用户Token
$ kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
# 使用输出的token登录Dashboard。