Windows节点加入K8S集群(K8S搭建Linux和Window混合集群)
转载于： https://www.cnblogs.com/Fengyinyong/p/14701996.html
参考文章
1.官网：https://kubernetes.io/zh/docs/tasks/administer-cluster/kubeadm/adding-windows-nodes/
2.其他参考：https://blog.csdn.net/MrRight17/article/details/111931094
3.补丁下载：https://www.tenforums.com/windows-10-news/128745-cumulative-update-kb4489899-windows-10-v1809-build-17763-379-mar-12-a.html?
说明：K8S多数情况用于linux系统的集群，目前很少人实践linux 和 windows 的混合集群。linux 和 windows 的K8S混合集群，是以linux 为Master节点，Windows 为 Node节点的。本示例linux 采用centos7.6，windows 采用 windows server 2019（均为虚拟机）
一、前提准备
1.熟悉linux 的基本使用，熟悉linux 下的K8S集群
2.CentOS7.6：安装好docker并配置镜像加速，K8S，并且授予K8S集群的master 角色（主机要求 cpu 内核2个以上，内存2G以上）。
3.Windows server 2019：cpu 内核2个以上，内存2G以上。并且安装好docke,配置镜像加速。
4.Windows server 2019 要安装最新的补丁，即更新服务器。
内网环境下，无法在线更新时，至少要安装 KB4489899 补丁（补丁下载见底部链接）。
5.时间同步：centos的master 主机和 windows server 2019的node 主机时间必须同步，可设置同步时间服务器（方法详见底部连接）
二、Windows加入集群
(一) 、Master 配置 (在centos 上执行)
1、为 Flannel 准备 Kubernetes 的控制面
在我们的集群中，建议对 Kubernetes 的控制面进行少许准备处理。 建议在使用 Flannel 时为 iptables 链启用桥接方式的 IPv4 流处理， 必须在所有 Linux 节点上执行如下命令：
sudo sysctl net.bridge.bridge-nf-call-iptables=1
2.下载flannel 和配置 linux Flannel
下载最新的 Flannel 清单文件：
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
注意：raw.githubusercontent.com 在国内大概率会被GFW 墙掉，可以手动执行命令 vi /etc/hosts 配置hosts ：199.232.28.133 raw.githubusercontent.com
修改 Flannel 清单中的 net-conf.json 部分，将 VNI 设置为 4096，并将 Port 设置为 4789。 结果看起来像下面这样：
net-conf.json: | { "Network": "10.244.0.0/16", "Backend": { "Type": "vxlan", "VNI": 4096, "Port": 4789 } }
说明： 在 Linux 节点上 VNI 必须设置为 4096，端口必须设置为 4789，这样才能令其与 Windows 上的 Flannel 互操作。关于这些字段的详细说明，请参见 VXLAN 文档。
3. 应用Linux 的 flannel 配置并验证
kubectl apply -f kube-flannel.yml
应用flannel 配置后，docker会从官网或配置的加速器中（最好是配置docker 加速器）下载flannel相关的镜像且运行相关的pod。这个过程需要时间，几分钟后，执行 kubectl get pods -n kube-system 查看组件运行情况
NAMESPACE NAME READY STATUS RESTARTS AGE ... kube-system kube-flannel-ds-54954 1/1 Running 0 1m
4.添加 Windows Flannel 和 kube-proxy DaemonSet
现在你可以添加 Windows 兼容版本的 Flannel 和 kube-proxy。为了确保你能获得兼容 版本的 kube-proxy，你需要替换镜像中的标签。 下面的例子中展示的是针对 Kubernetes v1.21.0 版本的用法， 不过你应该根据你自己的集群部署调整其中的版本号。
curl -L https://github.com/kubernetes-sigs/sig-windows-tools/releases/latest/download/kube-proxy.yml | sed 's/VERSION/v1.20.0/g' | kubectl apply -f - #也可以使用 wget 命令将kube-proxy.yaml命令先下载下来，再执行sed 和 kube apply 命令。
4.2.flannel：
kubectl apply -f https://github.com/kubernetes-sigs/sig-windows-tools/releases/latest/download/flannel-overlay.yml #建议先用 wget 命令将flannel-overlay，再执行kubectl apply
(二)、配置windows server 2019
前提是在windows server 2019 中已经安装了docker 且配置了镜像加速。且具有管理员权限。window下docker安装参考： https://www.cnblogs.com/deny/p/14982678.html
1.安装windows 的wins，kubelet，kubeadm。
可以根据自己的需要选择对应的版本。
1.1 powershell 可执行文件PrepareNode.ps1下载：
curl.exe -LO https://github.com/kubernetes-sigs/sig-windows-tools/releases/latest/download/PrepareNode.ps1
1.2 执行命令，运行PrepareNode.ps1文件，下载并安装 wins，kubelet，kubeadm‘’
.\PrepareNode.ps1 -KubernetesVersion v1.20.0
注意：执行上面第一条命令下载PrepareNode.ps1文件，可能会非常慢；即使下载文件后，根据文件下载wins、kubelet、kubeadm 可能会非常卡顿。由于上述情况的存在，大概率导致安装不成功，建议采用手动安装，步骤如下：
第一步，PrepareNode.ps1 文件下载：
打开浏览器，输入网址 https://github.com/kubernetes-sigs/sig-windows-tools/releases/latest/download/PrepareNode.ps1下载文件，文件下载后，将DownloadFile 函数调用的代码全部用“#”注释
第二步、wins，kubelet，kubeadm 安装文件下载：根据下载的PrepareNode.ps1文件中的DownloadFile 函数，下载安装文件。
1.浏览器输入 https://dl.k8s.io/v1.20.0/kubernetes-node-windows-amd64.tar.gz，解压下载后的文件，从kubernetes\node\bin\ 中取出 kubeadm.exe 和 kubelet.exe（根据自己需要的版本下载）
2.浏览器输入 https://k8stestinfrabinaries.blob.core.windows.net/nssm-mirror/nssm-2.24.zip，下载zip 文件，并重命名为 nssm.zip。
3.浏览器输入 https://github.com/Microsoft/SDN/raw/master/Kubernetes/windows/hns.psm1 ，下载psm1文件
4.浏览器输入 https://github.com/rancher/wins/releases/download/v0.0.4/wins.exe，下载wins.exe 文件
第三步、安装windows下的kubernetes。
1.在c盘根目录创建文件夹k，并将第一步，第二步的文件 hns.psm1、kubeadm.exe、kubelet.exe、nssm.zip、wins.exe和PrepareNode.ps1 全部放进文件夹k中。
2.在目录k中，管理员权限 powershell 执行命令初始化windows 下的kubernetes：根据自己的版本来执行。
.\PrepareNode.ps1 -KubernetesVersion v1.20.0
如果执行失败，删除C盘根目录下etc、run、var、opt和k（这几个目录有就删掉）， 重新复制nssm-2.24.zip改为nssm.zip， 检查执行的错误并解决，再重新执行。如果是运行不成功，想要卸载，则参考后面的卸载步骤。
(三)、Windows 加入集群
1.master上执行命令查看加入集群的指令。
kubeadm token create --print-join-command
2.在windows 上，执行master上回显的指令。指令类似于：
kubeadm join 172.16.22.101:6443 --token lzxi5w.qizoch3pqcbc3ozc --discovery-token-ca-cert-hash sha256:02d821acf1b0595943cb046a44356b68a85feb74e920b635713afc1fb732183f
这时候，windows docker 会下载几个镜像，会比较慢，需要等待一段时间(内网环境下，需要将镜像手动导入)。
3.在master 上查看集群的状态：
kubectl get nodes -o wide
如果windows node 处于not ready 状况，可能是windows docker 还在下载相关的镜像，可通过 kubectl -n kube-system get pods -l app=flannel 查看flannel pod的运行情况。也可以通过 kubectl describe pod podname -n namespaces ，根据具体的pod和名称空间查看flannel的具体情况，以此来分析原因。
三、Windows K8S的卸载
windows 有时候不一定一次就能安装成功，这时候又已经安装了一些服务了，就需要K8S进行彻底的卸载。
1.1 master 节点删除该node。kubectl delete node nodename
1.2 windows 脱离节点。kubeadm reset
1.3 在计算机服务中，找到kubelet 服务和 Rancher wins，将其停止。
1.4 管理员权限 cmd 删除服务：
sc.exe delete kubelet
sc.exe delete rancher-wins
1.5 防火墙的入站规则中，删除kubelet配置。
1.6 重启docker服务
参考文章
1.官网：https://kubernetes.io/zh/docs/tasks/administer-cluster/kubeadm/adding-windows-nodes/
2.其他参考：https://blog.csdn.net/MrRight17/article/details/111931094
3.补丁下载：https://www.tenforums.com/windows-10-news/128745-cumulative-update-kb4489899-windows-10-v1809-build-17763-379-mar-12-a.html?
四、踩的坑
参考文章： https://blog.csdn.net/Mr_rsq/article/details/116803503 Windows 节点加入K8S集群-踩坑大全
1）下载的问题kubelet、kubeadm、wins下载失败
这几个包会经常下载失败，建议提前单独下载好，放置到C:\k\目录下，修改PrepareNode.ps1 powershell脚本，把下载的几条命令注释掉
<# DownloadFile $kubeletBinPath https://dl.k8s.io/$KubernetesVersion/bin/windows/amd64/kubelet.exe DownloadFile "$global:KubernetesPath\kubeadm.exe" https://dl.k8s.io/$KubernetesVersion/bin/windows/amd64/kubeadm.exe DownloadFile "$global:KubernetesPath\wins.exe" https://github.com/rancher/wins/releases/download/v0.0.4/wins.exe #>
（2）New-NetFirewallRule : Cannot create a file when that file already exists.
这个错是由于我们之前执行过PrepareNode.ps1 脚本成功之后，已经在防火墙入站规则中添加过规则条目了，出现这个报错可以忽略，如果担心的话就打开控制面板：Control Panel-->System and Security-->Windows Defender Firewall-->Advanced settings-->Inbound Rules 找到kubelet 规则，删除即可。
（3）windows镜像下载失败，如sigwindowstools/kube-proxy:v1.17.5-nanoserver
这个镜像在hub.docker.com中是有的，下载之前需要自己在此网站注册一个账号，然后手动pull
# docker login 默认就会登录hub.docker.com，后边无需再跟此地址 C:\Users\Administrator> docker login Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one. Username: rsqlh Password: Login Succeeded C:\Users\Administrator> docker pull sigwindowstools/kube-proxy:v1.17.5-nanoserver
4）flannel报错：rpc error: code = Internal desc = could not create IP forward entry: The object already exists.
还有如下报错：
Failed to find any valid interface to use: failed to get default interface: json: cannot unmarshal array into Go value of type struct { IfIndex int "json:\"ifIndex\"" } Couldn't fetch network config: client: etcd cluster is unavailable or misconfigured; error #0: dial tcp 127.0.0.1:2379: i/o timeout ; error #1: dial tcp 127.0.0.1:4001: i/o timeout
如上这些报错都是由于flannel没有识别到windows的网卡所导致的，有可能有些机器的网卡名称特别古怪，形如vEthernet (NIC) 这些flannel在进行序列化的时候都会报错，解析不了这个网卡名字，所以就需要我们手动在flannel-overlay.yml文件中指定具体网卡名称。
# -iface 指定具体网卡名称 # -iface-regex 后边可以跟网卡通配符 wins cli process run --path /k/flannel/flanneld.exe --args "--kube-subnet-mgr --iface=NIC1 --kubeconfig-file /k/flannel/kubeconfig.yml" --envs "POD_NAME=$env:POD_NAME POD_NAMESPACE=$env:POD_NAMESPACE"
（5）重新初始化windows节点的时候kubelet跟rancher-wins服务如何删除干净
# 在PowerShell中执行sc delete并没有报错（没有任何提示），但是实际上服务并没有被删除。 # 这是因为在 PowerShell 中，sc 是 cmdlet Set-Content 的别名，应该这样使用（加上 .exe）： sc delete kubelet sc delete rancher-wins # 正确命令如下 sc.exe delete kubelet sc.exe delete rancher-wins
(6)
解决：手动启动kubelet下
