K8S安装记录
https://kubernetes.io/zh-cn/docs/setup/production-environment/container-runtimes/
在master和worker节点上安装containerd、kubelet、kubeadm、kubectl
lsmod | grep br_netfilter lsmod | grep overlay # 以上两个命令应该有输出，否则需要做如下设置： # cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf # overlay # br_netfilter # EOF # sudo modprobe overlay # sudo modprobe br_netfilter sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward # 以上命令输出三个值都是1，否则做如下设置 # cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf # net.bridge.bridge-nf-call-iptables = 1 # net.bridge.bridge-nf-call-ip6tables = 1 # net.ipv4.ip_forward = 1 # EOF # sudo sysctl --system
# 安装containerd并且使用systemd yum install -y containerd containerd config default > /etc/containerd/config.toml sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml sed -iE 's/sandbox_image.*/sandbox_image = "registry.k8s.io\/pause:3.9"/g' /etc/containerd/config.toml systemctl daemon-reload systemctl enable containerd systemctl restart containerd
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
#安装kubelet,kubeadm,kubectl
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\$basearch
enabled=1
gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl
EOF
# 将 SELinux 设置为 permissive 模式（相当于将其禁用）
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
sudo yum install -y kubelet-1.27.3 kubeadm-1.27.3 kubectl-1.27.3 --disableexcludes=kubernetes
sudo systemctl enable --now kubelet
在master节点里使用kubeadm创建集群：
https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
echo "export POD_SUBNET=10.100.0.1/16">>/etc/profile source /etc/profile kubeadm config images pull --kubernetes-version=v1.27.3
# 执行完以上命令之后，使用crictl images可以看到下载的镜像
kubeadm init --kubernetes-version=v1.27.3 --pod-network-cidr=$POD_SUBNET --control-plane-endpoint=${dns/master_ip} # 配置 kubectl rm -rf /root/.kube/ mkdir /root/.kube/ cp -i /etc/kubernetes/admin.conf /root/.kube/config echo "export KUBECONFIG=/etc/kubernetes/admin.conf">>/etc/profile source /etc/profile # 允许master节点运行pod：kubectl taint nodes --all node-role.kubernetes.io/control-plane- # kubeadm init完了之后，还需要安装一个CNI
# https://kubernetes.io/docs/concepts/cluster-administration/networking/#how-to-implement-the-kubernetes-networking-model
# https://github.com/containernetworking/cni
# https://github.com/projectcalico/calico
# https://docs.tigera.io/calico/latest/getting-started/kubernetes/quickstart
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/tigera-operator.yaml wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/custom-resources.yaml sed -i "s#192.168.0.0/16#${POD_SUBNET}#" custom-resources.yaml kubectl apply -f custom-resources.yaml # 等待一段时间口即可看到所有pods都处于running状态：
在master节点里创建完成之后，就可以让worker节点加入到master里，在master里执行：kubeadm token create --print-join-command 输出的内容在worker节点里运行，输出如下：
在master节点里运行kubectl get nodes即可看到当前的所有节点
安装图形化管理工具
官方推荐的dashboard：
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml
kubectl proxy --address='0.0.0.0' --port=8080 --accept-hosts='.*'
安全性限制的很严格，只支持localhost或者是https登录，这种情况需要将master节点挂到一个域名后面并且添加CA证书
然后访问：https://your_domain/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/#/login
另一个比较好用的：https://github.com/eip-work/kuboard-press
sudo docker run -d \
--restart=unless-stopped \
--name=kuboard \
-p 8080:80/tcp \
-p 10081:10081/tcp \
-e KUBOARD_ENDPOINT="http://内网IP:8080" \
-e KUBOARD_AGENT_SERVER_TCP_PORT="10081" \
-v /root/kuboard-data:/data \
eipwork/kuboard:v3
创建完成后在浏览器端用masterip:8080即可打开，按照引导步骤将集群导入到UI里面之后就可以看到dashboard
从界面也可以看到所有的namespace：
在k8s里面部署一个服务
可以在界面手动创建一个namespace：test，然后在test里面创建deployment，测试将我们stage里用的airflow的worker部署到k8s里面，需要配置工作容器的信息，挂在efs到容器。
由于我们使用aws里的ecr，拉取镜像的时候需要登录，所以需要在这个新建的namespace里先创建拉取镜像需要的docker-registry类型的secret，可以使用kubectl创建一个secret，名字是ecrsecret：kubectl create secret docker-registry ecrsecret -n test --docker-server=https://${your_accountId}.dkr.ecr.${your_region}.amazonaws.com --docker-username=AWS --docker-password=$(aws ecr get-login --no-include-email --region ${your_region} --registry-ids ${your_account_id}|awk '{print $6}')，输出：secret/ecrsecret created，表示创建成功，创建deployment的时候就可以使用这个secret
全部设置好之后点击保存即可创建deployment，查看pod和airflow的flower，发现成功添加到airflow集群，并且已经开始运行task：
使用Velero备份k8s集群数据到aws的S3
wget https://github.com/vmware-tanzu/velero/releases/download/v1.10.3/velero-v1.10.3-linux-amd64.tar.gz tar zxvf velero-v1.10.3-linux-amd64.tar.gz cd velero-v1.10.3-linux-amd64/ cp velero /usr/bin/velero # 执行完后要等待十几秒才能看到可用备份 velero install \ --provider aws \ --image velero/velero:v1.10.3 \ --plugins velero/velero-plugin-for-aws:v1.6.0 \ --bucket ${your_store_bucket_name} \ --prefix ${prefix} \ --use-volume-snapshots=false \ --backup-location-config region=us-east-1 \ --no-secret #备份 velero backup create backup$(date "+%Y%m%d%H%M%S") aws s3 ls s3://${your_store_bucket_name}/${prefix} #查看可用的备份 velero backup get #如果更改了备份文件的地址，可以使用如下命令添加location velero backup-location create location2 \ --provider aws \ --bucket ${your_store_bucket_name} \ --prefix ${backups_prefix} \ --config region=${your_region} velero backup-location get # 然后再次查看可用备份 velero backup get #恢复 velero restore create --from-backup backupname
