手牵手安装Kubernetes
kubernetes-1.23.3部署
准备安装
你可以试下 这个项目，用脚本快速搭建 K8S 裸机集群
推荐学习这个项目, 可以在更多的环境中一条命令安装 k8s/k3s https://github.com/kubesphere/kubekey/blob/master/README_zh-CN.md
当然，为了更好的理解，你应该先手动搭建一次
# 每个节点分别设置对应主机名, 可选操作, 操作完之后需要重启机器
hostnamectl set-hostname k8s-master1
hostnamectl set-hostname node1
hostnamectl set-hostname node2
# 所有节点都修改 hosts
vim /etc/hosts
172.16.32.2 node1
172.16.32.6 node2
172.16.0.4 master
# 所有节点操作
# 关闭 防火墙
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
# 关闭 SeLinux
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
# 关闭 swap
swapoff -a
yes | cp /etc/fstab /etc/fstab_bak
cat /etc/fstab_bak |grep -v swap > /etc/fstab
# 安装 nfs-utils 可选
# 必须先安装 nfs-utils 才能挂载 nfs 网络存储
yum install -y nfs-utils
yum install -y wget
# 添加 k8s 安装源
cat <<EOF > kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
mv kubernetes.repo /etc/yum.repos.d/
# 添加 Docker 安装源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 优化内核参数
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sudo sysctl --system
开始安装
可以参考这个 传送门地址学习安装docker-ce和docker-compose等东西, 以及修改镜像存储位置等
# 准备完上述操作, 安装docker
yum install -y yum-utils device-mapper-persistent-data lvm2 docker-ce
# 安装k8s组件
yum install -y kubelet kubeadm kubectl
crictl config runtime-endpoint /run/containerd/containerd.sock
Docker配置优化
vim /etc/docker/daemon.json
{
"registry-mirrors": ["https://registry.cn-hangzhou.aliyuncs.com"],
"data-root": "/home/docker_images",
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
# data-root是放置docker镜像的位置, 这个目录最好大一点, 否则之后目录迁移会很麻烦, 默认的位置是/var/lib/docker
启动Docker和kublet, 并设置开机自启动
systemctl daemon-reload
systemctl enable kubelet && systemctl start kubelet
systemctl enable docker && systemctl restart docker
Kubadm初始化
kubeadm init --apiserver-advertise-address=192.168.1.94 --kubernetes-version v1.23.1 --service-cidr=10.95.0.0/16 --pod-network-cidr=172.15.0.0/16
# 也可以使用kubeadm config print init-defaults > kubeadm-init.yaml 生成初始化文件，修改文件里对应配置，使用kubeadm init --config=kubeadm-init.yaml初始化。
# 初始化时可以指定仓库--image-repository registry.cn-hangzhou.aliyuncs.com/google_containers，如果不指定镜像仓库，可以提前下载好镜像后重新tag成官方镜像名(太麻烦没--image方便)
# 失败了可以用 kubeadm reset 重置, 然后重新kubeadm init
kubeadm reset
# 记得把 kubeadm join xxx 保存起来
# 忘记了重新获取：kubeadm token create --print-join-command
# 复制授权文件，以便 kubectl 可以有权限访问集群
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
安装网络插件，否则 node 是 NotReady 状态（主节点跑）
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 访问https://raw.githubusercontent.com出现443, 建议使用电脑打开网址, 下载下yaml文件再上传到服务器, 也可以使用wget获取, 使用kubectl apply -f 你的名字.yml
检查集群状态
[root@master ~]# kubectl get cs
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
etcd-0 Healthy {"health":"true","reason":""}
controller-manager Healthy ok
[root@master ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 10h v1.23.1
node1 Ready <none> 10h v1.23.1
node2 Ready <none> 10h v1.23.1
K8s集群部署中常见问题
从k8s集群中移除Node
k8s中节点node的ROLES值是＜none＞
k8s集群部分常见问题处理
配置journald
mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间 10G
SystemMaxUse=10G
# 单日志文件最大 200M
SystemMaxFileSize=200M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
systemctl restart systemd-journald
TIPS
系统内核升级
centos7.9默认的内核是3.10.x, 改版本内核存在问题, 建议升级内核至4.5以上, 升级Linux内核参考
安装kubectl自动补全工具
yum -y install bash-completion
source /usr/share/bash-completion/completions/docker
source /usr/share/bash-completion/bash_completion
