kubernetes 部署
kubernetes 部署(Centos 7)
一个或者多个兼容 deb 或者 rpm 软件包的操作系统,比如 Ubuntu 或者 CentOS
每台机器 2 GB 以上的内存,内存不足时应用会受限制
主节点上 2 CPU 以上
集群里所有的机器有完全的网络连接,公有网络或者私有网络都可以
- 关闭防火墙
sudo systemctl stop firewalld.service #停止firewall sudo systemctl disable firewalld.service #禁止firewall开机启动 sudo firewall-cmd --state #查看防火墙状态
- 开启数据包转发
vim /etc/sysctl.conf net.ipv4.ip_forward = 1
生效命令sysctl -p
- 配置iptables参数,使得流经网桥的流量也经过iptables/netfilter防火墙
cat <<EOF > /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system
- swap关闭
swapoff -a
修改 /etc/fstab 文件,注释掉 SWAP 的自动挂载,使用free -m
确认swap已经关闭。
- 主机名配置
修改主机名hostnamectl set-hostname <主机名> --static
每台主机/etc/hosts指明
1、docker ce安装
https://docs.docker.com/install/linux/docker-ce/centos/
https://kubernetes.io/docs/setup/cri/
# Install Docker CE ## Set up the repository ### Install required packages. yum install yum-utils device-mapper-persistent-data lvm2 ### Add Docker repository. yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo ## Install Docker CE. yum install -y --setopt=obsoletes=0 docker-ce-18.09.5-3.el7 ## Create /etc/docker directory. mkdir /etc/docker # Setup daemon. cat > /etc/docker/daemon.json <<EOF { "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_kernel_check=true" ] } EOF systemctl enable docker systemctl restart docker
查看可以安装包
yum list docker-ce --showduplicates
2、kubelet kubeadm kubectl安装(v1.14.1)
https://kubernetes.io/zh/docs/setup/independent/install-kubeadm/
- 仓库镜像源选择阿里
cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg exclude=kube* EOF
- 将 SELinux 设置为 permissive 模式(将其禁用)
setenforce 0 sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
- yum安装
yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
或者指定版本
yum install -y kubelet-1.14.1 kubeadm-1.14.1 kubectl-1.14.1 --disableexcludes=kubernetes
- 启动kubelet
systemctl enable kubelet && systemctl start kubelet
从运行结果可以看到kubelet处于定期重启的状态,只有当在master节点执行kubeadm init 或者在worker节点执行kubeadm join时候。kubelet所需要的配置才能被满足。这个时候kubelet才会正常运行起来。
3、k8s主要组件安装
kubeadm config images list --kubernetes-version=v1.14.1
镜像源路径 gcr.io/google_containers
由于国内的网络原因,在搭建环境时,经常无法pull到这些镜像。可以利用Docker Hub搭建自己的镜像仓库。
1、通过GitHub创建一个仓库kubernetes
- 在centos主机上执行
cd kubernetes git init git remote add origin git@github.com:shhnwangjian/kubernetes.git mkdir kube-apiserver cd kube-apiserver
- vim Dockerfile
FROM gcr.io/google_containers/kube-apiserver:v1.14.1 MAINTAINER shhnwangjian
其它目录和Dockerfile也需要创建
git add . git commit -m "kubernetes Dockerfile v1.14.1" git push origin master
填写的内容是kube-apiserver-amd64
点击创建后,进入这个Repositories
输入对应信息点击 SAVE
点击Trigger进行构建,构建成功后,
通过执行 docker login 命令交互式的输入用户名及密码来完成在命令行界面登录 Docker Hub
通过命令docker pull shhnwangjian/kube-apiserver:v1.14.1 下载到本地镜像源
参考文章:https://www.jianshu.com/p/11a804080230
下载列表
docker pull shhnwangjian/kube-apiserver:v1.14.1 docker pull shhnwangjian/kube-controller-manager:v1.14.1 docker pull shhnwangjian/kube-scheduler:v1.14.1 docker pull shhnwangjian/kube-proxy:v1.14.1 docker pull shhnwangjian/etcd:3.3.10 docker pull shhnwangjian/pause:3.1 docker pull shhnwangjian/coredns:1.3.1
重新打标签
docker tag shhnwangjian/kube-apiserver:v1.14.1 k8s.gcr.io/kube-apiserver:v1.14.1 docker tag shhnwangjian/kube-controller-manager:v1.14.1 k8s.gcr.io/kube-controller-manager:v1.14.1 docker tag shhnwangjian/kube-scheduler:v1.14.1 k8s.gcr.io/kube-scheduler:v1.14.1 docker tag shhnwangjian/kube-proxy:v1.14.1 k8s.gcr.io/kube-proxy:v1.14.1 docker tag shhnwangjian/etcd:3.3.10 k8s.gcr.io/etcd:3.3.10 docker tag shhnwangjian/pause:3.1 k8s.gcr.io/pause:3.1 docker tag shhnwangjian/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
master节点部署
kubeadm init引导和初始化master
备注:https://k8smeetup.github.io/docs/admin/kubeadm/ (kubeadm 设置工具参考指南)
kubeadm init --apiserver-advertise-address=192.168.31.153 --pod-network-cidr=10.244.0.0/20 --kubernetes-version=v1.14.1
提示需要关闭swap
vim /etc/fstab
执行重启命令reboot now,再次执行上面的init命令
kubeadm join 192.168.31.153:6443 --token zbp38a.gv1kdti4ycnjp2j4 \ --discovery-token-ca-cert-hash sha256:0f447fa079d9db4242f2d3cb1edbe118e67b0935a8ba8dfd7501b8626d4b31be
记下其中的token,加入node节点时会用到。
初始化如果遇到问题,可以使用下面的命令进行清理再重新初始化:sudo kubeadm reset
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
查看一下集群状态,确认个组件都处于healthy状态
kubectl get cs
安装pod network(flannel)
mkdir -p ~/k8s/ cd ~/k8s wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
执行 kubectl apply -f kube-flannel.yml
使用kubectl get pod --all-namespaces -o wide
确保所有的Pod都处于Running状态
node节点部署
注意:默认token的有效期为24小时,当过期之后,该token就不可用了。此时可以重新生成token:
kubeadm token generate kubeadm token create <generated-token> --print-join-command --ttl=0
在每台node节点执行
如果遇到问题,可以使用命令kubeadm reset进行清理再重新初始化
在master节点执行命令成功如下图
- 配置node节点也可以使用kubectl
将master节点的admin.conf同步到node节点
scp /etc/kubernetes/admin.conf root@192.168.31.144:/etc/kubernetes
在node节点执行
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
此时可以在node节点执行kubectl命令
参考文章:
https://blog.frognew.com/2019/04/kubeadm-install-kubernetes-1.14.html