kubeadm部署kubernetes集群
部署环境
本文中未加明显说明，将在所有机器上操作
系统环境: CetntOS 7
Docker版本：ce-v18.09.5
kubeneter版本: v1.14.1
| IP地址 | 主机名 | 担任角色 |
|---|---|---|
| 192.168.1.21 | k8s-master | master |
| 192.168.1.22 | k8s-node01 | node |
| 192.168.1.23 | k8s-node02 | node |
安装前准备
1、关闭所有机器的防火墙
$ systemctl stop firewalld
$ systemctl disable firewalld
$ iptables -F
2、关闭所有服务器selinux
$ setenforce 0
$ sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
3、关闭所有服务器的交换分区(swap)
$ swapoff -a
$ sed -ri 's/.*swap.*/#&/' /etc/fstab
4、添加主机hosts记录
$ vim /etc/hosts
192.168.1.21 k8s-master
192.168.1.22 k8s-node01
192.168.1.23 k8s-node02
5、其他
$ echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables
部署Docker环境
所有节点都安装
1、卸载旧的docker环境
$ yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine
2、安装依赖
$ yum install -y yum-utils \
device-mapper-persistent-data \
lvm2
3、添加docker yum源
$ yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
4、安装docker ce
$ yum install docker-ce docker-ce-cli containerd.io
5、添加系统服务并启动
$ systemctl enable docker
$ systemctl start docker
6、添加镜像加速器
使用Daocloud提供的镜像加速服务
$ curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io
$ systemctl restart docker
7、验证docker
$ docker run --rm hello-world
部署k8s环境
1、安装组件(kubelet、kubeadm、kubectl)
所有节点都需要安装
kubelet运行在Cluster所有节点上，负责启动Pod和容器。
kubeadm用于初始化Cluster。
kubect I是Kubernetes命令行工具。通过kubectI可以部署和管理
应用，查看各种资源，创建、删除和更新各种组件。
a. 添加安装组件yum源
如果机器可以FQ，则可以直接使用一下命令安装
$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF
推荐安装（使用阿里镜像安装）
$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
b. 安装
$ yum install -y kubelet kubeadm kubectl
2、下载k8s所需要的镜像
此处镜像使用阿里云构建的国内镜像源，由于k8s版本过高docker官网提供的仓库缺少部分指定版本的镜像
使用阿里云构建海外docker镜像参考:
https://mp.weixin.qq.com/s/Isn50H3faLDuZd3BdyxBNw
镜像映射文件
$ vim images
k8s.gcr.io/kube-apiserver:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-apiserver:v1.14.1
k8s.gcr.io/kube-controller-manager:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-controller-manager:v1.14.1
k8s.gcr.io/kube-scheduler:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-scheduler:v1.14.1
k8s.gcr.io/kube-proxy:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-proxy:v1.14.1
k8s.gcr.io/pause:3.1=registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
k8s.gcr.io/etcd:3.3.10=registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1=registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.3.1
quay.io/coreos/flannel:v0.11.0-amd64=registry.cn-beijing.aliyuncs.com/musker/flannel:v0.11.0-amd64
镜像下载脚本
$ vim load_images.sh
#/bin/bash
file="images"
if [ -f "$file" ]
then
echo "$file found."
while IFS='=' read -r key value
do
#echo "${key}=${value}"
docker pull ${value}
docker tag ${value} ${key}
docker rmi ${value}
done < "$file"
else
echo "$file not found."
fi
下载镜像
$ chmod +x load_images.sh
$ ./load_images.sh
3、初始化master(master节点执行)
$ kubeadm init --apiserver-advertise-address=192.168.1.21 --pod-network-cidr=10.224.0.0/16
参数解释：
--apiserver-advertise-address
指定master的那个interface与cluster的其他节点通信，如果master有多个interface，建议明确指定，如果不指定，kubeadm回自动选择有默认网关的interface
--pod-network-cidr
指定pod网络的范围。kubernetes支持多种网络方案，而且不网络方案对此参数有自己的要求，这里设置10.224.0.0/16是因为本文将使用flannel网络方案，必须设置成这个CIDR。
kubeadm初始化过程:
(1) kubeadm执行初始化前的检查
(2) 生成token和证书。
(3) 生成Kube Config文件，kubelet需要用这个文件与Master通信。
(4) 安装Master组件，会从Google的 Registry下载组件的 Docker镜像。这一步可能会花一些时间，主要取决于网络质量(本文中提前下载好了镜像，所以此步骤很快)。
(5) 安装附加组件kube-proxy和kube-dns。
(6) Kubernetes Master初始化成功。
(7) 提示如何配置kubectl。
(8) 提示如何安装Pod 网络。
(9) 提示如何注册其他节点到Cluster。
4、配置kubectl(master节点执行)
这里创建一个
k8s的普通用户来执行kubectl命令(root会有一些问题)
$ useradd k8s
$ passwd k8s
$ mkdir -p /home/k8s/.kube
$ cp -i /etc/kubernetes/admin.conf /home/k8s/.kube/config
$ chown k8s:k8s /home/k8s/.kube/config
添加命令行提示
$ yum -y install bash-completion
$ echo "source < (kubectl completion bash)" >> ~/.bashrc
现在可以使用tab键快速补全命令
5、安装pod网络(master节点执行)
支持kubernetes cluster 之间pod网络通信，kubernetes支持多种网络，本文使用flannel网络。
$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
6、将node节点添加到kubernetes集群(node节点执行)
$ kubeadm join --token 172awr.uqxymof1vveznmtr 192.168.1.21:6443
如果出现以下错误，说明需要进行ca校验可以使用--discovery-token-unsafe-skip-ca-verification参数忽略校验
discovery.bootstrapToken: Invalid value: "": using token-based discovery without caCertHashes can be unsafe. Set unsafeSkipCAVerification to continue
这里指定的--token来自前面kubeadm init执行后输出的信息。如果没有记录可以通过kubeadm token list进行查看。最后一个参数是指定master节点的ip和k8s api(https)端口
$ kubeadm token list
TOKEN TTL EXPIRES USAGES DESCRIPTION EXTRA GROUPS
172awr.uqxymof1vveznmtr 8h 2019-05-07T18:22:38+08:00 authentication,signing The default bootstrap token generated by 'kubeadm init'. system:bootstrappers:kubeadm:default-node-token
7、验证集群状态(master节点执行)
查看各个节点的状态
$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master Ready master 15h v1.14.1
k8s-node01 NotReady <none> 22m v1.14.1
k8s-node02 NotReady <none> 22m v1.14.1
如果发现节点状态为NotReady，这是因为每个节点都需要启动若干个组件，这些组件都是在Pod中运行，需要首先从google下载镜像。可以通过以下命令查看Pod状态
$ kubectl get pod --all-namespaces
Pending、Container Creating、Image Pullbackoff 都表明 Pod 没有就绪，Runningオ是就绪状态。我们可以通过 kubectl describe pod <Pod Name>查看 Pod 的具体情况
$ kubectl describe pod kube-flannel-ds-amd64-7kjsk --namespace=kube-system
等待一段时间，Image 成功下载后，所有 Pod 都会处于 Running 状态。如果镜像下载失败，我们需要手动的去docker pull镜像(参考本节第二部分)。
再通过kubectl get nodes命令查看节点状态，所有节点均处于Ready状态表示kubernetes cluster集群创建成功。
$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master Ready master 15h v1.14.1
k8s-node01 Ready <none> 33m v1.14.1
k8s-node02 Ready <none> 33m v1.14.1
8、创建pod验证集群可用性
a. 创建nginx pod容器
$ kubectl run nginx-deployment --image=nginx:1.16.0 --port=80 --replicas=3
b. 查看pod状态
$ kubectl get pods
NAME READY STATUS RESTARTS AGE
nginx-deployment-6dcd798fd8-77s9l 1/1 Running 0 99s
nginx-deployment-6dcd798fd8-g5v2c 1/1 Running 0 99s
nginx-deployment-6dcd798fd8-qc64z 1/1 Running 0 99s
c.暴露nginx外部访问端口
$ kubectl expose deployment/nginx-deployment --type="NodePort" --port 80
$ kubectl get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
nginx-deployment NodePort 10.105.86.75 <none> 80:30939/TCP 9s
d. 访问验证
$ curl -I http://127.0.0.1:30939
