在CentOS7上部署Kubernetes集群
简介
Kubernetes(k8s)是Google开源的大规模容器集群管理系统, 本文将基于CentOS7自带的Kubernetes组件、分布式键值存储系统etcd以及Flannel实现的overlay网络来搭建一个简单的k8s集群。
第一步
首先要进行集群基础环境的准备，在美团云上创建三台内网机器，其中一台名为tkmaster主机作为k8s集群的Master节点，剩余两台tkminion01~02则是集群的Minion节点。 要求这三台机器均可访问外网，可以创建一个虚拟路由器，通过虚拟路由器访问外网；也可以为每台机器绑定一个浮动IP，但是为了避免集群暴露到外网造成的安全问题，需要对浮动IP设定好防火墙规则。
第二步
Master节点软件环境准备：禁用CentOS7自带防火墙，安装kubernetes、etcd、ntpd等软件。
sudo systemctl stop firewalld && sudo systemctl disable firewalld
sudo yum install -y kubernetes etcd ntp.x86_64
Minion节点软件环境准备：同样禁用CentOS7自带防火墙，安装kubernetes、flannel、ntpd等软件。
sudo systemctl stop firewalld && sudo systemctl disable firewalld
sudo yum install -y ntp.x86_64 flannel kubernetes
第三步
修改Master节点上etcd的配置/etc/etcd/etcd.conf（本文并没有搭建etcd集群，如果需要参见官方搭建etcd集群的指导教程）。
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
修改Master节点kubernetes的全局配置文件/etc/kubernetes/config。
KUBE_LOG_LEVEL="--v=2"
修改Master节点kubernetes apiserver的配置文件/etc/kubernetes/apiserver。
KUBE_API_ADDRESS="--address=0.0.0.0"
KUBE_API_PORT="--port=8080"
KUBELET_PORT="--kubelet_port=10250"
第四步
启动Master节点的相关服务：ntpd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager，并将这些服务设为开机自动启动。
for SRV in ntpd etcd kube-apiserver kube-scheduler kube-controller-manager;
do
sudo systemctl start $SRV
sudo systemctl enable $SRV
sudo systemctl status $SRV
done
如果每一个服务都启动成功，那么sudo systemctl status $SRV显示的信息则包含Active: active (running)。
第五步
在Master节点修改etcd的配置，设定Minion中flannel所使用的子网范围为172.17.1.0~172.17.254.0（每一个Minion节点都有一个独立的flannel子网）。
etcdctl mk /coreos.com/network/config '{"Network":"172.17.0.0/16", "SubnetMin": "172.17.1.0", "SubnetMax": "172.17.254.0"}'
第六步
修改Minion节点上flannel的配置/etc/sysconfig/flanneld，设定etcd的相关信息，其中172.26.10.110为tkmaster的IP地址。
FLANNEL_ETCD="http://172.26.10.110:2379"
修改Minion节点kubernetes的全局配置文件/etc/kubernetes/config。
KUBE_LOG_LEVEL="--v=2"
KUBE_MASTER="--master=http://172.26.10.110:8080"
修改Minion节点上kubernetes kubelet的配置/etc/kubernetes/kubelet。
KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_PORT="--port=10250"
KUBELET_API_SERVER="--api_servers=http://172.26.10.110:8080"
KUBELET_HOSTNAME=""
第七步
在Minion节点上启动相关服务：ntpd、flanneld、docker、kube-proxy、kubelet，并将这些服务设为开机自启动。
for SRV in ntpd flanneld docker kube-proxy kubelet;
do
sudo systemctl start $SRV
sudo systemctl enable $SRV
sudo systemctl status $SRV
done
类似Master节点，如果每一个服务都启动成功，那么sudo systemctl status $SRV显示的信息则包含Active: active (running)。
第八步
在Master节点查看k8s集群状态。
[fcbusquest@tkmaster ~]$ kubectl get nodes -o wide
NAME LABELS STATUS
tkminion01 kubernetes.io/hostname=tkminion01 Ready
tkminion02 kubernetes.io/hostname=tkminion02 Ready
在Master节点查看flannel子网分配情况。
[fcbusquest@tkmaster ~]$ etcdctl ls /coreos.com/network/subnets
/coreos.com/network/subnets/172.17.53.0-24
/coreos.com/network/subnets/172.17.72.0-24
在Minion节点通过ip a查看flannel和docker网桥的网络配置信息，确认是否与etcd中/coreos.com/network/subnets的信息一致。
第九步
从github下载kubernetes源码，并切换到kubernetes/examples/guestbook参考官方文档搭建一个完整的应用来验证集群的基本功能。
常见问题
如果出现异常情况可以通过sudo journalctl -f -u unitname来查看kubelet、kube-proxy、flannel、docker等服务的日志。
-
Minion无法从gcr.io中下载pause镜像，导致Pod无法创建。
由于不可抗力的因素, 无法从gcr.io下载默认的pause镜像；所以只能从dockerhub来下载pause镜像并打tag来解决该问题。
sudo docker pull kubernetes/pause
sudo docker tag kubernetes/pause gcr.io/google_containers/pause:0.8.0
sudo docker tag kubernetes/pause gcr.io/google_containers/pause
