kubernetes 安装手册
kubernetes逻辑部署图
机器列表
|
模块
|
机器
|
配置
|
备注
|
域名
|
|---|---|---|---|---|
| master | 172.31.101.175 172.31.101.176 172.31.101.177 |
4G内存 4核CPU |
etcd、kube-apiserver、kube-scheduler、kube-controller-manager、flannel | |
| node |
172.31.101.172 |
8G内存 |
kubelet、kube-proxy、docker、flannel | |
| node |
172.31.101.115 |
32G内存 |
kubelet、kube-proxy、docker、flannel |
master节点可以不安装 docker的，但是需要安装flannel，否则一些转发请求不好使。
机器初始化
采用CentOS 7系统，线下的yum.repos.d的配置和线上不一样，导致安装的一些软件不是最新的。需要做如下操作：
独立的数据盘 /data 必须是ext4格式的，否则会有问题
- 同步172.31.101.166:/etc/yum.repos.d/* 到 本机 /etc/yum.repos.d/ 目录下
- 运行 echo 'overlay' > /etc/modules-load.d/overlay.conf 启用overlay的模块支持
- 运行 yum -y update 命令等待更新系统
- 运行 yum -y install flannel docker 安装docker 程序
- 运行 yum -y install lrzsz telnet strace bridge_utils 等工具方便后续定位问题
- 运行 yum -y install ceph-common 组件
- 运行 pip install docker-compose 组件
- 运行 systemctl enable docker 把docker放到开机自启动中
升级内核到最新4.x的版本，匹配ceph分布式存储的要求- 运行 reboot 命令，重启系统
升级centos7的内核到4.9
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.orgrpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpmyum -y install yum-plugin-fastestmirroryum -y --enablerepo=elrepo-kernel install kernel-mlgrub2-set-default 0 |
升级到4.x版本之后，和systemd/kubelet/docker的配合有问题，暂时先回退到3.x
docker设置
使用阿里镜像加速
cat /etc/docker/daemon.json{ "storage-driver": "overlay", "live-restore": true,} |
将设备目录等放到/data盘，避免撑爆根目录
# docker相关信息会存储在 /var/lib/docker 下mv /var/lib/docker /data/ln -sf /data/docker /var/lib/docker# pod相关信息会存储在 /var/lib/kubelet 下，如果没有这个目录，请先创建mv /var/lib/kubelet /data/ln -sf /data/kubelet /var/lib/kubelet |
配置允许使用http方式访问harbor仓库
修改 /etc/sysconfig/docker 文件
OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false'
INSECURE_REGISTRY='--insecure-registry reg.firstshare.cn'
配置后重新加载
- systemctl daemon-reload
- systemctl restart docker
安装kubernetes
关闭防火墙
由于master和node之间有频繁的网络操作，而且在内网使用，所以关闭防火墙，避免影响效率
- systemctl disable firewalld 去掉开机自启动
- systemctl stop firewalld 停止防火墙服务
- setenforce 0 关闭SElinux
安装etcd cluster
yum -y install etcd，目前版本是3.1.0.
配置参考文档： https://coreos.com/etcd/docs/3.1.4/op-guide/clustering.html
|
|
位置
|
备注
|
|---|---|---|
| 机器 | 172.31.101.175/176/177 | 至少3台构成一个cluster，通过 http://etcd02.firstshare.cn 访问 |
| 配置 | /etc/etcd/etcd.conf | |
| 数据 | /data/etcd-storage | 需要修改为 etcd 账户可读写 |
| 服务 | /usr/lib/systemd/system/etcd.service | |
| 账户 | etcd | 不用root账户启动 |
| 自启动 | systemctl enable etcd | 重启后自动运行etcd |
| 备份 | ||
| 监控 |
etcd配置
|
172.31.101.175
|
172.31.101.176
|
172.31.101.177
|
|---|---|---|
|
ETCD_NAME=vlnx101175 |
ETCD_NAME=vlnx101176 |
ETCD_NAME=vlnx101177 |
验证etcd是否正常
运行命令 etcdctl cluster-health 检查是否工作正常
安装master
准备好tls认证文件
从老的k8s集群172.31.101.119:/key1 目录拷贝证书等文件到所有的master节点的 /etc/kubernetes/ssl/ 目录下。配置说明如下
|
文件名
|
说明
|
|---|---|
| basic_auth.csv | basic auth user and password |
| ca.crt | Certificate Authority cert |
| known_tokens.csv |
tokens that entities (e.g. the kubelet) can use to talk to the apiserver |
| kubecfg.crt | Client certificate, public key |
| kubecfg.key | Client certificate, private key |
| server.cert | Server certificate, public key |
| server.key | Server certificate, private key |
通过yum安装
运行 yum -y install kubernetes-master 命令，目前安装的是1.5.2，我们先用它把service相关的东西都配置好，然后手动升级到1.6.0的最新版本。
可以通过rpm -ql kubernetes-master 来看都安装了哪些文件
修改master配置文件
到 /etc/kubernetes/ 目录下修改配置
|
文件名
|
内容
|
备注
|
|---|---|---|
|
文件名
|
内容
|
备注
|
| config |
KUBE_LOGTOSTDERR="--logtostderr=true" |
|
| apiserver |
KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0" |
支持ssl/bash/token等安全认证 |
| controller-manager |
KUBE_CONTROLLER_MANAGER_ARGS="--leader-elect=true \ |
必须设置认证方式，否则创建deploy的时候会报错： |
| scheduler |
KUBE_SCHEDULER_ARGS="--leader-elect=true \ |
配置开机自启动
systemctl daemon-reloadsystemctl enable kube-apiserversystemctl enable kube-schedulersystemctl enable kube-controller-manager |
启动master相关服务
systemctl start kube-apiserversystemctl start kube-schedulersystemctl start kube-controller-manager |
验证组件是否正常
运行命令 kubectl get componentstatuses 检查组件是否正常
apiserver 是无状态的，所以对于多个节点而言可以通过前端挡一层 nginx 、haproxy 等实现高可用和负载均衡，而对于 scheduler 和 controller-managere 而言，它们需要操作后端存储 etcd，是有状态的，为了减少同步操作后端存储带来的数据不一致性，3 个 节点 的scheduler 和 controller-manager 组件同时只有一个提供服务，具体的实现就是3个节点之间会进行一个 leader 的选举，只有 leader 节点才提供服务。因此，验证选举工作是否正常也是非常重要的。
查看当前 3 个 shcduler和controller-manager 哪个是 leader 节点：
kubectl get endpoints kube-controller-manager --namespace=kube-system -o yaml
升级新版本
下载路径：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG.md#downloads-for-v160
到上面路径下载 kubernetes-server-linux-amd64.tar.gz 文件，然后上传到服务器上，解压缩到 /opt/fs/kubernetes 目录，把 bin 目录的文件复制到 系统 /bin/ 目录下。
注意事项：
- 需要修改可执行权限：chmod a+x /bin/kube* , 这里比较坑，否则会报没有可执行权限的错误，无法启动。
- 删除 /var/run/kubernetes/apiserver* 下产生的文件，否则无法启动
然后重启master相关服务就可以了
安装node
运行 yum -y install kubernetes-node 命令，目前安装的是1.5.2，我们先用它把service相关的东西都配置好，然后手动升级到1.6.0的最新版本。
安装flanneld(注意：各个master节点上也需要安装并启动flannel，配置和下面的相同)
yum -y install flannelsystemctl daemon-reloadsystemctl enable flanneldsystemctl start flanneld |
修改flannel配置文件
修改 /etc/sysconfig/flanneld 配置文件，配置etcd的地址
FLANNEL_ETCD_ENDPOINTS="http://172.31.101.175:2379,http://172.31.101.176:2379,http://172.31.101.177:2379"
FLANNEL_ETCD_PREFIX="/atomic.io/network"
在master的机器上，修改etcd设置flannel的网段。 （SubnetLen指定分配给每个Node节点上Pod网络的掩码位数，从而在网络上间接决定了每个node上可运行的pod数，参考文档；https://github.com/coreos/flannel/blob/master/Documentation/configuration.md）
etcdctl set /atomic.io/network/config '{ "Network": "10.132.0.0/16","SubnetLen":24 }'
这样每个node节点上的flanneld启动的时候，会自动分配对应网段的地址并注册到etcd中。
修改docker配置去掉bip的设置
在启动flannel后，每个node节点的bip范围是自动分配的，不需要再docker的配置文件中指明。
修改docker的配置文件，指明cgroup用systemd
OPTIONS='--selinux-enabled=false --log-driver=journald --signature-verification=false'if [ -z "${DOCKER_CERT_PATH}" ]; then DOCKER_CERT_PATH=/etc/dockerfiINSECURE_REGISTRY='--insecure-registry reg.firstshare.cn' |
flannel网络机制
经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡，这是个P2P的虚拟网卡，flanneld服务监听在网卡的另外一端。
Flannel通过Etcd服务维护了一张节点间的路由表。
修改node配置文件
到 /etc/kubernetes/ 目录下修改配置
|
文件名
|
内容
|
备注
|
|---|---|---|
| config |
KUBE_LOGTOSTDERR="--logtostderr=true" |
不需要配置override-hostname，直接使用本机hostname就可以了 |
| kubelet |
KUBELET_ADDRESS="--address=0.0.0.0" KUBELET_API_SERVER="--kubeconfig=/var/lib/kubelet/kubeconfig" KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest" KUBELET_ARGS="--cgroup-driver=systemd --require-kubeconfig --cluster_dns=10.137.254.254 --cluster_domain=cluster.local" |
必须配置cgroup-driver=systemd，否则无法启动 注释KUBELET_HOSTNAME配置或者修改值为node的真实hostname， 否则master上 kubectl get node只会显示一个127.0.0.1 |
| proxy | KUBE_PROXY_ARGS="" | |
| kubeconfig |
apiVersion: v1 |
/var/lib/kubelet/kubeconfig |
配置启动依赖顺序
- docker要在flanneld之后启动
- kublet要在flanneld和docker之后启动
cat /usr/lib/systemd/system/docker.service
cat /usr/lib/systemd/system/kubelet.service
配置开机自启动
systemctl daemon-reloadsystemctl enable flanneldsystemctl enable dockersystemctl enable kube-proxysystemctl enable kubelet |
启动node相关服务
systemctl start flanneldsystemctl start dockersystemctl start kube-proxysystemctl start kubelet |
升级新版本
下载路径：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG.md#downloads-for-v160
到上面路径下载 kubernetes-server-linux-amd64.tar.gz 文件，然后上传到服务器上，解压缩到 /opt/fs/kubernetes 目录，把 bin 目录的文件复制到 系统 /bin/ 目录下。
注意事项：
- 需要修改可执行权限：chmod a+x /bin/kube* , 这里比较坑，否则会报没有可执行权限的错误，无法启动。
然后重启node相关服务就可以了
检查node是否正常
在 master 节点上，运行命令 kubectl get node ，如果显示node为 NotReady, 则把所有node节点都重启reboot一下才可能恢复正常。
参考资料
kubernetes 1.6.0 高可靠集群部署 https://www.addops.cn/post/kubernetes-deployment.html
kubernetes + etcd ssl 支持 https://www.addops.cn/post/tls-for-kubernetes-etcd.html
kubernetes 中的服务发现和负载均衡 https://www.addops.cn/post/kubernetes_service_discovery.html
用 Flannel 配置 Kubernetes 网络 http://dockone.io/article/1186
DockOne技术分享（十八）：一篇文章带你了解Flannel http://dockone.io/article/618
kubernetes 搭建过程中遇到的问题 http://www.cnblogs.com/ivictor/p/4998032.html
CentOS 7 禁用ipv6 http://blog.csdn.net/bluishglc/article/details/41390785
和我一起一步步搭建k8s集群 https://github.com/opsnull/follow-me-install-kubernetes-cluster
