k8s集群部署（2）
一、利用ansible部署kubernetes准备阶段
1、集群介绍
基于二进制方式部署k8s集群和利用ansible-playbook实现自动化；二进制方式部署有助于理解系统各组件的交互原理和熟悉组件启动参数，有助于快速排查解决实际问题。
2、集群规划和基础参数设定
（1）搞哭用集群所需节点配置如下；
- 部署节点 x1 : 运行这份 ansible 脚本的节点
- etcd节点 x3 : 注意etcd集群必须是1,3,5,7...奇数个节点
- master节点 x1 : 运行集群主要组件
- node节点 x3 : 真正应用部署的节点，根据需要增加机器配置和节点数
（2）在部署节点准备ansible：
1）保证源时可用的，selinux和firewalld是关闭的（这里配的是云唯图书馆里的内部源）
2）下载并安装docker，并启动docker，开机自启docker
3）下载ansible
4）配置每台机器之间的静态解析和免密登陆
[root@ren8 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.11.3 ren3 192.168.11.4 ren4 192.168.11.5 ren5 192.168.11.6 ren6 192.168.11.7 ren7 192.168.11.8 ren8 192.168.11.8 reg.yunwei.com
3、在部署节点上传ansible工作文件：
[root@ren8 kubernetes]# ls bash ca.tar.gz harbor-offline-installer-v1.4.0.tgz image image.tar.gz k8s197.tar.gz kube-yunwei-197.tar.gz scope.yaml sock-shop [root@ren8 kubernetes]# tar zxf kube-yunwei-197.tar.gz [root@ren8 kubernetes]# ls bash harbor-offline-installer-v1.4.0.tgz image.tar.gz kube-yunwei-197 scope.yaml ca.tar.gz image k8s197.tar.gz kube-yunwei-197.tar.gz sock-shop [root@ren8 kubernetes]# cd kube-yunwei-197 [root@ren8 kube-yunwei-197]# ls 01.prepare.yml 03.docker.yml 05.kube-node.yml 99.clean.yml bin manifests tools 02.etcd.yml 04.kube-master.yml 06.network.yml ansible.cfg example roles [root@ren8 kube-yunwei-197]# mv ./* /etc/ansible/ [root@ren8 kube-yunwei-197]# cd /etc/ansible/ [root@ren8 ansible]# ls 01.prepare.yml 03.docker.yml 05.kube-node.yml 99.clean.yml bin hosts roles 02.etcd.yml 04.kube-master.yml 06.network.yml ansible.cfg example manifests tools
[root@ren8 ansible]# cd example/ [root@ren8 example]# ls hosts.s-master.example [root@ren8 example]# cp hosts.s-master.example ../hosts
[root@ren8 ansible]# vim hosts # 部署节点：运行ansible 脚本的节点 [deploy] 192.168.11.8 # etcd集群请提供如下NODE_NAME、NODE_IP变量,请注意etcd集群必须是1,3,5,7...奇数个节点 [etcd] 192.168.11.7 NODE_NAME=etcd1 NODE_IP="192.168.11.7" 192.168.11.6 NODE_NAME=etcd2 NODE_IP="192.168.11.6" 192.168.11.5 NODE_NAME=etcd3 NODE_IP="192.168.11.5" [kube-master] 192.168.11.7 NODE_IP="192.168.11.7" [kube-node] 192.168.11.7 NODE_IP="192.168.11.7" 192.168.11.6 NODE_IP="192.168.11.6" 192.168.11.5 NODE_IP="192.168.11.5" [all:vars] # ---------集群主要参数--------------- #集群部署模式：allinone, single-master, multi-master DEPLOY_MODE=single-master #集群 MASTER IP MASTER_IP="192.168.11.7" #集群 APISERVER KUBE_APISERVER="https://192.168.11.7:6443" #TLS Bootstrapping 使用的 Token，使用 head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 生成 BOOTSTRAP_TOKEN="d18f94b5fa585c7123f56803d925d2e7" # 集群网络插件，目前支持calico和flannel CLUSTER_NETWORK="calico" # 部分calico相关配置，更全配置可以去roles/calico/templates/calico.yaml.j2自定义 # 设置 CALICO_IPV4POOL_IPIP=“off”,可以提高网络性能，条件限制详见 05.安装calico网络组件.md CALICO_IPV4POOL_IPIP="always" # 设置 calico-node使用的host IP，bgp邻居通过该地址建立，可手动指定端口"interface=eth0"或使用如下自动发现 IP_AUTODETECTION_METHOD="can-reach=223.5.5.5" # 部分flannel配置，详见roles/flannel/templates/kube-flannel.yaml.j2 FLANNEL_BACKEND="vxlan" # 服务网段 (Service CIDR），部署前路由不可达，部署后集群内使用 IP:Port 可达 SERVICE_CIDR="10.68.0.0/16" # POD 网段 (Cluster CIDR），部署前路由不可达，**部署后**路由可达 CLUSTER_CIDR="172.20.0.0/16" # 服务端口范围 (NodePort Range) NODE_PORT_RANGE="20000-40000" # kubernetes 服务 IP (预分配，一般是 SERVICE_CIDR 中第一个IP) CLUSTER_KUBERNETES_SVC_IP="10.68.0.1" # 集群 DNS 服务 IP (从 SERVICE_CIDR 中预分配) CLUSTER_DNS_SVC_IP="10.68.0.2" # 集群 DNS 域名 CLUSTER_DNS_DOMAIN="cluster.local." # etcd 集群间通信的IP和端口, **根据实际 etcd 集群成员设置** ETCD_NODES="etcd1=https://192.168.11.7:2380,etcd2=https://192.168.11.6:2380,etcd3=https://192.168.11.5:2380" # etcd 集群服务地址列表, **根据实际 etcd 集群成员设置** ETCD_ENDPOINTS="https://192.168.11.7:2379,https://192.168.11.6:2379,https://192.168.11.5:2379" # 集群basic auth 使用的用户名和密码 BASIC_AUTH_USER="admin" BASIC_AUTH_PASS="admin" # ---------附加参数-------------------- #默认二进制文件目录 bin_dir="/usr/local/bin" #证书目录 ca_dir="/etc/kubernetes/ssl" #部署目录，即 ansible 工作目录 base_dir="/etc/ansible"
二、部署kubernetes过程
解压二进制文件包，将解压后的二进制文件替换/etc/ansible/bin下的所有文件：
[root@ren8 ~]# tar xf bin.tar.gz [root@ren8 ~]# ls anaconda-ks.cfg bin.tar.gz docker k8saddons.tar.gz kubernetes.tar.gz token.sh bin cert.tar.gz k8saddons kubernetes original-ks.cfg yum-repo.sh [root@ren8 ~]# mv bin/* /etc/ansible/bin/ [root@ren8 bin]# ls bridge cfssljson docker-containerd-ctr docker-proxy flannel kubectl loopback calicoctl docker docker-containerd-shim docker-runc host-local kubelet portmap cfssl docker-compose dockerd etcd kube-apiserver kube-proxy VERSION.md cfssl-certinfo docker-containerd docker-init etcdctl kube-controller-manager kube-scheduler
进入/etc/ansible目录，准备安装k8s集群：
[root@ren8 ansible]# ls 01.prepare.yml 03.docker.yml 05.kube-node.yml 99.clean.yml bin hosts roles 02.etcd.yml 04.kube-master.yml 06.network.yml ansible.cfg example manifests tools
1、创建CA证书和环境配置
ansible-playbook 01.prepare.yml
主要完成CA证书创建、分发、环境变量。
kubernetes 系统各组件需要使用 TLS 证书对通信进行加密，使用 CloudFlare 的 PKI 工具集生成自签名的CA证书，用来签名后续创建的其它 TLS 证书。
2、安装etcd集群
ansible-playbook 02.etcd.yml
kuberntes 系统使用 etcd 存储所有数据，是最重要的组件之一，注意 etcd集群只能有奇数个节点(1,3,5...)，本文档使用3个节点做集群。
3、kubectl命令行工具
kubectl使用~/.kube/config 配置文件与kube-apiserver进行交互，且拥有完全权限，因此尽量避免安装在不必要的节点上。cat ~/.kube/config可以看到配置文件包含 kube-apiserver 地址、证书、用户名等信息。
[root@ren8 ansible]# cd ~/.kube/ [root@ren8 .kube]# ls cache config http-cache [root@ren8 .kube]# cat config apiVersion: v1 clusters: - cluster: certificate-authority-data: ###### server: https://192.168.11.7:6443 name: kubernetes contexts: - context: cluster: kubernetes user: admin name: kubernetes current-context: kubernetes kind: Config preferences: {} users: - name: admin user: client-certificate-data: ######
4、安装docker服务
ansible-playbook 03.docker.yml
5、安装kube-master节点
ansible-playbook 04.kube-master.yml
部署master节点包含三个组件`apiserver` `scheduler` `controller-manager`，其中：
apiserver：提供集群管理的REST API接口，包括认证授权、数据校验以及集群状态变更等
（1）只有API Server才直接操作etcd
（2）其他模块通过API Server查询或修改数据
（3）提供其他模块之间的数据交互和通信的枢纽
scheduler：负责分配调度Pod到集群内的node节点
（1）监听kube-apiserver，查询还未分配Node的Pod
（2）根据调度策略为这些Pod分配节点
controller-manager：由一系列的控制器组成，它通过apiserver监控整个集群的状态，并确保集群处于预期的工状态
6、安装kube-node节点
ansible-playbook 05.kube-node.yml
node 是集群中承载应用的节点，前置条件需要先部署好master节点(因为需要操作用户角色绑定、批准kubelet TLS 证书请求等)，它需要部署如下组件：
（1）docker：运行容器
（2）calico： 配置容器网络
（3）kubelet： node上最主要的组件
（4）kube-proxy： 发布应用服务与负载均衡
7、安装网络
（1）每个节点准备如下镜像tar包：
[root@ren8 ~]# tar xf k8saddons.tar.gz [root@ren8 ~]# ls anaconda-ks.cfg bin.tar.gz docker k8saddons.tar.gz kubernetes.tar.gz token.sh bin cert.tar.gz k8saddons kubernetes original-ks.cfg yum-repo.sh [root@ren8 ~]# cd k8saddons [root@ren8 k8saddons]# ls bash-completion bash-completion-2.1-6.el7.noarch.rpm kubeimage [root@ren8 k8saddons]# cd kubeimage/ [root@ren8 kubeimage]# ls calico-cni-v2.0.5.tar calico-node-v3.0.6.tar heapster-v1.5.1.tar kubernetes-dashboard-amd64-v1.8.3.tar.gz calico-kube-controllers-v2.0.4.tar coredns-1.0.6.tar.gz influxdb-v1.3.3.tar pause-amd64-3.1.tar
[root@ren8 k8saddons]# scp -r kubeimage/* ren7:/root/ [root@ren8 k8saddons]# scp -r kubeimage/* ren6:/root/ [root@ren8 k8saddons]# scp -r kubeimage/* ren5:/root/
[root@ren7 ~]# cd k8saddons/ [root@ren7 k8saddons]# ls bash-completion bash-completion-2.1-6.el7.noarch.rpm kubeimage [root@ren7 k8saddons]# cd kubeimage/ [root@ren7 kubeimage]# ls calico-cni-v2.0.5.tar calico-node-v3.0.6.tar heapster-v1.5.1.tar kubernetes-dashboard-amd64-v1.8.3.tar.gz calico-kube-controllers-v2.0.4.tar coredns-1.0.6.tar.gz influxdb-v1.3.3.tar pause-amd64-3.1.tar [root@ren7 kubeimage]# for ls in `ls`;do docker load -i $ls;done
每个机器镜像导入完成后，再执行下一步
（2）ansible安装网络
ansible-playbook 06.network.yml
（3）验证calico网络：
[root@ren8 ~]# kubectl get pod No resources found. [root@ren8 ~]# kubectl get ns NAME STATUS AGE default Active 20h kube-node-lease Active 20h kube-public Active 20h kube-system Active 20h [root@ren8 ~]# kubectl get pod -n kube-system NAME READY STATUS RESTARTS AGE calico-kube-controllers-7dd985b95c-s8q64 1/1 Running 0 20h calico-node-fwrnb 2/2 Running 4 20h calico-node-tpbgh 2/2 Running 0 20h calico-node-z7wxb 2/2 Running 0 20h
8、部署coredns服务
（1）进入/etc/ansible/manifests目录：
[root@ren8 ~]# cd /etc/ansible/manifests/ [root@ren8 manifests]# ls coredns dashboard efk heapster ingress kubedns
（2）进入coredns工作目录，并创建pod：
[root@ren8 manifests]# cd coredns/ [root@ren8 coredns]# ls coredns.yaml [root@ren8 coredns]# kubectl create -f coredns.yaml
（3）验证coredns：
[root@ren8 coredns]# kubectl get pod -n kube-system -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES calico-kube-controllers-7dd985b95c-s8q64 1/1 Running 0 20h 192.168.11.6 192.168.11.6 <none> <none> calico-node-fwrnb 2/2 Running 4 20h 192.168.11.7 192.168.11.7 <none> <none> calico-node-tpbgh 2/2 Running 0 20h 192.168.11.6 192.168.11.6 <none> <none> calico-node-z7wxb 2/2 Running 0 20h 192.168.11.5 192.168.11.5 <none> <none> coredns-64d5b756bc-bcmqd 1/1 Running 0 20h 172.20.33.65 192.168.11.6 <none> <none> coredns-64d5b756bc-bmj2v 1/1 Running 0 20h 172.20.72.129 192.168.11.5 <none> <none>
要保证在集群中任意节点都能ping通pod服务IP
[root@ren7 ~]# ping 172.20.33.65 PING 172.20.33.65 (172.20.33.65) 56(84) bytes of data. 64 bytes from 172.20.33.65: icmp_seq=1 ttl=63 time=33.0 ms 64 bytes from 172.20.33.65: icmp_seq=2 ttl=63 time=0.552 ms ^C --- 172.20.33.65 ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 1000ms rtt min/avg/max/mdev = 0.552/16.777/33.002/16.225 ms [root@ren7 ~]# ping 172.20.72.129 PING 172.20.72.129 (172.20.72.129) 56(84) bytes of data. 64 bytes from 172.20.72.129: icmp_seq=1 ttl=63 time=34.6 ms 64 bytes from 172.20.72.129: icmp_seq=2 ttl=63 time=0.643 ms ^C --- 172.20.72.129 ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 1001ms rtt min/avg/max/mdev = 0.643/17.666/34.690/17.024 ms
9、部署dashboard
（1）进入dashboard工作目录，并创建pod：
[root@ren8 coredns]# cd ../dashboard/ [root@ren8 dashboard]# ls 1.6.3 admin-user-sa-rbac.yaml kubernetes-dashboard.yaml ui-admin-rbac.yaml ui-read-rbac.yaml [root@ren8 dashboard]# kubectl create -f .
（2）验证dashboard：
[root@ren8 dashboard]# kubectl get pod -n kube-system -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES calico-kube-controllers-7dd985b95c-s8q64 1/1 Running 0 20h 192.168.11.6 192.168.11.6 <none> <none> calico-node-fwrnb 2/2 Running 4 20h 192.168.11.7 192.168.11.7 <none> <none> calico-node-tpbgh 2/2 Running 0 20h 192.168.11.6 192.168.11.6 <none> <none> calico-node-z7wxb 2/2 Running 0 20h 192.168.11.5 192.168.11.5 <none> <none> coredns-64d5b756bc-bcmqd 1/1 Running 0 20h 172.20.33.65 192.168.11.6 <none> <none> coredns-64d5b756bc-bmj2v 1/1 Running 0 20h 172.20.72.129 192.168.11.5 <none> <none> kubernetes-dashboard-6f75588d94-g6vcr 1/1 Running 0 20h 172.20.72.130 192.168.11.5 <none> <none>
（3）查看dashboard服务端点，并登陆：
[root@ren8 dashboard]# kubectl cluster-info Kubernetes master is running at https://192.168.11.7:6443 CoreDNS is running at https://192.168.11.7:6443/api/v1/namespaces/kube-system/services/coredns:dns/proxy kubernetes-dashboard is running at https://192.168.11.7:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
将dashboard服务端点复制到浏览器并打开（用户名/密码：admin/admin）火狐浏览器
需要输入 Token 方可登陆，获取 Token：
kubectl -n kube-system describe secret $(kubectl -n kube-system get secret|grep admin-user|awk '{print $1}')
登陆成功：
10、部署heapster监控
（1）进入heapster工作目录，并创建pod：
[root@ren8 manifests]# ls coredns dashboard efk heapster ingress kubedns [root@ren8 manifests]# cd heapster/ [root@ren8 heapster]# ls grafana.yaml heapster.yaml influxdb-v1.1.1 influxdb-with-pv influxdb.yaml [root@ren8 heapster]# kubectl create -f .
（2）验证监控：
[root@ren8 heapster]# kubectl get pod -n kube-system -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES calico-kube-controllers-7dd985b95c-s8q64 1/1 Running 0 23h 192.168.11.6 192.168.11.6 <none> <none> calico-node-fwrnb 2/2 Running 4 23h 192.168.11.7 192.168.11.7 <none> <none> calico-node-tpbgh 2/2 Running 0 23h 192.168.11.6 192.168.11.6 <none> <none> calico-node-z7wxb 2/2 Running 0 23h 192.168.11.5 192.168.11.5 <none> <none> coredns-64d5b756bc-bcmqd 1/1 Running 0 23h 172.20.33.65 192.168.11.6 <none> <none> coredns-64d5b756bc-bmj2v 1/1 Running 0 23h 172.20.72.129 192.168.11.5 <none> <none> heapster-7f48ff4cd9-6zmqr 1/1 Running 0 104m 172.20.33.68 192.168.11.6 <none> <none> kubernetes-dashboard-6f75588d94-g6vcr 1/1 Running 0 22h 172.20.72.130 192.168.11.5 <none> <none> monitoring-grafana-6c76875cb-8zjrv 1/1 Running 0 104m 172.20.33.67 192.168.11.6 <none> <none> monitoring-influxdb-66dbc76bf9-9lsqk 1/1 Running 0 104m 172.20.72.134 192.168.11.5 <none> <none>
[root@ren8 heapster]# kubectl cluster-info Kubernetes master is running at https://192.168.11.7:6443 CoreDNS is running at https://192.168.11.7:6443/api/v1/namespaces/kube-system/services/coredns:dns/proxy kubernetes-dashboard is running at https://192.168.11.7:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy monitoring-grafana is running at https://192.168.11.7:6443/api/v1/namespaces/kube-system/services/monitoring-grafana/proxy To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
