Kubernetes（K8s）（五）——在K8s集群上搭建redis和docker的留言簿

(1).实验环境

　　需要三个镜像：web前端镜像php-frontend、redis-master和redis-slave。其中web前端通过JavaScript redis api实现与redis-master交互。

(2).扩展：flannel

　　flannel是K8s默认提供的网络插件。Flannel是由CoreOs团队开发社交的网络工具，CoreOS团队采用L3 Overlay模式设计flannel， 规定宿主机下各个Pod属于同一个子网，不同宿主机下的Pod属于不同的子网。

　　flannel会在每一个宿主机上运行名为flanneld代理，其负责为宿主机预先分配一个子网，并为Pod分配IP地址。Flannel使用Kubernetes或etcd来存储网络配置、分配的子网和主机公共IP等信息。数据包则通过VXLAN、UDP或host-gw这些类型的后端机制进行转发。

　　看一下flannel在Kubernetes中运行的整体过程：

(3).准备使用到的镜像

 　　在两个node节点上下载docker.io/kubeguide/guestbook-php-frontend:latest、docker.io/kubeguide/redis-master:latest、docker.io/kubeguide/guestbook-redis-slave:latest。

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62

# docker pull docker.io/kubeguide/guestbook-php-frontend Using default tag: latest Trying to pull repository docker.io/kubeguide/guestbook-php-frontend ... latest: Pulling from docker.io/kubeguide/guestbook-php-frontend 4d2e9ae40c41: Pull complete a3ed95caeb02: Pull complete 54a7f0f294dc: Pull complete a25fe735d07d: Pull complete 0c906d123edf: Pull complete 444908521f56: Pull complete 8c642d1244eb: Pull complete 9b221da943a2: Pull complete 88bb2a5d51e9: Pull complete d74e6c5bcbaf: Pull complete 54d6cf15da9c: Pull complete 55f6a4aed401: Pull complete 45539a0ff9ad: Pull complete 023f5f1f5f40: Pull complete dfdabf8691ea: Pull complete 09a6ba60b929: Pull complete 1b0035990bdd: Pull complete d455473d6864: Pull complete 7200260c49a3: Pull complete 400be507a72c: Pull complete 6d9e0a886b69: Pull complete 66e7bb4a52de: Pull complete Digest: sha256:195181e0263bcee4ae0c3e79352bbd3487224c0042f1b9ca8543b788962188ce Status: Downloaded newer image for docker.io/kubeguide/guestbook-php-frontend:latest # docker pull docker.io/kubeguide/redis-master Using default tag: latest Trying to pull repository docker.io/kubeguide/redis-master ... latest: Pulling from docker.io/kubeguide/redis-master a3ed95caeb02: Pull complete 9cf7e98c567b: Pull complete d2ff49536f4d: Pull complete f94adccdbb9c: Pull complete 6ead1ce47d52: Pull complete 62a3114e0031: Pull complete dcb903eb752c: Pull complete 0c2c7c7f11ef: Pull complete c7aa377bfeeb: Pull complete 3d7aab9ba591: Pull complete 85e54ffe4941: Pull complete 4756da354f92: Pull complete Digest: sha256:e11eae36476b02a195693689f88a325b30540f5c15adbf531caaecceb65f5b4d Status: Downloaded newer image for docker.io/kubeguide/redis-master:latest # docker pull docker.io/kubeguide/guestbook-redis-slave Using default tag: latest Trying to pull repository docker.io/kubeguide/guestbook-redis-slave ... latest: Pulling from docker.io/kubeguide/guestbook-redis-slave 70c964415e86: Pull complete a3ed95caeb02: Pull complete 3229dc640f23: Pull complete cc7958dd97b7: Pull complete 448093e93ac3: Pull complete 2bbcbb97d47b: Pull complete 87b4f6fd65c9: Pull complete 5b712ee108fe: Pull complete a1a961e320bc: Pull complete 6f37ec7ab693: Pull complete Digest: sha256:a36fec97659fe96b5b28750d88b5cfb84a45138bcf1397c8e237031b8855c58c Status: Downloaded newer image for docker.io/kubeguide/guestbook-redis-slave:latest

(4).创建配置文件

　　创建一个专门存放YAML配置文件的目录

?

1	[root@kube-master ~]# mkdir -p /etc/kubernetes/yaml

　1）redis master deployment配置文件

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36

[root@kube-master ~]# vim /etc/kubernetes/yaml/redis-master-deployment.yaml apiVersion: extensions/v1beta1　　#api版本 kind: Deployment　　#类型 metadata:　　#deployment元数据（属性）   name: redis-master　　#deployment名称<br>  # 如果没有设置标签，这些标签可以从Pod模板中应用（获取？）   # these labels can be applied automatically from the labels in the pod template if not set   # labels:   #   app: redis   #   role: master   #   tier: backend spec:　　#deployment详细定义<br>  # 此副本值是默认值，请根据需要修改   # this replicas value is default modify it according to your case   replicas: 1　　#副本期望值<br>  # 如果没有设置选择器，选择器可以从Pod模板中的标签中应用（获取？）   # selector can be applied automatically from the labels in the pod template if not set   # selector:　　   #   matchLabels:   #     app: guestbook   #     role: master   #     tier: backend   template:　　#模板     metadata:　　#Pod元数据（属性）       labels:　　#自定义标签         app: redis         role: master         tier: backend     spec:　　#Pod详细定义       containers:　　#容器       - name: master　　#容器名称的一部分         image: docker.io/kubeguide/redis-master:latest　　#采用镜像         imagePullPolicy: IfNotPresent　　#镜像拉取策略         resources:　　#容器运行资源限制           requests:　　#运行下限             cpu: 100m　　#0.1核             memory: 100Mi　　#100Mb（1024单位）         ports:　　#对外开放端口列表         - containerPort: 6379　　#容器对外开放端口

　2）redis master service配置文件

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

[root@kube-master ~]# vim /etc/kubernetes/yaml/redis-master-service.yaml apiVersion: v1　　#api版本 kind: Service　　#类型 metadata:　　#service元数据（属性）   name: redis-master　　#service名称   labels:　　#自定义标签     app: redis     role: master     tier: backend spec:　　#service详细定义   ports:　　#服务对外开放端口列表     # the port that this service should serve on   - port: 6379　　#提供给内部Pod访问使用的端口     targetPort: 6379　　#Pod内服务的端口   selector:　　#service作用范围，此处是同时具备以下标签时，采用当前service     app: redis     role: master     tier: backend

　3）redis slave deployment配置文件

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48

[root@kube-master ~]# vim /etc/kubernetes/yaml/redis-slave-deployment.yaml apiVersion: extensions/v1beta1　　#api版本 kind: Deployment　　#类型 metadata:　　#deployment元数据（属性）   name: redis-slave　　#deployment名称   # 如果没有设置标签，这些标签可以从Pod模板中应用（获取？）   # these labels can be applied automatically from the labels in the pod template if not set   # labels:   #   app: redis   #   role: slave   #   tier: backend spec:　　#deployment详细定义   # 此副本值是默认值，请根据需要修改   # this replicas value is default modify it according to your case   replicas: 2　　#副本期望值   # 如果没有设置选择器，选择器可以从Pod模板中的标签中应用（获取？）   # selector can be applied automatically from the labels in the pod template if not set   # selector:   #   matchLabels:   #     app: guestbook   #     role: slave   #     tier: backend   template:　　#模板     metadata:　　#Pod元数据（属性）       labels:　　#自定义标签         app: redis         role: slave         tier: backend     spec:　　#Pod详细定义       containers:　　#容器       - name: slave　　#容器名称的一部分         image: docker.io/kubeguide/guestbook-redis-slave:latest　　#采用镜像         imagePullPolicy: IfNotPresent　　#镜像拉取策略         resources:　　#容器运行资源限制           requests:　　#运行下限             cpu: 100m　　#0.1核             memory: 100Mi　　#100Mb（1024单位）         env:　　#环境变量设置         - name: GET_HOSTS_FROM　　#环境变量名称           value: env　　#环境变量值           # 如果集群配置不包括DNS服务，则要访问环境变量来查找主服务的主机，请注释掉上面的'value: dns'，并取消注释下面的行           # If your cluster config does not include a dns service, then to           # instead access an environment variable to find the master           # service's host, comment out the 'value: dns' line above, and           # uncomment the line below.           # value: env         ports:　　#对外开放端口列表         - containerPort: 6379　　#容器对外开放端口

　4）redis slave service配置文件

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

[root@kube-master ~]# vim /etc/kubernetes/yaml/redis-slave-service.yaml apiVersion: v1　　#api版本 kind: Service　　#类型 metadata:　　#service元数据（属性）   name: redis-slave　　#service名称   labels:　　#自定义标签     app: redis     role: slave     tier: backend spec:　　#service详细定义   ports:　　#服务对外开放端口列表     # the port that this service should serve on   - port: 6379　　#提供给内部Pod访问使用的端口   selector:　　#service作用范围，此处同时具备以下标签时，采用当前service     app: redis     role: slave     tier: backend

　5）php frontend deployment配置文件

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45

[root@kube-master ~]# vim /etc/kubernetes/yaml/frontend-deployment.yaml apiVersion: extensions/v1beta1　　#api版本 kind: Deployment　　#类型 metadata:　　#deployment元数据（属性）   name: frontend　　#deployment名称   # 如果没有设置标签，这些标签可以从Pod模板中应用（获取？）   # these labels can be applied automatically from the labels in the pod template if not set   # labels:   #   app: guestbook   #   tier: frontend spec:　　#deployment详细定义   # 此副本值是默认值，请根据需要修改   # this replicas value is default modify it according to your case   replicas: 3　　#副本期望值   # 如果没有设置选择器，选择器可以从Pod模板中的标签中应用（获取？）   # selector can be applied automatically from the labels in the pod template if not set   # selector:   #   matchLabels:   #     app: guestbook   #     tier: frontend   template:　　#模板     metadata:　　#Pod元数据（属性）       labels:　　#自定义标签         app: guestbook         tier: frontend     spec:　　#Pod详细定义       containers:　　#容器       - name: php-redis　　#容器名称的一部分         image: docker.io/kubeguide/guestbook-php-frontend:latest　　#采用镜像         imagePullPolicy: IfNotPresent　　#镜像拉取策略         resources:　　#容器运行资源限制           requests:　　#下限             cpu: 100m　　#0.1核             memory: 100Mi　　#100Mb（1024单位）         env:　　#环境变量设置         - name: GET_HOSTS_FROM　　#环境变量名称           value: env　　#环境变量值           # 如果集群配置不包含DNS服务，则要访问环境变量来查找主服务的主机，请注释掉上面的'value: dns'，并取消注释下面的行           # If your cluster config does not include a dns service, then to           # instead access environment variables to find service host           # info, comment out the 'value: dns' line above, and uncomment the           # line below.           # value: env         ports:　　#对外开放端口列表         - containerPort: 80　　#容器对外开放端口

　6）php frontend service配置文件

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

[root@kube-master ~]# vim /etc/kubernetes/yaml/frontend-service.yaml apiVersion: v1　　#api版本 kind: Service　　#类型 metadata:　　#service元数据（属性）   name: frontend　　#service名称   labels:　　#自定义标签     app: guestbook     tier: frontend spec:　　#service详细定义   # if your cluster supports it, uncomment the following to automatically creat e   # an external load-balanced IP for the frontend service.   # type: LoadBalancer   type: NodePort　　#服务访问方式   ports:　　#服务对外开放端口列表     # the port that this service should serve on   - port: 80　　#提供给内部Pod访问使用的端口     nodePort: 30001　　#提供给外部访问服务的节点上的端口   selector:　　#service作用范围，此处同时具备以下标签时，采用当前service     app: guestbook     tier: frontend

(5).通过YAML文件启动

　　启动deployment和service

?

1 2 3 4 5 6 7 8 9 10 11 12

[root@kube-master ~]# kubectl create -f /etc/kubernetes/yaml/redis-master-deployment.yaml deployment "redis-master" created [root@kube-master ~]# kubectl create -f /etc/kubernetes/yaml/redis-master-service.yaml service "redis-master" created [root@kube-master ~]# kubectl create -f /etc/kubernetes/yaml/redis-slave-deployment.yaml deployment "redis-slave" created [root@kube-master ~]# kubectl create -f /etc/kubernetes/yaml/redis-slave-service.yaml service "redis-slave" created [root@kube-master ~]# kubectl create -f /etc/kubernetes/yaml/frontend-deployment.yaml deployment "frontend" created [root@kube-master ~]# kubectl create -f /etc/kubernetes/yaml/frontend-service.yaml service "frontend" created

　　查看deployment和service，下方数据为清理掉非相关内容后的数据。

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

[root@kube-master ~]# kubectl get deployment -o wide NAME           DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE frontend       3         3         3            3           6m redis-master   1         1         1            1           6m redis-slave    2         2         2            2           6m         [root@kube-master ~]# kubectl get replicaset -o wide NAME                      DESIRED   CURRENT   READY     AGE       CONTAINER(S)   IMAGE(S)                                            SELECTOR frontend-1186687533       3         3         3         6m        php-redis      docker.io/kubeguide/guestbook-php-frontend:latest   app=guestbook,pod-template-hash=1186687533,tier=frontend redis-master-3671804942   1         1         1         7m        master         docker.io/kubeguide/redis-master:latest             app=redis,pod-template-hash=3671804942,role=master,tier=backend redis-slave-2377017994    2         2         2         7m        slave          docker.io/kubeguide/guestbook-redis-slave:latest    app=redis,pod-template-hash=2377017994,role=slave,tier=backend [root@kube-master ~]# kubectl get pod -o wide                       NAME                            READY     STATUS    RESTARTS   AGE       IP            NODE frontend-1186687533-4jns2       1/1       Running   0          7m        10.255.31.8   kube-node2 frontend-1186687533-dqcdj       1/1       Running   0          7m        10.255.39.4   kube-node1 frontend-1186687533-vg8fw       1/1       Running   0          7m        10.255.39.5   kube-node1 redis-master-3671804942-8tq84   1/1       Running   0          8m        10.255.39.2   kube-node1 redis-slave-2377017994-1zctb    1/1       Running   0          8m        10.255.31.7   kube-node2 redis-slave-2377017994-rqr4m    1/1       Running   0          8m        10.255.39.3   kube-node1 [root@kube-master ~]# kubectl get service -o wide NAME           CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE       SELECTOR frontend       10.254.186.13   <nodes>       80:30001/TCP     8m        app=guestbook,tier=frontend kubernetes     10.254.0.1      <none>        443/TCP          42d       <none> redis-master   10.254.137.74   <none>        6379/TCP         8m        app=redis,role=master,tier=backend redis-slave    10.254.72.23    <none>        6379/TCP         8m        app=redis,role=slave,tier=backend

(6).开启node节点上的路由转发功能

　　临时开启方法一：

?

1	# iptables -P FORWARD ACCEPT

　　临时开启方法二：

?

1	# echo "1" > /proc/sys/net/ipv4/ip_forward

　　永久开启

?

1 2 3 4 5

# vim /etc/sysctl.conf //添加或修改如下行 net.ipv4.ip_forward = 1 # sysctl -p    //刷新使参数生效 net.ipv4.ip_forward = 1

(7).通过浏览器访问