Statefulset控制器

百度网盘链接：https://pan.baidu.com/s/15t_TSH5RRpCFXV-93JHpNw?pwd=8od3  提取码：8od3

13 Statefulset控制器

13.1概念、原理解读

StatefulSet是为了管理有状态服务的问题而设计的。

有状态服务：StatefulSet是有状态的集合，管理有状态的服务，它所管理的Pod的名称不能随意变化。数据持久化的目录也是不一样，每一个Pod都有自己独有的数据持久化存储目录。比如MySQL主从、redis集群等。

无状态服务：RC、Deployment、DaemonSet都是管理无状态的服务，它们所管理的Pod的IP、名字，启停顺序等都是随机的。个体对整体无影响，所有pod都是共用一个数据卷的，部署的tomcat就是无状态的服务，tomcat被删除，在启动一个新的tomcat，加入到集群即可，跟tomcat的名字无关。

13.2 Statefulset资源清单文件编写技巧

13.2.1查看定义Statefulset资源需要的字段

[root@master1 ~]# kubectl explain statefulset

KIND:     StatefulSet

VERSION:  apps/v1

FIELDS:

   apiVersion  <string> #定义statefulset资源需要使用的api版本

   kind   <string>          #定义的资源类型

   metadata    <Object>     #元数据

   spec   <Object>          #定义容器相关的信息

13.2.2查看statefulset.spec字段如何定义

[root@master1 ~]# kubectl explain statefulset.spec

KIND:     StatefulSet

VERSION:  apps/v1

RESOURCE: spec <Object>

FIELDS:

   podManagementPolicy  <string> #pod管理策略

   replicas    <integer>  #副本数

   revisionHistoryLimit <integer> #保留的历史版本

   selector    <Object> -required- #标签选择器，选择它所关联的pod

   serviceName <string> -required-  #headless service的名字

   template    <Object> -required-     #生成pod的模板

   updateStrategy  <Object>   #更新策略

   volumeClaimTemplates <[]Object> #存储卷申请模板

13.2.3查看statefulset的spec.template字段如何定义

[root@master1 ~]# kubectl explain statefulset.spec.template

KIND:     StatefulSet

VERSION:  apps/v1

RESOURCE: template <Object>

FIELDS:

   metadata    <Object>

   spec   <Object>  #定义容器属性的

通过上面可以看到，statefulset资源中有两个spec字段。第一个spec声明的是statefulset定义多少个Pod副本（默认将仅部署1个Pod）、匹配Pod标签的选择器、创建pod的模板、存储卷申请模板，第二个spec是spec.template.spec：主要用于Pod里的容器属性等配置。

13.3 Statefulset使用案例

13.3.1 部署web站点

[root@master1 ~]# vim statefulset.yaml

apiVersion: v1

kind: Service

metadata:

  name: nginx

  labels:

    app: nginx

spec:

  ports:

  - port: 80

    name: web

  clusterIP: None

  selector:

    app: nginx

---

apiVersion: apps/v1

kind: StatefulSet

metadata:

  name: web

spec:

  selector:

    matchLabels:

      app: nginx

  serviceName: "nginx"

  replicas: 2

  template:

    metadata:

     labels:

       app: nginx

    spec:

      containers:

      - name: nginx

        image: nginx

        imagePullPolicy: IfNotPresent

        ports:

        - containerPort: 80

          name: web

        volumeMounts:

        - name: www

          mountPath: /usr/share/nginx/html

  volumeClaimTemplates:

  - metadata:

      name: www

    spec:

      accessModes: ["ReadWriteOnce"]

      storageClassName: "nfs"

      resources:

        requests:

          storage: 1Gi

[root@master1 ~]# kubectl apply -f statefulset.yaml

[root@master1 ~]# kubectl get statefulset

NAME   READY   AGE

web      2/2      42s

[root@master1 ~]# kubectl get pods -l app=nginx

web-0   1/1     Running   0          2m17s

web-1   1/1     Running   0          115s

通过上面可以看到创建的pod是有序的。

 

[root@master1 ~]# kubectl get svc -l app=nginx

NAME    TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE

nginx   ClusterIP   None         <none>        80/TCP    3m19s

[root@master1 ~]# kubectl get pvc

NAME      STATUS  VOLUME                                 CAPACITY   ACCESS MODES   STORAGECLASS  AGE

www-web-0 Bound  pvc-39a9755f-3248-49ff-8f9e-5b068b609c8f 1Gi       RWO,RWX        nfs-web       7m45s

www-web-1 Bound  pvc-be93d4a3-1aca-44cc-802f-ddeb38c05018 1Gi       RWO,RWX        nfs-web       7m41s

[root@master1 ~]# kubectl get pv

NAME  CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM        STORAGECLASS   REASON   AGE

pvc-39a9755f-3248-49ff-8f9e-5b068b609c8f  1Gi  RWO,RWX Delete Bound default/www-web-0   nfs-web   8m3s

pvc-be93d4a3-1aca-44cc-802f-ddeb38c05018  1Gi  RWO,RWX Delete Bound default/www-web-1   nfs-web   7m59s               

 

StatefulSet由以下几个部分组成：

1. Headless Service：用来定义pod网路标识，生成可解析的DNS记录

2. volumeClaimTemplates：存储卷申请模板，创建pvc，指定pvc名称大小，自动创建pvc，且pvc由存储类供应。

3. StatefulSet：管理pod的

 

扩展：什么是Headless service?

Headless service不分配clusterIP，headless service可以通过解析service的DNS,返回所有Pod的dns和ip地址 (statefulSet部署的Pod才有DNS)，普通的service,只能通过解析service的DNS返回service的ClusterIP。

1.headless service会为service分配一个域名

<service name>.$<namespace name>.svc.cluster.local

K8s中资源的全局FQDN格式:
　　Service_NAME.NameSpace_NAME.Domain.LTD.
　　Domain.LTD.=svc.cluster.local.　　　　 #这是默认k8s集群的域名。

FQDN 全称 Fully Qualified Domain Name，即全限定域名：同时带有主机名和域名的名称。

2. StatefulSet会为关联的Pod保持一个不变的Pod Name

statefulset中Pod的名字格式为$(StatefulSet name)-$(pod序号)

3. StatefulSet会为关联的Pod分配一个dnsName
$<Pod Name>.$<service name>.$<namespace name>.svc.cluster.local

为什么要用volumeClaimTemplate：对于有状态应用都会用到持久化存储，比如mysql主从，由于主从数据库的数据是不能存放在一个目录下的，每个mysql节点都需要有自己独立的存储空间。而在deployment中创建的存储卷是一个共享的存储卷，多个pod使用同一个存储卷，它们数据是同步的，而statefulset定义中的每一个pod都不能使用同一个存储卷，这就需要使用volumeClainTemplate，当在使用statefulset创建pod时，volumeClainTemplate会自动生成一个PVC，从而请求绑定一个PV，每一个pod都有自己专用的存储卷。Pod、PVC和PV对应的关系图如下：

 

 

使用kubectl run运行一个提供nslookup命令的容器的，这个命令来自于dnsutils包，通过对pod主机名执行nslookup，可以检查它们在集群内部的DNS地址：

[root@master1 ~]# kubectl run busybox --image docker.io/library/busybox:1.28  --image-pull-policy=IfNotPresent --restart=Never --rm -it busybox -- sh

root@web-1:/# nslookup web-0.nginx.default.svc.cluster.local  #statefulset创建的pod也是有dns记录的

Name:      web-0.nginx.default.svc.cluster.local

Address 1: 10.244.104.62 web-0.nginx.default.svc.cluster.local

 

root@web-1:/# nslookup nginx.default.svc.cluster.local  #查询service dns，会把对应的pod ip解析出来

Name:      nginx.default.svc.cluster.local

Address 1: 10.244.166.146 web-1.nginx.default.svc.cluster.local

Address 2: 10.244.104.62 web-0.nginx.default.svc.cluster.local

 

root@web-1:/# dig -t A nginx.default.svc.cluster.local @10.96.0.10

; <<>> DiG 9.11.5-P4-5.1+deb10u3-Debian <<>> -t A nginx.default.svc.cluster.local @10.96.0.10

......

;; ANSWER SECTION:

nginx.default.svc.cluster.local. 30 IN     A    10.244.209.139

nginx.default.svc.cluster.local. 30 IN     A    10.244.209.140

 

扩展：举例说明service 和headless service区别

1、通过deployment创建pod，pod前端创建一个service

[root@master1 ~]# vim deploy-service.yaml

apiVersion: v1

kind: Service

metadata:

  name: my-nginx

  labels:

    run: my-nginx

spec:

  type: ClusterIP

  ports:

  - port: 80

    protocol: TCP

    targetPort: 80

  selector:

    run: my-nginx

---

apiVersion: apps/v1

kind: Deployment

metadata:

  name: my-nginx

spec:

  selector:

    matchLabels:

      run: my-nginx

  replicas: 2

  template:

    metadata:

      labels:

        run: my-nginx

    spec:

      containers:

      - name: my-nginx

        image: busybox

        imagePullPolicy: IfNotPresent

        ports:

        - containerPort: 80

        command:

          - sleep

          - "3600"

[root@master1 ~]# kubectl apply -f deploy-service.yaml

[root@master1 ~]# kubectl get svc -l run=my-nginx

NAME       TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)  

my-nginx   ClusterIP   10.100.89.90   <none>        80/TCP   

[root@master1 ~]# kubectl get pods -l run=my-nginx

NAME                        READY   STATUS    RESTARTS   AGE

my-nginx-58f74fc5b6-jzbvk   1/1     Running   0          70s

my-nginx-58f74fc5b6-n9lqv   1/1     Running   0          53s 

通过上面可以看到deployment创建的pod是随机生成的。

 

[root@master1 ~]# kubectl exec -it web-1 -- /bin/bash   //进入到web-1的pod

root@web-1:/# nslookup my-nginx.default.svc.cluster.local

Name: my-nginx.default.svc.cluster.local

Address: 10.100.89.90   #解析的是service的ip地址

 

Statefulset总结：

1、Statefulset管理的pod，pod名字是有序的，由statefulset的名字-0、1、2这种格式组成。

2、创建statefulset资源的时候，必须事先创建好一个service,如果创建的service没有ip，那对这个service做dns解析，会找到它所关联的pod ip，如果创建的service有ip，那对这个service做dns解析，会解析到service本身ip。

3、statefulset管理的pod，删除pod，新创建的pod名字跟删除的pod名字是一样的。

4、statefulset具有volumeclaimtemplate这个字段，这个是卷申请模板，会自动创建pv，pvc也会自动生成，跟pv进行绑定，那如果创建的statefulset使用了volumeclaimtemplate这个字段，那创建pod，数据目录是独享的。

5、ststefulset创建的pod，是域名的（域名组成：pod-name.svc-name.svc-namespace.svc.cluster.local）。

 

13.4 Statefulset管理pod

13.4.1 Statefulset实现pod的动态扩容

如果我们觉得两个副本太少了，想要增加，只需要修改配置文件statefulset.yaml里的replicas的值即可，原来replicas: 2，现在变成replicaset: 3，修改之后，执行如下命令更新：

[root@master1 ~]# kubectl apply -f statefulset.yaml

[root@master1 ~]# kubectl get sts

NAME   READY   AGE

web    3/3     60m

[root@master1 ~]# kubectl get pods -l app=nginx

NAME    READY   STATUS    RESTARTS   AGE

web-0   1/1     Running   0          61m

web-1   1/1     Running   0          60m

web-2   1/1     Running   0          79s

 

也可以直接编辑控制器实现扩容：

[root@master1 ~]# kubectl edit sts web

把spec下的replicas 后面的值改成4，保存退出。

[root@master1 ~]# kubectl get pods -l app=nginx

NAME    READY   STATUS    RESTARTS   AGE

web-0   1/1     Running   0          62m

web-1   1/1     Running   0          62m

web-2   1/1     Running   0          3m13s

web-3   1/1     Running   0          26s

13.4.2 Statefulset实现pod的动态缩容

如果我们觉得4个Pod副本太多了，想要减少，只需要修改配置文件statefulset.yaml里的replicas的值即可，把replicaset：4变成replicas: 2，修改之后，执行如下命令更新：

[root@master1 ~]# kubectl apply -f statefulset.yaml

[root@master1 ~]# kubectl get pods -l app=nginx

NAME    READY   STATUS    RESTARTS   AGE

web-0   1/1     Running   0          64m

web-1   1/1     Running   0          64m

13.4.3 Statefulset实现pod的更新

[root@master1 ~]# kubectl explain sts.spec.updateStrategy

[root@master1 ~]# vim statefulset.yaml

......

spec:

  updateStrategy:

    rollingUpdate:

      partition: 1

      maxUnavailable: 0

......

containers:

- name: nginx

  image: ikubernetes/myapp:v2

  imagePullPolicy: IfNotPresent

.....

在一个终端动态查看pod:

[root@master1 ~]# kubectl get pods -l app=nginx -w

另一个终端执行如下命令：

[root@master1 ~]# kubectl apply -f statefulset.yaml

出现的结果如下：

web-0                              1/1     Running   0          10m

web-1                              1/1     Running   0          10m

web-1                              1/1     Terminating   0          10m

web-1                              1/1     Terminating   0          10m

web-1                              0/1     Terminating   0          10m

web-1                              0/1     Terminating   0          10m

web-1                              0/1     Terminating   0          10m

web-1                              0/1     Pending       0          0s

web-1                              0/1     Pending       0          0s

web-1                              0/1     ContainerCreating   0          0s

web-1                              0/1     ContainerCreating   0          1s

web-1                              1/1     Running             0          2s

web-1                              1/1     Running             0          11s

从上面结果可以看出来，pod在更新的时候，只是更新了web-1这个pod, partition: 1表示更新的时候会把pod序号大于等于1的进行更新。

如果更新策略是OnDelete，那不会自动更新pod，需要手动删除，重新常见的pod才会实现更新。

spec:

  updateStrategy:

    type: OnDelete

  replicas: 2