1、StatefulSet介绍
RC、Deployment、DaemonSet都是面向无状态的服务，它们所管理的Pod的IP、名字，启停顺序等都是随机的，
而StatefulSet是什么？顾名思义，有状态的集合，管理所有有状态的服务，比如MySQL、Bmongo复制集 ，redis cluster，rabbitmq cluster集群等。
StatefulSet本质上是Deployment的一种变体，在v1.9版本中已成为GA版本，它为了解决有状态服务的问题，它所管理的Pod拥有固定的Pod名称，启停顺序，
在StatefulSet中，Pod名字称为网络标识(hostname)，还必须要用到共享存储。
在Deployment中，与之对应的服务是service，而在StatefulSet中与之对应的headless service，即无头服务，与service的区别就是它没有Cluster IP，
解析它的名称时将返回该Headless Service对应的全部Pod的Endpoint列表。
除此之外，StatefulSet在Headless Service的基础上又为StatefulSet控制的每个Pod副本创建了一个DNS域名，这个域名的格式为：
$(podname).(headless server name)
FQDN：$(podname).(headless server name).namespace.svc.cluster.local
Headless Service：用来定义Pod网络标识( DNS domain)。
volumeClaimTemplates： 存储卷申请模板，创建PVC，指定pvc名称大小，将自动创建pvc，且pvc必须由存储类供应。
StatefulSet：定义具体应用，有多少个Pod副本，并为每个Pod定义了一个域名。
StatefulSet 特点：
给每个pod分配固定且唯一的网络标识符
给每个pod分配固定且持久化的外部存储
对pod进行有序的部署和扩展
对pod进有序的删除和终止
对pod进有序的自动滚动更新
2、特点
Pod一致性：包含次序（启动、停止次序）、网络一致性。此一致性与Pod相关，与被调度到哪个node节点无关；
稳定的次序：对于N个副本的StatefulSet，每个Pod都在[0，N)的范围内分配一个数字序号，且是唯一的；
稳定的网络：Pod的hostname模式为( s t a t e f u l s e t 名 称 ) − (statefulset名称)-(statefulset名称)−(序号)；
稳定的存储：通过VolumeClaimTemplate为每个Pod创建一个PV。删除、减少副本，不会删除相关的卷。
3、组成部分
Headless Service：用来定义Pod网络标识( DNS domain)；
volumeClaimTemplates ：存储卷申请模板，创建PVC，指定pvc名称大小，将自动创建pvc，且pvc必须由存储类供应；
StatefulSet ：定义具体应用，名为Nginx，有三个Pod副本，并为每个Pod定义了一个域名部署statefulset。
为什么需要 headless service 无头服务？
在用Deployment时，每一个Pod名称是没有顺序的，是随机字符串，因此是Pod名称是无序的，但是在statefulset中要求必须是有序 ，每一个pod不能被随意取代，
pod重建后pod名称还是一样的。而pod IP是变化的，所以是以Pod名称来识别。pod名称是pod唯一性的标识符，必须持久稳定有效。这时候要用到无头服务，它可以给每个Pod一个唯一的名称 。
为什么需要volumeClaimTemplate？
对于有状态的副本集都会用到持久存储，对于分布式系统来讲，它的最大特点是数据是不一样的，所以各个节点不能使用同一存储卷，每个节点有自已的专用存储，
但是如果在Deployment中的Pod template里定义的存储卷，是所有副本集共用一个存储卷，数据是相同的，因为是基于模板来的 ，而statefulset中每个Pod都要自已的专有存储卷，
所以statefulset的存储卷就不能再用Pod模板来创建了，于是statefulSet使用volumeClaimTemplate，称为卷申请模板，它会为每个Pod生成不同的pvc，并绑定pv，从而实现各pod有专用存储。
这就是为什么要用volumeClaimTemplate的原因。
4、StatefulSet详解
kubectl explain sts.spec ：主要字段解释
replicas ：副本数
selector：那个pod是由自己管理的
serviceName：必须关联到一个无头服务商
template：定义pod模板（其中定义关联那个存储卷）
volumeClaimTemplates ：生成PVC
在创建StatefulSet之前需要准备的东西，值得注意的是创建顺序非常关键，创建顺序如下：
1、Volume (多种类型，比如nfs、glusterfs、ceph )。
2、Persistent Volume 量的
3、Persistent Volume Claim(自动创建)
4、headless Service
5、StatefulSet
资源删除顺序
删除对应的pod、svc、statefulset、pv、pvc
statefulset的启停顺序
有序部署：部署StatefulSet时，如果有多个Pod副本，它们会被顺序地创建（从0到N-1)并且，在下一个Pod运行之前所有之前的Pod必须都是Running和Ready状态。
有序删除：当Pod被删除时，它们被终止的顺序是从N-1到0。
有序扩展：当对Pod执行扩展操作时，与部署一样，它前面的Pod必须都处于Running和Ready状态。
实例：基于PVC+StatefulSet实现的MySQL主从架构
https://www.cnblogs.com/Yuanbangchen/p/17309336.html
1.安装nfs服务器，基于PV作为后端存储
[root@localhost7B ]# cat /etc/exports
/data/k8sdata *(rw,no_root_squash)
[root@localhost7B magedu]# mkdir /data/k8sdata/magedu/web-datadir-0
[root@localhost7B magedu]# mkdir /data/k8sdata/magedu/web-datadir-1
[root@localhost7B magedu]# mkdir /data/k8sdata/magedu/web-datadir-2
[root@localhost7B magedu]# mkdir /data/k8sdata/magedu/web-datadir-3
[root@localhost7B magedu]# mkdir /data/k8sdata/magedu/mysql-datadir-5
[root@localhost7B ]# systemctl restart nfs-server.service
2.创建PV，为什么创建多个，原因是replicas随时可能伸缩。
[root@localhost7C mysql]# cat pv/mysql-persistentvolume.yaml
[root@localhost7C statfulset]# cat web-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: web-pv0
labels:
type: web-pv0
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
nfs:
path: /data/k8sdata/magedu/web-datadir-0
server: 192.168.80.110
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: web-pv1
labels:
type: web-pv1
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
nfs:
path: /data/k8sdata/magedu/web-datadir-1
server: 192.168.80.110
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: web-pv2
labels:
type: web-pv2
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
nfs:
path: /data/k8sdata/magedu/web-datadir-2
server: 192.168.80.110
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: web-pv3
labels:
type: web-pv3
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Retain
nfs:
path: /data/k8sdata/magedu/web-datadir-3
server: 192.168.80.110
创建另一个PV，测试使用
[root@localhost7C statfulset]# cat test.yaml
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: mysql-datadir-5
spec:
capacity:
storage: 50Gi
accessModes:
- ReadWriteOnce
nfs:
path: /data/k8sdata/magedu/mysql-datadir-5
server: 192.168.80.110
3.对于StatefulSet，PVC不需要创建的，PVC模版会自动创建，此处是为方便理解。
当手工创建PV时指定了label的键值对，在PVC里通过selector可以指定PV的label，就达到调用效果。
当PVC使用模版时，是怎么生成PVC模版的，并如何调用PV？PV和PVC是怎么bound起来的呢？(应该是随机性找Availableu状态的PV )
[root@localhost7C statfulset]# cat web-pvc.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: www-web-0
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
storageClassName: my-storage-class
selector:
matchLabels:
type: web-pv0
---
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: www-web-1
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
storageClassName: my-storage-class
selector:
matchLabels:
type: web-pv1
3.创建 headless service和StatefulSet
[root@localhost7C statfulset]# cat web.yaml
apiVersion: v1
kind: Service
metadata:
name: web-headless #
labels:
app: nginx
spec:
ports:
- port: 80
name: web
clusterIP: None
selector:
app: nginx
---
apiVersion: v1
kind: Service
metadata:
name: web
labels:
app: nginx
spec:
ports:
- port: 80
name: web
selector:
app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: web #pod名
spec:
selector:
matchLabels:
app: nginx
serviceName: "web-headless" # headless servers
replicas: 2
template:
metadata:
labels:
app: nginx
spec:
terminationGracePeriodSeconds: 10
containers:
- name: nginx
image: nginx
imagePullPolicy: IfNotPresent
ports:
- containerPort: 80
name: web
volumeMounts:
- name: www #调用PVCPVC模版名
mountPath: /usr/share/nginx/html
volumeClaimTemplates: #PVC模版，与template平级
- metadata:
name: www #PVC模版名
spec:
accessModes: [ "ReadWriteOnce" ]
resources:
requests:
storage: 1Gi
[root@localhost7C statfulset]# kubectl apply -f web-pv.yaml -f test.yaml -f web.yaml
PVC的名称是www-web-0看似有规律的名字，
首先StatefulSet的name叫web，设置的replicas为3个，volumeMounts和volumeClaimTemplates的name必须相同，为www，
所以StatefulSet创建的第一个Pod的name应该为web-0，第二个为web-1。这里StatefulSet中的Pod与PVC之间的绑定关系是通过名称来匹配的即：
PVC_name = volumeClaimTemplates_name + "-" + pod_name
www-web-0 = www + "-" + web-0
[root@localhost7C statfulset]# kubectl get pv,pvc,pod,svc -A -o wide
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE VOLUMEMODE
persistentvolume/web-pv0 1Gi RWO Retain Bound default/www-web-2 84s Filesystem
persistentvolume/web-pv1 1Gi RWO Retain Bound default/www-web-1 84s Filesystem
persistentvolume/web-pv2 1Gi RWO Retain Available 84s Filesystem
persistentvolume/web-pv3 1Gi RWO Retain Bound default/www-web-0 84s Filesystem
persistentvolume/mysql-datadir-5 50Gi RWO Retain Available 84s Filesystem
NAMESPACE NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE VOLUMEMODE
default persistentvolumeclaim/www-web-0 Bound web-pv3 1Gi RWO 36s Filesystem
default persistentvolumeclaim/www-web-1 Bound web-pv1 1Gi RWO 33s Filesystem
default persistentvolumeclaim/www-web-2 Bound web-pv0 1Gi RWO 30s Filesystem
NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
default pod/web-0 1/1 Running 0 36s 10.20.4.65 192.168.80.170 <none> <none>
default pod/web-1 1/1 Running 0 33s 10.20.5.60 192.168.80.160 <none> <none>
default pod/web-2 1/1 Running 0 30s 10.20.4.66 192.168.80.170 <none> <none>
NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
default service/web ClusterIP 10.10.236.217 <none> 80/TCP 36s app=nginx
default service/web-headless ClusterIP None <none> 80/TCP 36s app=nginx
测试：当PVC使用模版时，是怎么生成PVC模版的，并如何调用PV？PV和PVC是怎么bound起来的呢？(应该是随机性找Availableu状态的PV )
[root@localhost7C statfulset]# kubectl scale statefulset web --replicas=5
[root@localhost7C statfulset]# kubectl get pv,pvc -A -o wide
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE VOLUMEMODE
persistentvolume/mysql-datadir-5 50Gi RWO Retain Bound default/www-web-4 17m Filesystem
persistentvolume/web-pv0 1Gi RWO Retain Bound default/www-web-2 17m Filesystem
persistentvolume/web-pv1 1Gi RWO Retain Bound default/www-web-1 17m Filesystem
persistentvolume/web-pv2 1Gi RWO Retain Bound default/www-web-3 17m Filesystem
persistentvolume/web-pv3 1Gi RWO Retain Bound default/www-web-0 17m Filesystem
NAMESPACE NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE VOLUMEMODE
default persistentvolumeclaim/www-web-0 Bound web-pv3 1Gi RWO 16m Filesystem
default persistentvolumeclaim/www-web-1 Bound web-pv1 1Gi RWO 16m Filesystem
default persistentvolumeclaim/www-web-2 Bound web-pv0 1Gi RWO 16m Filesystem
default persistentvolumeclaim/www-web-3 Bound web-pv2 1Gi RWO 4m38s Filesystem
default persistentvolumeclaim/www-web-4 Bound mysql-datadir-5 50Gi RWO 4m35s Filesystem
#测试短和长域名
FQDN：$(podname).(headless server name)
FQDN：$(podname).(headless server name).namespace.svc.zzhz.local
[root@localhost7C statfulset]# kubectl exec -it web-0 bash
root@web-0:/# apt update
root@web-0:/# apt-get update
root@web-0:/# apt install iputils-ping
root@web-0:/# hostname
web-0
root@web-0:/# ping web-2.web-headless.default.svc.zzhz.local
PING web-2.web-headless.default.svc.zzhz.local (10.20.4.66) 56(84) bytes of data.
64 bytes from web-2.web-headless.default.svc.zzhz.local (10.20.4.66): icmp_seq=1 ttl=64 time=0.122 ms
64 bytes from web-2.web-headless.default.svc.zzhz.local (10.20.4.66): icmp_seq=2 ttl=64 time=0.055 ms
root@web-0:/# ping web-1.web-headless
PING web-1.web-headless.default.svc.zzhz.local (10.20.5.60) 56(84) bytes of data.
64 bytes from web-1.web-headless.default.svc.zzhz.local (10.20.5.60): icmp_seq=1 ttl=62 time=0.413 ms
64 bytes from web-1.web-headless.default.svc.zzhz.local (10.20.5.60): icmp_seq=2 ttl=62 time=0.591 ms
