k8s挂载ceph
一、k8s挂载Ceph RBD
k8s挂载Ceph RBD有两种方式，一种是传统的PV&PVC的方式，也就是说需要管理员先预先创建好相关PV和PVC，然后对应的deployment或者replication来挂载PVC使用。而在k8s 1.4以后，kubernetes提供了一种更加方便的动态创建PV的方式，即StorageClass。使用StorageClass时无需预先创建固定大小的PV来等待使用者创建PVC使用，而是直接创建PVC即可使用。
注：需要说明的是，要想让k8s的node节点执行挂载ceph rbd的指令，需要在所有节点上安装ceph-common包。直接通过yum安装即可。
1、PV & PVC方式
创建secret
#获取管理key并进行64位编码 ceph auth get-key client.admin | base64
创建ceph-secret.yml文件，内容如下：
apiVersion: v1 kind: Secret metadata: name: ceph-secret data: #Please note this value is base64 encoded. # echo "keystring"|base64 key: QVFDaWtERlpzODcwQWhBQTdxMWRGODBWOFZxMWNGNnZtNmJHVGc9PQo=
创建PV
创建test.pv.yml文件，内容如下：
apiVersion: v1
kind: PersistentVolume
metadata:
name: test-pv
spec:
capacity:
storage: 2Gi
accessModes:
- ReadWriteOnce
rbd:
#ceph的monitor节点
monitors:
- 10.5.10.117:6789
- 10.5.10.236:6789
- 10.5.10.227:6789
#ceph的存储池名字
pool: data
#在存储池里创建的image的名字
image: data
user: admin
secretRef:
name: ceph-secret
fsType: xfs
readOnly: false
persistentVolumeReclaimPolicy: Recycle
# kubectl create -f test.pv.yml
对存储卷访问模式的补充：accessModes
1、ReadWriteOnce：单节点读写（一个节点上的pod可读写）
2、ReadOnlyMany ：多节点只读
3、ReadWriteMany：多节点读写
Kubernetes v1.22提供了第四种访问PV、PVC的访问模式：
4、ReadWriteOncePod（单一Pod访问方式）
当你创建一个带有pvc访问模式为ReadWriteOncePod的Pod A时，Kubernetes确保整个集群内只有一个Pod可以读写该PVC
创建PVC
创建test.pvc.yml文件，内容如下：
kind: PersistentVolumeClaim
apiVersion: extensions/v1beta1
metadata:
name: test-pvc
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 2Gi
kubectl create -f test.pvc.yml
创建deployment挂载PVC
创建test.dm文件，内容如下：
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: test
spec:
replicas: 1
template:
metadata:
labels:
app: test
spec:
containers:
- name: test
image: dk-reg.op.douyuyuba.com/op-base/openresty:1.9.15
ports:
- containerPort: 80
volumeMounts:
- mountPath: "/data"
name: data
volumes:
- name: data
persistentVolumeClaim:
claimName: test-pvc
kubectl create -f test.dm.yml
2、StorageClass方式
创建secret
由于StorageClass要求ceph的secret type必须为kubernetes.io/rbd，所以在上面PV & PVC方式中创建的secret无法使用，需要重新创建。如下：
# 其中key的部分为ceph原生的key，未使用base64重新编码 kubectl create secret generic ceph-secret --type="kubernetes.io/rbd" --from-literal=key='AQCikDFZs870AhAA7q1dF80V8Vq1cF6vm6bGTg==' --namespace=kube-system kubectl create secret generic ceph-secret --type="kubernetes.io/rbd" --from-literal=key='AQCikDFZs870AhAA7q1dF80V8Vq1cF6vm6bGTg==' --namespace=default
创建StorageClass
创建test.sc.yml文件，内容如下：
apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: test-storageclass provisioner: kubernetes.io/rbd parameters: monitors: 192.168.1.11:6789,192.168.1.12:6789,192.168.1.13:6789 # Ceph 客户端用户ID(非k8s的) adminId: admin adminSecretName: ceph-secret adminSecretNamespace: kube-system pool: data userId: admin userSecretName: ceph-secret
创建PVC
创建test.pvc.yml文件，内容如下：
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: test-sc-pvc
annotations:
volume.beta.kubernetes.io/storage-class: test-storageclass
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 2Gi
kubectl create -f test.pvc.yml
至于挂载，与PV & PVC的方式一致，不再重复说明
二、k8s挂载Cephfs
上面大致说明了使用k8s挂载ceph rbd块设备的方法。这里简单说下k8s挂载ceph 文件系统的方法。
首先secret可以直接与上面复用，不用再单独创建。也不需要再创建pv和pvc。直接在deployment中挂载即可，方法如下：
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: test
spec:
replicas: 1
template:
metadata:
labels:
app: test
spec:
containers:
- name: test
image: dk-reg.op.douyuyuba.com/op-base/openresty:1.9.15
ports:
- containerPort: 80
volumeMounts:
- mountPath: "/data"
name: data
volumes:
- name: data
cephfs:
monitors:
- 10.5.10.117:6789
- 10.5.10.236:6789
- 10.5.10.227:6789
path: /data
user: admin
secretRef:
name: ceph-secret
三、kubeadm部署的k8s集群，使用rbd-provisioner方式
https://blog.csdn.net/qq_25934401/article/details/108247518
https://blog.51cto.com/fengjicheng/2401702
四、ceph-csi方式
https://docs.ceph.com/en/latest/rbd/rbd-kubernetes/ ceph官网介绍
https://www.bookstack.cn/read/kubernetes-handbook/practice-using-ceph-for-persistent-storage.md 使用Ceph做持久化存储创建MySQL集群
https://www.e-learn.cn/topic/3836739 k8s 1.19.2使用ceph作存储后端
https://mp.weixin.qq.com/s/0c4xqm4utNf7_FEDI090qA
