k8s实践利用storageclass实现pvc的动态provision(volume使用ceph rbd)

      最近实践了利用k8s的storageclass,实现pvc的动态创建,绑定,特记录如下.

   1 已经部署好的k8s集群和ceph集群.


   2  创建ceph-secret,后面创建storageclass需要使用.

   

   启动key后面的内容为ceph的admin用户的秘钥base64编码的结果

  


     3  创建storageclass


其中 adminSecretName与上面创建的secret的名字对应, adminSecretNamespace为kube-system.


  4 创建pvc,pvc里面引用创建出来的storageclass.




 5  创建pod引用此pvc




6 创建deployment后,pod变为running状态


        pod创建过程中的kube-controller-manager的日志输出,可以发现对应的pv_controller控制器的工作过程



         对应的ceph pool自动创建了一个rbd image,kubectl可以看到自动创建的pv,并且已经bound到pod了

        

 

 

      到pod运行的node节点,用lsblk可以看到rbd image已经挂载到pod里面




7  遇到的问题

   7.1   RBAC导致的问题(system:kube-controller-manager用户缺少权限)


   解决办法:按照报错提示授予对应的权限即可。


   7.2  创建的secret 无法被pv_controller获取到的问题。


  问题原因:之前ceph-secret定义到了default的namespace,导致pv_controller无法获取

  解决办法:定义ceph-secret到kube-system的namespace即可。


   7.3、创建的deployment无法autoscale

    通过kubectl autoscale deployment my-nginx-pvc --min=2 --max=3扩容pod,发现pod一直在ContainerCreating状态。


  

问题原因:rbd类型的pv只能被一个pod可以读写挂载 ,一个rbd image挂载到pod后,image会加锁。


解决办法:使用支持多个pod同时读写挂载的pv类型,如nfs,或者使用stateful,每个pod各自挂载一个pv。



参考:

   1  https://v1-8.docs.kubernetes.io/docs/concepts/storage/storage-classes/

   2 https://v1-8.docs.kubernetes.io/docs/concepts/storage/persistent-volumes/      

posted @ 2018-01-03 11:45  360linux  阅读(376)  评论(0编辑  收藏  举报