k8s的存储解决方案

作者：leo-zhang

版权声明：原创作品，谢绝转载！否则将追究法律责任。

---

Kubernetes存储解决方案完全指南：从基础到生产实践

Kubernetes的存储体系是容器化应用持久化数据管理的核心。本文深入解析9种典型存储方案，配合生产级配置示例，助您构建高可靠、高性能的存储架构。

---

一、核心存储概念体系

1. PersistentVolume (PV) 与 PersistentVolumeClaim (PVC)

• PV：集群级别的存储资源池（如物理磁盘、云存储卷）
• PVC：用户层面的存储资源申请，K8s自动完成绑定

# PV示例（静态配置NFS）
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  nfs:
    server: 192.168.1.100
    path: "/data/share"
---
# PVC申请
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: app-data-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi

2. StorageClass：动态供给的基石

• 定义存储后端类型和分配策略
• 支持回收策略（Retain/Delete/Recycle）

# AWS EBS动态存储类
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ebs-sc
provisioner: kubernetes.io/aws-ebs
parameters:
  type: gp3
  fsType: ext4
reclaimPolicy: Delete
volumeBindingMode: WaitForFirstConsumer

---

二、典型存储方案详解

1. 本地存储方案

类型	适用场景	生产注意事项
HostPath	开发测试、单节点工具	数据不持久，Pod漂移导致丢失
Local PV	高性能数据库（如Redis集群）	需配合节点亲和性调度

Local PV生产配置示例：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: local-ssd-pv
spec:
  capacity:
    storage: 500Gi
  accessModes:
  - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  local:
    path: /mnt/ssd1
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - node-01

2. 网络存储方案

类型	特点	典型应用场景
NFS	文件级共享，易部署	内容管理系统、日志收集
Ceph RBD	块存储，高性能	数据库、虚拟机镜像存储
GlusterFS	分布式文件系统，横向扩展	大数据分析、媒体存储

Ceph RBD动态供给示例：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ceph-rbd
provisioner: kubernetes.io/rbd
parameters:
  monitors: 10.0.0.1:6789,10.0.0.2:6789
  adminId: admin
  adminSecretName: ceph-admin-secret
  pool: kube_pool
  userId: kube-user
  userSecretName: ceph-user-secret
  fsType: ext4
  imageFormat: "2"
  imageFeatures: layering

3. 云原生存储方案

云平台	服务名称	性能特点
AWS	EBS (gp3/io2)	支持IOPS定制
GCP	Persistent Disk	多区域复制
Azure	Managed Disks	与Availability Zone绑定

AWS EBS自动扩展配置：

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ebs-optimized
parameters:
  type: io2
  iopsPerGB: "100"  # 每GB分配100 IOPS
  allowAutoIOPSPerGIncrease: "true"  # 允许自动扩展

---

三、高级存储模式

1. CSI (Container Storage Interface)

• 标准化存储插件接口
• 支持第三方存储系统（如Portworx、Longhorn）

# 使用CSI驱动示例（以AWS EFS为例）
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: efs-sc
provisioner: efs.csi.aws.com
parameters:
  provisioningMode: efs-ap  # Access Point模式
  fileSystemId: fs-123456
  directoryPerms: "700"

2. ReadWriteMany (RWX) 方案对比

方案	延迟	一致性	适用场景
NFS	中	最终	内容共享、CI/CD工件存储
CephFS	低	强	高并发读写
Cloud NAS	可变	强	跨可用区共享

---

四、存储安全与运维

1. 加密方案

• 静态加密：云平台存储卷加密（如AWS KMS）
• 传输加密：启用TLS的存储协议（如Ceph加密通信）

2. 备份策略

# Velero备份示例
velero backup create app-backup \
  --include-namespaces=production \
  --include-resources=pvc,pv

3. 监控指标

• Prometheus监控关键指标：
  • kubelet_volume_stats_available_bytes
  • storage_operation_duration_seconds

---

五、存储选型决策树

---

六、最佳实践总结

1. 生产环境准则

   • 优先使用动态供给的StorageClass
   • 为有状态服务设置PodDisruptionBudget
   • 避免使用hostPath（安全审计例外场景除外）

2. 性能调优技巧

   # 调整文件系统挂载参数
   spec:
     containers:
     - volumeMounts:
       - mountPath: /data
         mountPropagation: HostToContainer  # 提升NFS性能
   

3. 多集群存储方案

   • 使用Rook+Ceph实现跨集群存储
   • 通过Submariner实现跨集群PVC同步

---

通过合理选择存储方案并遵循最佳实践，开发者可以在Kubernetes上构建出既满足业务需求，又具备弹性扩展能力的现代化存储架构。