Master节点高可用实战指南

Kubernetes Master节点高可用实战指南：生产环境如何搭建可靠的控制平面

在Kubernetes生产集群中，Master节点的高可用（HA）是保障业务连续性的核心。本文将结合实战经验，拆解Master节点高可用的关键技术，助你构建坚如磐石的控制平面。

---

一、为什么需要Master高可用？

Master节点是Kubernetes的"大脑"，负责调度Pod、管理集群状态、处理API请求等核心功能。一旦Master宕机，可能导致：

• API服务中断（无法创建/删除资源）
• 控制循环停止（Deployment无法自愈）
• 集群状态数据丢失（etcd故障）

生产环境中，必须通过冗余设计实现至少99.9%的可用性。

---

二、Master高可用架构全景图

---

（图示：3 Master节点 + 负载均衡 + 多etcd节点）

---

三、六大核心组件的高可用实现

1. API Server：集群流量入口

• 多实例部署：至少3个API Server实例，分布在不同的物理节点
• 负载均衡：
  • 云方案：AWS NLB/ALB、GCP Cloud Load Balancing
  • 自建方案：HAProxy + Keepalived
• 健康检查：配置/livez端点探测

# HAProxy示例配置
backend k8s-api
    mode tcp
    balance roundrobin
    server master-1 192.168.1.10:6443 check
    server master-2 192.168.1.11:6443 check
    server master-3 192.168.1.12:6443 check

2. etcd集群：数据存储基石

• 节点数量：生产环境推荐3或5节点（遵循奇数原则）
• 部署模式：
  • Stacked etcd：与Master节点共存（资源利用率高）
  • External etcd：独立集群（更高可用性，推荐生产使用）
• 关键配置：

# 启动参数示例
--initial-cluster "infra0=https://10.0.1.10:2380,infra1=https://10.0.1.11:2380"
--listen-client-urls https://0.0.0.0:2379
--advertise-client-urls https://${NODE_IP}:2379

• 存储优化：
  • 使用SSD磁盘，保持低延迟（P99 < 50ms）
  • 定期碎片整理：etcdctl defrag

3. Controller Manager & Scheduler：领导者选举

• 多副本+Leader选举：
  • 所有副本同时运行
  • 通过--leader-elect=true启用选举机制
  • 租约时间优化（默认15s，可根据集群规模调整）

# 查看当前Leader
kubectl get endpoints kube-scheduler -n kube-system -o yaml

4. 网络组件：隐形的支柱

• CoreDNS高可用：
  • 部署至少2个副本
  • 配置反亲和性避免同节点

affinity:
  podAntiAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchExpressions:
            - key: k8s-app
              operator: In
              values: [kube-dns]
        topologyKey: kubernetes.io/hostname

• 证书管理：
  • 使用cert-manager自动续期证书
  • 配置多CA轮换（kubeadm alpha certs renew）

5. 监控告警：集群的脉搏监控

• 必备监控指标：
  • API Server延迟（status_code=5xx）
  • etcd写入延迟（etcd_disk_wal_fsync_duration_seconds）
  • 控制平面Pod状态
• Prometheus告警规则示例：

- alert: APIServerDown
  expr: up{job="apiserver"} == 0
  for: 5m
  labels:
    severity: critical

6. 备份与灾备：最后的防线

• etcd每日快照：

ETCDCTL_API=3 etcdctl snapshot save snapshot.db \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key

• Velero全集群备份：

velero backup create full-cluster-backup --include-cluster-resources

---

四、生产环境最佳实践

1. 节点隔离策略：

   • Master节点专用：不部署业务Pod
   • 使用Taints/Tolerations限制调度

   tolerations:
   - key: node-role.kubernetes.io/master
     effect: NoSchedule
   

2. 滚动升级策略：

   • 逐个节点更新，确保始终有2个健康Master
   • 使用kubeadm upgrade plan分阶段升级

3. 混沌工程测试：

   • 随机终止Master节点Pod
   • 模拟网络分区（使用tc命令注入延迟）

   tc qdisc add dev eth0 root netem delay 1000ms 200ms 30%
   

---

五、常见故障排查指南

症状：API Server间歇性不可用

• 检查项：
  1. 负载均衡器健康检查配置
  2. 节点资源使用（CPU/内存）
  3. etcd集群状态（etcdctl endpoint status）

症状：Controller Manager无Leader

• 排查步骤：

kubectl get leases -n kube-system
journalctl -u kube-controller-manager | grep "leader election"

---

结语

构建高可用Kubernetes Master节点需要从架构设计、组件配置到日常运维的全方位考虑。通过本文的实战指南，您已经掌握了生产级高可用的核心要点。记住，真正的可靠性不仅在于搭建时的设计，更在于持续的监控、定期的故障演练和快速恢复能力。

下期预告：《当Master真的挂了：Kubernetes灾难恢复实战手册》
关注专栏，获取第一手云原生技术干货！