云计算之路-阿里云上:节点 CPU 波动引发 docker swarm 集群故障

非常抱歉,今天 10:05-10:20 左右,我们用阿里云服务器搭建的 docker swarm 集群又出现故障,又是因为突然的节点 CPU 波动。

受这次故障影响的站点有 闪存博问班级园子短信息招聘小组网摘,openapi ,由此给您带来很大的麻烦,请您谅解。

故障前先是有一个 worker 节点出现 CPU 100% 报警:

云服务器ECS实例:swarm1-node5,CPU使用率于10:00发生告警,值为100%,持续时间1分钟

收到报警后,我们将这个节点下线并重启:

docker node update --availability drain swarm1-node5

然后,3 个 manager 节点一个接一个地 ssh 无法登录,之后整个集群宕机,跑在集群上的所有站点无法访问。

随后,我们通过阿里云控制台强制重启 manager 节点,但重启后集群无法恢复:

Error response from daemon: rpc error: code = Unknown desc = The swarm does not have a leader. It's possible that too few managers are online. Make sure more than half of the managers are online.

这时别无选择,我们立即执行 shell 脚本重建集群:

# ./rebuild-production-swarm.sh
Swarm initialized: current node (id6b69wj83ok2cf3tnsg7vm8l) is now a manager.

(注:这也是我们选择自建 docker swarm 集群没有选择阿里云容器服务的原因之一,可以快速地用脚本重建集群)

重建集群后,一切恢复正常。

附1:docker 版本是 Docker version 17.12.0-ce, build c97c6d6 。

附2:集群中各个节点的 CPU 监控图:

1)swarm1-node1(manager节点)

2)swarm1-node2(manager节点)

3)swarm1-node3(manager节点)

4)swarm1-node4(worker 节点)

 5)swarm1-node5(worker 节点)

 

posted @   博客园团队  阅读(2971)  评论(8编辑  收藏  举报
编辑推荐:
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
· DeepSeek 解答了困扰我五年的技术问题
· 为什么说在企业级应用开发中,后端往往是效率杀手?
阅读排行:
· Deepseek官网太卡,教你白嫖阿里云的Deepseek-R1满血版
· 2分钟学会 DeepSeek API,竟然比官方更好用!
· .NET 使用 DeepSeek R1 开发智能 AI 客户端
· DeepSeek本地性能调优
· autohue.js:让你的图片和背景融为一体,绝了!
历史上的今天:
2015-01-26 上周热点回顾(1.19-1.25)
2011-01-26 “博客无双”第二期拍卖活动将于2011年1月26日14:00开始
2009-01-26 欢迎大家聊聊今年的春节晚会
点击右上角即可分享
微信分享提示