【故障公告】10:30-10:45 左右 docker swarm 集群节点问题引发故障

非常抱歉,今天 10:30-10:45 左右由于 docker swarm 集群节点出现问题,造成除博客之外的站点出现访问异常,由此给您带来很大的麻烦,请您谅解。

故障开始时出现有时访问正常有时访问出现 502 或 500 ,当时我们就判断是某个节点出现问题,但无法直接定位出哪个节点,只能依次将一个个节点下线-上线。但是,不走运的是出现问题的节点恰恰是我们最后下线的一个节点。所以,在下线正常节点的过程中,更多的容器被迁移到了问题节点,结果造成更大范围的故障,直到我们下线问题节点,才恢复正常。

自从我们今年 4 月优化了 docker swarm 集群的部署后(详见 优化自建 docker swarm 集群的部署),这是第一次出现这么大的故障。我们会对这次故障进行进一步的分析,采取进一步的措施减少引发节点出现不稳定的因素,并尽可能减少单个节点的不稳定带来的影响。

posted @   博客园团队  阅读(1114)  评论(2编辑  收藏  举报
编辑推荐:
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
· DeepSeek 解答了困扰我五年的技术问题
· 为什么说在企业级应用开发中,后端往往是效率杀手?
阅读排行:
· 2分钟学会 DeepSeek API,竟然比官方更好用!
· .NET 使用 DeepSeek R1 开发智能 AI 客户端
· autohue.js:让你的图片和背景融为一体,绝了!
· 10亿数据,如何做迁移?
· 推荐几款开源且免费的 .NET MAUI 组件库
历史上的今天:
2012-09-03 上周热点回顾(8.27-9.2)
2010-09-03 欢迎参加上海张江浦东软件园以及分园的技能培训课程
点击右上角即可分享
微信分享提示