【故障公告】Kubernetes 集群节点宕机造成博客站点故障(被3.5万QPS压垮)

非常抱歉!今天 18:40-18:55 左右 Kubernetes 集群一台高配节点突然宕机,造成博客站点故障,访问时出现 502 Bad Gateway
,由此给您带来麻烦,请您谅解。
发现故障并定位问题后,我们增加了新节点服务器并重启宕机节点服务器,之后恢复正常。
19:17 左右又出现故障,疑似有异常请求会压垮博客站点的 pod,让博客站点的所有 pod 立马全部宕机。
19:35 左右再次恢复正常。
19:45 又出现所有 pod 同时宕机的情况。

的确有异常请求
【阿里云】【异常发生】于19:57分,您的负载均衡slb的QPS使用率指标达到312.03%(InstanceQpsUtilization)。智能监控服务提醒您:请及时关注您的相关资源是否有容量风险。请登陆阿里云控制台通过站内信查看详情
原来是有疯狂请求来袭,其中一台负载均衡的最高 QPS 超过 3.5万
。

【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 2分钟学会 DeepSeek API,竟然比官方更好用!
· .NET 使用 DeepSeek R1 开发智能 AI 客户端
· DeepSeek本地性能调优
· autohue.js:让你的图片和背景融为一体,绝了!
· 10亿数据,如何做迁移?
2015-03-03 发布新博客皮肤red_autumnal_leaves
2014-03-03 [活动]游戏开发者报名得85折阿里云代金券,更有千元大奖等你来拿
2014-03-03 上周热点回顾(2.24-3.2)
2010-03-03 博客园上海俱乐部活动通知(2010-03-20)