【故障公告】数据库服务器 CPU 100% 引发网站故障

悄悄地它又突然来了 —— 数据库服务器 CPU 100% 问题,上次光临时间是 3-30 8:48,这次是 4-28 9:41。

这次我们做出了快速反应,发现后立即进行主备切换,这次一次切换成功,CPU 很快恢复正常。

但是,这次来的“真”是时候(访问高峰),虽然数据库 CPU 恢复正常,但高并发下的博客站点在数据库恢复后来不及建缓存,大量请求503或者访问缓慢,估计今天整个上午都扛不住。

幸运的是,我们估计错了,10:15左竟然抗住了,博客站点开始恢复正常。

但是,就在我们准备发布故障公告时,这位不速之客竟然来了个回马枪,10:19 它又来了。。。

切换后的备库服务器又 CPU 100%,赶紧再次进行主备切换,切换回原来的数据库服务器,CPU 恢复正常。

但是,二次光临“更”是时候,是更高的访问高峰,估计今天上午博客站点肯定是扛不住了,只能干等熬过访问高峰。

幸运的是,我们再次估计错了,11:10左右竟然扛住了,博客站点恢复了正常。

非常非常抱歉,今天上午的2次故障给大家带来了很大的麻烦,请大家谅解。

对于这位数据库 CPU 100% 的不速之客为什么会光临园子,我们不知道来由,准备留待以后排查,目前我们要集中力量审核博文与开发新的审核系统(详见检讨书)。

这段时间,我们已经从开发者的服务者堕落为开发者的麻烦制作者,再次请大家谅解。

身处园子的这段黑暗岁月,我们没有丝毫的退缩,在审核过程中,我们读到了一篇鼓舞我们的博文 —— 浅谈“艰难困苦,玉汝于成”

posted @ 2021-04-28 12:07  博客园团队  阅读(6859)  评论(58编辑  收藏  举报