云计算之路-阿里云上-阵雨:RDS故障的突袭

风雨之后是彩虹,经历了三个月的风雨之后,从6月14日起(上次故障发生于6月13日)开始享受彩虹。。。而今天突袭而来的RDS故障让我们懂得了彩虹期间会有阵雨,但不管怎么样,离“晴空万里”越来越近了。

2013年7月23日10:00~11:00左右,我们使用的阿里云RDS(关系型数据库服务)突然出现故障,造成了网站不能访问(大家访问时遇到的502错误就是故障的表现)。由此给大家带来了很大的麻烦,我们深表歉意!望大家谅解!

这次502故障发生时,我们先从服务器上的错误日志下手,一下子将故障的引发点逮个正着:

System.Data.SqlClient.SqlException (0x80131904): 在从服务器接收结果时发生传输级错误。 (provider: TCP Provider, error: 0 - 远程主机强迫关闭了一个现有的连接。)

数据库连接被强制关闭,那问题肯定与RDS有关。

10:05联系阿里云客户经理,10:06提交工单。。。

接着,通过telnet至RDS的端口确认是不是网络问题引起的,telnet正常连接,说明网络没问题,问题在RDS本身。

接下来就是阿里云的工程师在忙,我们只能紧张而焦急地等待。。。

11:00左右,RDS切换至镜像节点(RDS做了数据库镜像)之后,网站立即恢复正常。

对于故障的真正原因,阿里云工程师接下来会进行全面的分析。多希望有一天阿里云能像Amazon一样,将每次故障的原因及处理情况对外公开。

就这样经历了一场云上的阵雨,有人在微博上说我们是阿里云踩坑大师,我们希望踩一个少一个,同时希望阿里云找出所有的坑一个一个填平,只要有坑,总会被人踩着的。

posted @   博客园团队  阅读(7472)  评论(39编辑  收藏  举报
编辑推荐:
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
· DeepSeek 解答了困扰我五年的技术问题
· 为什么说在企业级应用开发中,后端往往是效率杀手?
阅读排行:
· 2分钟学会 DeepSeek API,竟然比官方更好用!
· .NET 使用 DeepSeek R1 开发智能 AI 客户端
· autohue.js:让你的图片和背景融为一体,绝了!
· 10亿数据,如何做迁移?
· 推荐几款开源且免费的 .NET MAUI 组件库
历史上的今天:
2012-07-23 上周热点回顾(7.16-7.22)
2010-07-23 【博客园】用户身份小调查!
点击右上角即可分享
微信分享提示