摘要：
这篇博文分享的是我们针对一个耗时20秒的请求，用Wireshark进行抓包分析的过程。请求的流程是这样的：客户端浏览器 -> SLB(负载均衡) -> ECS(云服务器) -> SLB -> 客户端浏览器。从分析的情况看，SLB与客户端的网络环境都可能引起这个问题。但是从IIS日志来看，有些耗时长的请求竟然达到了140秒，什么样的客户端会傻到一直等2分多钟而不断开TCP连接或重发请求？ 阅读全文
posted @ 2014-06-15 17:30
博客园团队
阅读(24075)
评论(6)
推荐(8)
摘要：
超过70秒的请求是通过分析IIS日志发现的，通过Wireshark抓包分析请求是9:22:21收到的。这个请求响应内容的长度是：Content-Length 1154110（1.1MB），云服务器在收到请求后，发了一个ACK包。接下来就是一堆的TCP segment of a reassembled PDU。 阅读全文
posted @ 2014-06-15 10:29
博客园团队
阅读(5345)
评论(8)
推荐(2)
摘要：
这是今天遇到的第3次故障，故障是首先被园友发现的，访问园子出现来自SLB的错误提示：400 Bad Request - Powered by Tengine。查看Windows性能监视器发现，在故障期间SLB中的2台云服务器的http.sys的ArriveRate明显下降。 阅读全文
posted @ 2014-06-12 16:58
博客园团队
阅读(1516)
评论(5)
推荐(2)
摘要：
这是今天遇到的第2次故障，主站1台云服务器在14:40:33-14:41:09期间出现CPU突然跑满的状况，而CPU跑满之前，请求量并没有明显增长。向阿里云提交之后，说晚上会对这台云服务器的虚拟机进行优化。 阅读全文
posted @ 2014-06-12 16:33
博客园团队
阅读(1210)
评论(3)
推荐(0)
摘要：
今天中午12:00左右，在Windows性能监视器中突然发现SLB中的两台云服务器的IIS请求到达量（ArriveRate）突然下降，我们推测在12:00-12:10之间，SLB（阿里云负载均衡）出了什么状况？这个问题有待继续观察。 阅读全文
posted @ 2014-06-12 13:37
博客园团队
阅读(1080)
评论(0)
推荐(0)
摘要：
今天下午17:00-17:05之间，在请求量没有明显变化的情况下，SLB中的1台云服务器的CPU突然串到100%（当时SLB中一共有3台云服务器）。造成的直接后果是请求执行时间变得超长，最长竟然达到了53秒。另外伴随的表现是大量请求排队。从这些现象分析，我们猜测CPU 100%那台云服务器出现了CPU资源争抢问题。 阅读全文
posted @ 2014-06-11 17:41
博客园团队
阅读(1566)
评论(2)
推荐(0)
摘要：
“黑色1秒”问题经过一个多月的艰苦奋战，今天终于取得了重要进展！我们终于有了足够的数据证明不是微软IIS的问题，就是阿里云Xen虚拟机的问题。这篇博文分享的是我们如何进行证明的，而且这次证明连Window性能监视器都不需要。下面我们来分析一下今天10:37:35出现的“黑色1秒” 阅读全文
posted @ 2014-06-10 13:14
博客园团队
阅读(6902)
评论(42)
推荐(7)
摘要：
（注：由于阿里云SLB管理控制台监控数据不准，实际故障时间是18:07-18:20。）17:55-18:2018:07-18:20，我们使用的阿里云SLB（负载均衡）中有3台出现突发故障，造成全站无法访问，给您带来了麻烦，请谅解！目前已经恢复正常，从阿里云那得知的故障原因是——由于杭州地区的SLB所... 阅读全文
posted @ 2014-06-09 18:37
博客园团队
阅读(4192)
评论(40)
推荐(12)
摘要：
热点随笔： · 为生活可以忍，侮辱技术行不行？（沈逸） · 程序员跳槽注意事项（麒麟子(Alex)） · 中国的程序员们是否要声援微软小冰？（徐少侠） · 让 asp.net 在 mac 上飞（linli8） · 一次由注释引发的“血案”（An... 阅读全文
posted @ 2014-06-09 08:08
博客园团队
阅读(1690)
评论(0)
推荐(2)
摘要：
当今天早上在日志中发现这样的错误之后，对阿里云OCS（mecached缓存服务）的积怨倾泻而出。这个问题我们4月份发现过的，当时给OCS起了个外号叫“会断连接的memcached”，用了近1个月时间才解决。这次升级后又出现了，虽然不是故意为之，但是如果是淘宝用的memcached，你们敢断连接吗？ 阅读全文
posted @ 2014-06-08 19:13
博客园团队
阅读(10468)
评论(37)
推荐(21)
浙公网安备 33010602011771号