一个不好解决的双11性能问题

　　最近已经封网，但是发现了一个比较严重的性能问题，问题很诡异，具体发生经过是这样的

几个入口图在app首页访问量比较大的服务，他的tp99是基本不变的，tp999是缓慢升高变差的

最终升高到调用方超时，这是个特别诡异的问题，因为tp99是基本没有变化的，tp999却在每天

以50ms的方式缓慢升高。

      通过查看网络tcp重传包、tcp丢包、线程数、内存、性能等多个参数问题都没有特别明显的

变化，开始以为是调用redis tp999单片高导致tp999升高。有同事提到是不是某个数据大导致

个别请求变大tp999升高，通过增加监控发现调用redis服务是有增高，但幅度不大，最终通过

加监控我突然想到前边一个因日志打印多次调用redis服务的性能问题就是这样解决的。

　　然后赶紧加多个监控取查看问题，加到第三个监控的时候，发现此接口tp999特别高，是调用

了abtest服务，abtest服务本身tp999并不高，但abtest的max 有高的值，当调用abtest服务的

访问量比较高时例如：每分钟7、8万次这时tp999这个碰到max值得几率就很大了。abtest经分析

是压力测试后导致内存释放没有那么及时或内存碎片过大导致max性能变差，通过重启abtest多个

应用tp999回落正常。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　2016-10-31于北辰