意想不到,这个神奇的bug让我加班到深夜
给大家分享一个近期解决的线上问题,起因是这样的,近期参与公司的一个项目,工程量很大,代码编写测试过后终于到了紧张的上线时刻。
项目上线
上线前照例忐忑不安了一番,因为工程量比较大,预估可能不会很顺利,但还不至于到了祈祷服务器不要出bug的地步,bug对于程序员来说简直是家常便饭,没有bug反而可能会嘀咕半天,这都是职业病,没治。
紧张了一会儿,我屏气凝神,点了上线按钮,那一刻简直就像在点核按钮一样,生怕点下去后服务器会轰的一声炸掉。
结果一切正常。。。
这不对啊,这时博主的职业病又犯了,这么大的改动不会这么顺利吧,内存、CPU、tp99耗时一切正常,这太不正常了吧。
说曹操曹操就到
就在博主想为什么没有bug时,bug简直就像听到了我的召唤一样如约而至,博主当时甚至在想为什么梦想中的500万彩票就这么不听话呢?
(bug妹妹:“程序员哥哥,我来啦”;
500万妹妹:“不,程序员哥哥,不要说门,窗户都没有。。。”)
上线最初一切正常,问题就出在了接下来的一段时间里。
在接下来的时间里,tp99耗时就像通货膨胀一样不可遏制的一路上扬,线上收入就像股市一样不可遏制的一路重挫。
这时博主的内心反而踏实了很多,没错,就是这个味儿,还是熟悉的配方还是熟悉的味道,I know it。
废话少说,赶紧回滚,线上恢复正常后接下来就是问题排查了。
排查问题
从监控上看,一次请求的处理时间会越来越高,那么显然问题的关键就是定位耗时出现在了哪段代码上。
没有办法,只能一点一点的去找监控了,幸好代码中监控比较丰富,一番梳理后最终锁定在了这样一行代码:
// 监控代码
obj a = b;
// 监控代码
这段代码本质上是在干什么呢?很简单,就是对象的copy,而且在我们的实现中还是浅copy,也就是仅仅copy了一些字段。
从监控看就是这行代码导致了tp99耗时不断上涨。
这。。这怎么可能呢?简简单单的一个对象拷贝竟然会让耗时上涨那么多,而且还是随着时间缓慢上涨,这也太神奇了吧。
当人遇到自己不能理解的问题时通常会归因于外部因素,博主也不能免俗。
接下来就是怀疑人生的时刻。
不会是监控有问题吧,不会是编译器的原因吧,不会是硬件的原因吧,不会是天气的原因的吧,总之不是我的原因。
一番思索后最终理性战胜了自己,哪有那么多原因,在没有其它证据下目前看就是这个对象拷贝导致的。
那么为什么一个简单的对象拷贝会导致CPU消耗越来越高,耗时越涨越多呢?
这里的关键在于意识到这一点,既然随着时间的推移耗时会越来越高,那么很显然是某个全局性质的数据随着请求的处理越堆积越多,而出问题的这个对象使用到了这个全局数据。没错,就是这样,终于要见到曙光啦,哈哈,激动!
这就解释了为什么这个对象随着时间的推移就和美债一样越滚越多,变得越来越庞大了,虽然美国政府可能没打算还美债,但是CPU拷贝越来越多的数据必然导致耗时越来越高。
找出bug
既然明确了方向,接下来就有针对性了。
首先去看一下这个对象都有哪些成员变量,对于内置类型像int、bool之类肯定不会有问题,因为这些类型的变量大小是固定的,需要注意的就是这种vector、set之类的容器。
最终经过一番检查后断定问题就是出在了某个vector成员变量上,同时也验证了上述猜想。
真相大白
问题是这样的。
这个对象的某个vector成员变量每次在处理请求时都要用另一个对象(假设为对象A)的数据来进行初始化,就像这样:
在每次处理一个请求之前,A持有的Data都会被push一些特定的数据。
而系统为了优化内存分配开销,对象A被放到了内存池中,就像这样:
由于对象被放到了内存池,因此对象A是不会被释放的,这就让对象A无形中变为了全局性质的对象。
现在,有的同学可能已经发现问题了,那就是,如果对象A在放回内存池后没有清空持有的Data,那么就会导致这样的一个问题,那就是A持有的Data随着每个请求的到来不断的被push数据,这就会导致A持有的Data就像泡沫一样越吹越大,相应的Obj对象持有的vector也会越来越大:
在这种情况下拷贝Obj对象必然要拷贝持有的vector,由于vector越来越大,因此消耗在拷贝上的时间也越来越多,使用内存池本意是好的,但由于使用完后忘记清理其保存的旧数据反而造成了内存泄漏。
经验教训
这次的问题从代码编写角度看是这样的,对象A中Data字段的清理工作没有放在对象A的Clear函数,反而要靠使用者自己清理,由于代码非常复杂极其容易疏漏,博主就在这里踩坑了。。。
因此,总结下来经验教训就是:
- 向类中添加新成员时一定要注意其清理工作,使用前一定要确保该成员是崭新的,里面没有之前旧存货。
- 代码中添加必要的监控,有利于排查问题
- 测试的时间要稍微长一些,否则类似这里的问题不容易暴露
- 程序员遇到bug是很正常的,大胆假设,小心求证,每次问题的解决都是能力的提升
查到问题后,修bug、自测、验证、代码提交一气呵成,再次上线就明天了,收工回家。
从下午上线发现问题到问题解决耗时超过6小时,博主到家时,已是满天繁星。
希望本文能帮助大家避开一些坑。