高质量的缺陷分析:让自己少写 bug
作者 | 嵩华
导读:缺陷分析做得好,bug 写得少。阿里资深技术专家和你分享如何进行高质量的缺陷分析,总结了 5 个要点,通过缺陷分析消除开发中的各种盲点,打造一个学习型的团队。
软件开发中的缺陷隐含着极高的价值,但是许多组织都仅仅忍受了缺陷带来的成本和后果,却让价值白白溜掉了。
缺陷的价值是其触发的学习和成长的机会。把握缺陷带来的学习机会,可以快速提高组织的能力,未来的缺陷更少,成本更低,更容易成功。但同时,有效的缺陷分析和跟踪行动需要有效的方法和相应的组织的支持。
缺陷隐含着极高的价值
最近我们做了一次关于缺陷分析的工作坊。
“发生缺陷是一件好事吗?” 在工作坊开始的时候,我这么问参与的同学。
“那当然是一件坏事了。”
“不管是不是好事,它就在那儿。我觉得无所谓好不好,这是一件正常的事情。”
“这么说好像也对,但是缺陷很麻烦,我没法喜欢缺陷。”
是的,没有人喜欢缺陷,它消耗研发成本,影响开发周期,但同时,缺陷又和软件开发如影随形,无论多少,始终都在。这是为什么呢?
看下面的这张图:
软件开发是消除不确定性的过程
软件开发和工业生产完全不同。工业生产通过消除过程中的各种可变性,能够逐步逼近零缺陷的目标。所以,六西格玛方法在工业生产中非常行之有效。
软件开发的过程则恰恰相反。每一次开发,都是不确定的,我们往往都是在项目临近结束的时候,对整个项目的各种问题和细节才变得清晰。在这种假设下,与其追求零缺陷,倒不如说是我们应该追求降低缺陷的影响,比如,在缺陷产生的第一时间(注入时间甚至注入之前)就发现缺陷——因为这时候缺陷的成本几乎为零,这也就可以等价为“零缺陷”了吧。
如果说工业生产中的六西格玛方法来自于对生产系统的打造,那么,在软件开发中,“零缺陷”对应的系统是什么呢?它当然包含软件研发的流程和工具,但是,在我看来,最重要的,应该是打造软件的核心主体——人。通过缺陷分析来持续学习,才能不浪费缺陷所消耗的成本。
为什么会重复踩坑
有不少团队是有缺陷原因分析的。我曾经仔细分析过一个团队的缺陷原因分析,发现了下面这些缺陷原因的高频词:
- 编码有问题,下次写代码的时候想的更仔细一些。
- 代码评审做的不好。下次代码评审要充分。
- 业务场景分析不全面,下次分析的更全面一些。
- ......
我相信,写下上述原因分析的同学,内心一定是很真诚的,也是真心觉得自己当时代码写的不够好,业务场景分析的不全面,代码评审不够充分。但是,这个分析带来的行动,却往往是不可达成的。是真的想的不仔细吗,还是就是想不到?这次评审做的不好,下次就肯定能做好了吗?这次场景分析不全,那么怎么才能更全呢?
这种原因分析过于宽泛了,以至于很难产生实际有效的改进行动,下次往往还是会在同样的地方跌倒——大家只要看一下在既往的原因分析中,有多少次类似的答案?每一次重复,就是一次新的踩坑。
还有一类原因分析,恰恰相反,又过于具体化了,具体化到了没有学习价值的层面上。例如,这是当时设计的不对,A 服务就不该调用 B 服务,A 服务应该考虑到B服务调用中的异常场景,等等。好吧,缺陷现在已经修复了,A 服务调用 B 服务出现的异常场景已经固化在代码中了,下一次如果是 C 服务调用 D 服务的异常场景应该怎么办呢?
最合适的缺陷原因应该基于这样的标准:这些原因需要形成系统化的可行动的结果。这个标准的检验方式是:下一次如果发生某某场景,我们的应对方案是否有效?
做好缺陷分析的 5 个要点
在实践中,我们总结了 5 个要点,来最大化出于学习目的的缺陷分析的实践操作。它们是:
- 及时总结,设置卡点
- 结对分析,小组总结
- 负面清单支持下的全量分析
- 可操作的结果
- 团体学习,机制建设
及时总结,设置卡点
“缺陷分析很重要,但是研发同学都太忙了,我们两个月集中做一次怎么样?”
别那么紧张——及时才是最节约的方式。要从忙碌中解放出来,每次花 15 分钟,做一次有效的缺陷分析,时间已经妥妥的啦。
缺陷分析的最好时间是缺陷修复完成的时间。此时记忆最新鲜、也能早收益。如果一个缺陷已经过去了两个月,那么缺陷分析的成本就变高了,得找回原来的记忆和当时的上下文,这个记忆准确不准确还是另一回事。
怎样才能保证及时地做,从而保证这些重要而不紧急的事情发生呢?一个比较有效的方式,是设置流程中的卡点:当缺陷被设定为已修复状态、或者设定为已关闭状态时,强制把缺陷分析设定为一个流程卡点,这样就能形成比较好的驱动。
结对分析,小组总结
谁来负责缺陷分析?是让具体这个缺陷的同学来做,还是召集整个团队一起?
召集整个团队来做缺陷分析,有时候代价过于高昂。即使仅仅分析比较后期的线上问题,即使每个缺陷仅仅分析 15 分钟:100 个缺陷,每个团队 8 个人,乘积就是 12,000分钟,合 200 个小时,也是一个惊人的数字,投入产出不成比例。
解决缺陷的同学确实是对这个缺陷理解最好。但是,这会不会形成“单点问题”,降低问题分析的有效性?
我们的方案是:
1. 把结对分析作为制度
让解决缺陷的同学担任负责人,搭配上一个小伙伴。结对既形成了知识方面的互补,一定程度上消除了思维盲点,也通过结对形成了更深入的讨论,也提前进行结果的“验收”,提高分析的质量。如果有必要,结对的小组可以自主决定是否引入其他人参与。
2. 团队定期讨论学习
团队定期对重要的缺陷分析结果进行讨论,既是对小组成果的验收,更有利于在团队成员间形成传播,互相学习。
负面清单支持下的全量分析
缺陷分析的目的是提升,所以,重在解决那些“未知的未知”的问题。显然不是每个缺陷都应该深入分析。但是,如果我们针对每个缺陷都定义它该不该分析,又会导致决策成本过高,而且质量也不可靠。所以,我们的做法是在默认全量的基础上,使用负面清单进行过滤。凡是负面清单不存在的,都进行缺陷分析。负面清单是团队级别的。每个团队都应该维护自己的列表,例如:
- 偶发问题
- 已经列在改进项中的问题(不断扩充)
这个事情和淘金有些类似,明确不要什么,能更高效地避免那些真正值得做的事情不被淹没。事实上,每次缺陷分析都会扩充负面清单的长度,所需的缺陷分析数量将越来越少,问题越来越聚焦,时间也越来越节省。
可操作的结果
缺陷分析应该产生有价值的洞见,足够的深度是重点。在如何产生深度洞见方面已经有非常多成熟的方法,最典型的是 5 Whys,此外还有鱼骨图等著名工具可用。为了控制篇幅,本文略去对这些方法的介绍,只通过一个实例来说明在实际的缺陷分析中,我们是如何产生深度洞见的。
某缺陷描述了如下的场景(该实例在不影响问题说明的情况下做了适度抽象):
用户持有某个虚拟设备,该设备有一些附属资源,当用户删除设备时,该设备的附属资源应该被释放。但是,发现在一种特殊场景下,这个附属资源并没有得到释放。
代码如下:
void releaseResources (resoure_id){
if (failedOfHardwareResourceRelease(resource_id)){
writeLog("resource release failed");
}
}
下面是关于这个问题的对话:
“原因是什么?”
“我们没有在需求分析阶段考虑到这种释放不成功的场景。”
“OK。需求分析是问题,这是一个改进点。——但是更重要的:最后发现这个问题的最直接的机会点是哪个时间点?”
“写代码的时候。”
“写代码的时候我们注意到这个问题了吗?”
“注意到了啊,所以写了 log,但是没仔细想应该怎么处理。这说明我们对这段代码的职责定义不清晰。”
“也许我们可以在编程规范中加入一条:出现异常场景时不应该只记录 log,而应该和负责人澄清场景和处理方案。在未来,当出现了仅仅出现写错误 log,但是没有其他处理的时候,我们就能注意到这一点。”
检验分析深度是否足够,最直接的指标就是产生的结果是否是“可行动的”。如果一个结果是不可行动的,往往意味着深度或者抽象不够。
团体学习,机制建设
学习型组织并不总是容易建立。除了上述心智模型和操作方法之外,组织机制往往是成功的重点。我们总结了如下几点:
- 是长期存在的团队
- 建立持续学习的心智模型
- 持续维护和利用本组织的智力资产
这几点似乎都毋需多言。但是关于智力资产,还是要多强调一下:分析结果最后可能会是流程改进、编程习惯和编程规范、代码评审的检查单、设计能力的提升、引入某些新的工程实践如实例化需求等,不外乎有两类:
1. 短期的行动
例如引入实例化需求实践、 建设自动化测试机制等。对于这类具体行动,要定义责任人和结束日期,并且把它们和管理需求等工作项同等管理起来,确保其发生。
2. 长期的规则
这类是需要持续关注的东西,例如代码评审的常见问题列表、采纳某种设计思想如契约式设计、防御式编程等。对于这类问题,由于需要持续关注,需要维护它们,并把它们作为团队资产的一部分。当然了,如果技术上可行,还是要把其中的一部分尽早做成工具,减少记忆负担,提升可操作性。
这种资产维护的越多,就会发现未来需要继续分析的缺陷越少——当然了,这也是一切资产的共性所在。
总结
现实情况纷繁复杂,统一的方法往往并不存在。但是心智模型和一定的规律、思路还是存在的。本文聚焦于通过缺陷分析进行学习。
通过适当的方法,它可以在可控的时间投入下,为组织积累宝贵的财富,并且在未来的开发中得到数倍、数十倍上百倍的回报。忙碌不是理由,在未来少掉一个新 bug,就赚回来了。
通过缺陷分析,我们可以形成如下的产出:
- 建立团队关于需求分析、软件设计、编程、测试、运维等方面的共同心智
- 形成常见问题的检查单
- 采用或者开发新的工具
- 改进既有流程
- 形成针对特定问题的行动计划
最最重要的,通过消除各种盲点,我们的能力也就越来越强,开发也就越来越顺畅,距离零缺陷的目标,就越来越近了。
“阿里巴巴云原生关注微服务、Serverless、容器、Service Mesh 等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践,做最懂云原生开发者的公众号。”