探索式测试：基本概念

什么是探索式测试？

探索式测试（exploratory testing）是一种自由的软件测试风格，强调测试人员同时开展测试学习、测试设计、测试执行和测试结果评估等活动，以持续优化测试工作。考虑到它所具备的即兴发挥、快速实验、随时调整等特征，其思维方法可以追溯到软件开发的最初岁月。作为一个特定的技术术语，它是由测试专家Cem Kaner博士在1983年提出的，并受到语境驱动的软件测试学派（context driven testing school）的支持。测试专家James A. Whittaker曾是Cem Kaner在佛罗里达工学院（Florida Institute of Technology）的同事，后来担任过微软测试架构师和Google测试总监。基于在微软的工作经历和积累，他撰写了《Exploratory Software Testing》一书，进一步扩展了探索式测试的概念和方法。

探索式测试有丰富的内涵，Kaner博士用一页幻灯片的篇幅介绍了探索式测试的核心。

首先，探索式测试是一种软件测试风格（style），而不是一种具体的软件测试技术（如等价类划分、边界值分析、组合测试等）。作为一种思维方法，探索式测试强调依据当前语境（context）选择合适的测试技术，而不局限于特定的测试技术。虽然James A. Whittaker将他的书命名为《探索式软件测试》，该书所提出的方法集仍旧属于软件测试技术（基于系统化错误猜测和测试隐喻），而不代表整个探索式测试。Whittaker的工作是很有意义的，本文指出它不是探索式测试的全部，是为了强调：当你和别人讨论”探索式测试“时，你们得达成共识。你们是在讨论一种思考方法，还是在讨论这种思考方法指导下的测试技术。

然后，探索式测试强调独立测试人员（individual tester）的个人自由和责任（personal freedom and responsibility），其目的是为了持续优化其工作的价值（value）。测试人员应该为个人和团队负责，调动所有能量，发挥人的灵活性，在整体上持续优化个人和团队的产出。这段描述和精益生产（lean production）、敏捷软件开发的理念高度一致，这也是探索式测试受到敏捷团队欢迎的原因之一。

最后，探索测试建议在整个项目过程中（throughout the project），将测试相关学习（test-related learning）、测试设计（test design）、测试执行（test execution）和测试结果解读（test result interpretation）作为相互支持的活动（mutually supportive activities），并行地（parallel）执行。实际上，人脑难以并行地执行多项任务。探索式测试旨在将测试学习、测试设计、测试执行和测试分析做为一个循环快速地迭代，在较短的时间内（如1个小时）完成多次循环，以不断收集反馈、调整测试、优化价值。该思路再次与敏捷软件开发小步快跑、持续反馈的理念不谋而合。

探索式测试与即兴测试（ad-hoc testing）有何区别？

探索式测试与即兴测试的都强调”即兴发挥“，利用直觉和经验，快速地试验被测试应用，并不停地调整测试策略。开发大师Andy Hunt在《Pragmatic Thinking and Learning》中指出，直觉是非显性知识的代名词，是大脑富（Rich）模式的杰出能力。如果我们只使用大脑的线性模式（语言可表达的显性知识、逻辑思维），而漠视富模式的能量，我们将浪费自身的巨大潜力。

然而人是不完美的，某些直觉可能是认知偏见或错误。这就引出了探索式测试与即兴测试的关键不同：探索式测试是带着”反思“的学习和优化过程。在探索式测试中，测试人员不断地提出假设，用测试去检验假设，通过解读测试结果来证实或推翻假设。在这个过程中，测试人员不断完善头脑中被测试应用的模型，然后利用模型、技能、经验去驱动进一步的测试。相比即兴测试不注重测试计划和设计，探索式测试在不停地优化测试模型和测试设计。因为测试设计和测试执行的切换速度很快，许多人误以为探索式测试没有测试计划和设计。实际上，这些活动是被切分到细微的时间片中，并被反复执行。

如何实施探索式测试？

探索式测试是一种测试风格，它鼓励测试人员依据当前语境选择合适的测试实施方法。我个人认为SMART原则为探索式测试提供了一些很好的建议。

• Specific（具体的）：测试需要一个具体的目标。
• Measurable（可度量的）：有明确的度量可以评估目标是否达成。
• Achievable（可实现的）：当前的目标应该是可实现的。这潜在地要求将一个大的目标分解为多个小目标，每个小目标也是具体的、可度量的。此外，跟踪小目标的完成情况也提供了整体进度的可度量性。
• Relevant（相关的）：目标要切合当前语境，符合团队利益，且不忘企业愿景（vision）。
• Time-boxed（有时间限制的）：为每个目标设定一个合理的最后期限。这是帮助测试人员在固定的时间窗口（time window）中排除不相关干扰、专注工作。

依据SMART原则，测试人员可按如下描述逐步展开探索式测试。

1. 首先，测试人员制定测试计划。他分析被测试应用，确立若干个具体的测试任务，每个任务针对一个可能的风险。
2. 然后，他将测试任务分解为一系列子任务，每个子任务都有明确的退出条件和时间限制。
3. 在短暂的测试计划之后，测试人员根据优先级选择一个小任务，在一个固定的时间窗口中执行探索式测试。我建议时间窗口的长度是50分钟，因为这是人脑可以专注工作的极限时间。再这段时间里，他设计测试，执行测试，评估测试结果，获得知识，然后为了获得新知再设计测试。
4. 在时间窗口结束后，测试人员应该适当休息，放松思维。
5. 随后，他会反思当前的测试进展，并优化测试计划。也许他会为当前任务追加一个时间窗口；也许他会再增加一个新的任务以弥补当前测试计划的不足；也许他会精简一些任务以反映他对测试对象的最新认知。
6. 这时，他会更有自信地开始新一轮探索式测试。

再次重申，以上只是一种可能的探索式测试实施方法。负责任的测试人员一定会选择他自己的方式展开测试，因为只有作为领域专家的他，才能做出最符合语境的决策。当然，集合整个团队的能量，进行伙伴评审、头脑风暴、结对测试等活动，有助于产生更好的测试结果。