测试过程与管理（1）
软件测试过程与管理
一个软件的测试工作，不是一次简单的测试活动，它与软件开发一样，是属于软件工程中的一个项目，因此，软件测试的过程管理是测试成功的重要保证。
软件测试过程
软件的测试过程一般分成测试计划、测试设计和开发、测试实施、测试评审与测试结论等阶段。对每个阶段的任务、输入和输出都有明确的规定，以便对整个测试过程进行质量控制和配置管理。
软件测试过程是一种抽象的、遵循GB/T 18905（ISO 14598.5）《评价者用的过程》中定义软件评价过程的模型，是国际上共同遵守的软件评测过程标准，是软件测试过程管理的精髓。标准定义了分析各类软件产品的评测需求，规定、设计、实施、评审以及对评测做出的结论所需的各种活动。本篇主要内容，可作为软件测试过程工作内容与管理的基本原则。为符合GB/T 18905基本原理，仍保留“评价过程”的标准用语。
评价过程的特性
①可重复性：由同一评价者按同一评价规格说明对同一产品进行重复地评价，应产生同一种可接受的结果。
②可再现性：由不同评价者按同一评价规格说明对同一产品进行评价，应产生同一种可接受的结果。
③公正性：评价应不偏向任何特殊的结果。
④客观性：评价结果应是客观事实，即不带有评价者的感情色彩或主观意见。
评价过程
1.评价活动
评价过程由下列5个活动组成：
（1）确立软件评价需求
（2）编制评价规格说明
根据请求者提供的评价需求和产品描述编制。
（3）指定评价计划
在评价规格说明的基础上设计评价，需考虑要测软件的部件和评价者建议的评价方法。
（4）评价执行计划
-
按照评价计划对产品及其部件进行检查、建模、测量和评价。
-
可以用软件工具（通常由评价者提供）来实施。
-
记录评价者的执行动作，所得到的结果被记入评价报告草案。
（5）作评价结论
交付评价报告和评价者对评价产品所做的处理。
2.评价过程的输入
请求者提供其需求，并作为评价需求的最初版本。
-
请求者提供下列评价过程的输入
①软件的说明书
②软件的部件。软件的说明书标识的软件产品以及供评价的部件。
-
评价者提供下列评价过程输入
①预先确定的评价规格说明
②评价方法
③评价工具
3.评价过程的输出
在评价期间，评价者提供下列输出产品：
①评价记录，包括评价计划和评价动作的记录
②评价报告草案，包括评价需求，评价规格说明和综合的评价结果
③经过评审的评价报告。
4.评价过程文档
评价需求、评价规格说明和评价计划时评价过程的中间产品；评价记录和评价报告是评价过程的最终产品。
①评价需求：描述评价的目标，特别是描述了产品的质量需求。
②评价规格说明：确定对软件及其部件实行的所有分析和测量，标识要分析和测量的软件部件。
③评价计划：描述评价规格，说明需要实施的操作规程；描述评价所需用到的方法和工具。
④评价记录：评价执行计划时详细记载的动作组成；记录由评价者保留。
⑤评价报告：执行测量和分析得结果，以及能被重复和重新评价的必要信息。评价报告首先作为评审草案来发布，其最终版本将交给请求者。
下图所示给出了上面描述过程的概述，标识了各活动之间的信息流。
评价与生存周期的关系
评价软件产品可以在任何软件生存周期过程的范围内进行。特别是，评价能在软件获取、供应、开发、运行或维护过程中进行。在软件开发过程中可尽早决定是否执行软件产品的评价。如果在开发过程的开始阶段能确定下来，就有可能把评价要执行的测量和评价放入软件开发的过程中。这样能保证软件最大可能地满足有关评价结果的所有需求，降低额外风险和未预料的成本。
评价过程的要求
1.一般要求
（1）组织和质量体系
为了满足评价结果的可重复性、可再现性、公正性及客观性，评价者应立足于一个组织。该组织为使其活动达到充分的质量要求提供所有必要的保证。
（2）请求者的职责
请求者的职责应包括：
-
为进行评价，对软件产品确立必要的合法权利。
-
为标识和描述产品提供必要的信息。
-
阐述最初的评价需求，并与评价者协商，确定实际的评价需求，这些评价需求宜遵守相关的法规和标准。
-
阐述对评价提交的信息的保密性需求。
-
必要时在开发者和评价者之间起中介作用。
-
必要时向评价者提供对用于开发和操作使用软件产品的计算机和其他设备。
-
必要时对评价者提供必要的支持，包括培训和走访。
-
必要时确保及时提供软件、产品说明书和部件，包括文档及其他资料。
-
必要时告知评价者可能导致评价结果无效的原因。
（3）评价者的职责
评价者的职责应是：
-
检查请求者对要评价执行的软件产品是否有充分合法的权利。
-
按规定对请求者提供信息保密承诺，包括评价的软件、评价记录和评价报告。
-
提供有资格的和经过培训的人员，以便实施评价。
-
提供评价工具和技术。
-
按照评价需求实施测试。
-
保留评价期间影响评价结果的所有工作记录。
-
保证及时向请求者提交评价报告。
2.评价需求确立
（1）评价需求确立的目的
评价需求确立的目的是描述评价目标。这些目标关系到软件产品的预期用途和相关风险。可能要从几种不同软件用户的角度出发，如软件的需方、供方、开发者、操作者或维护者。
（2）评价需求分析
分析评价需求的活动由下列5个子活动组成：
-
请求者提出评价需求建议。
-
请求者说明评价覆盖范围。
-
评价者分析评价原因和描述评价需求来响应请求者。
-
评价者解释评价的保密范围和严格程度。
-
评价者同意评价需求。
进行评价需求分析时，要考虑供评价的产品的应用领域和用途，还要考虑一些关键问题，如安全、保密安全、经济或环境方面的问题，以及使用的法律和规章制度。
在请求者的需求中，请求者应表明评价覆盖范围，同时评价者应保证评价是非常严格的，足以提供软件产品质量方面的真实证据。因此，请求者与评价者应对评价需求达成一致，作为继续评价过程的前提条件。
（3）评价需求内容
-
评价需求应包含对评价产品应用领域的描述，以及产品用途的描述。
-
评价需求应由GB/T 16260中定义为“质量特性”的一系列质量需求组成，还可能用到一些子特性。
-
评价需求中的每项需求，都应提供要评价软件及部件的规格说明信息。
（4）认可与报告
-
评价需求应作为请求者与评价者联合评审的结果而予以承认。
-
评价需求应包括在评价报告和评价记录中。
3.评价规格说明
（1）评价规格说明的目的
规定评价规格说明的目的是定义评价范围，定义供评价产品及各种部件执行的测量。评价规格说明应详细到以此能保证评价的可重复性和可再现性。
（2）评价规格说明编制
编制评价规格说明的活动由下列3个子活动组成：
①分析产品的描述
②规定对产品及部件执行的测量
③按照评价需求验证编制的规格说明
【1】产品说明分析
请求者应提供提交要测软件的产品说明，目的是：
①以此定义评价的范围，即标识出哪些作为软件一部分的部件，以及便于了解接触软件的情况
②将供评价的产品部件的标识交给评价者，以便评价者了解结构，并弄清提供的信息及如何访问产品部件
产品说明资料应包含为评价而实际提交的产品部件清单、有关产品结构的基本原理和与产品有关的文档清单。对列在清单中的每个部件和产品有关的文档，应提供下列信息：
①部件性质的描述
②部件中用到的形式化信息
③有关部件规模的信息
④与其他部件的关系
⑤对评价者有用的产品部件信息
评价者应检查产品描述是否与上述提及的需求一致。评价者还应分析提供的原理及部件的说明，以便标识在评价需求中确定的各部件间的关系。
【2】测量规定
评价者应把评价需求分配给产品本身和产品描述中标识的各种部件，是评价需求被分解为数个子特性。对供测试的不同部件，分解的结果也是不同的。然后，测试者应规定旨在对产品和所选部件的特性、子特性及属性进行评估和测量。测试规格说明书应明确对下列几项进行说明：
①用于度量软件或一组标识的部件的形式化的规格说明，以及评价报告中测量结果的表现形式的说明。
②引用的产品部件中规定将要验证的软件需求，以及引用验证这些需求的规程的说明
③在软件需求文档中被遗漏的，或需要更详细解释的软件产品的需求规格说明，以及用来验证这以需求的规程的说明。
【3】评价规格说明验证
评价者应按照评价需求来验证评价规格说明。
评价者应按照评价需求检查列在产品描述中的部件是否提供了评价执行的所有必要信息。评价者还应验证规定的测量和验证是否充分满足了评价需求所表示的评价目标。
（3）评价规格说明的内容
评价规格说明应包括：
①评价范围，涉及在产品说明中标识的产品部件
②评价执行所需的信息，在产品说明中列出的软件部件及其他相关文档之间的相互引用
③要执行的测量和验证的规格说明，以及对要评价的产品部件的引用
④测量和验证的规格说明与评价需求之间，与引用标准或对所列的每个测量或验证的理由之间的映射
（4）认可和报告
评价规格说明应作为请求者和测试者之间联合评审的结果予以认可。
评价规格说明应包含在评价报告和评价记录中。此外，对评价需求的任何修改均应在评价记录中予以报告。
4.评价设计
（1）评价设计目的
评价设计应把评价者使用的测量规程编程文档，以便评价执行规格说明中规定的测量。评价者应制定评价计划来描述执行指定的评价时所需的资源和执行各种动作时对这些资源的分配。
评价计划应详细到能确保用一种令人满意的方式执行这些动作。
（2）制定评价计划
制定评价计划的活动由3个子活动组成：
①把评价方法编程文档，起草计划
②优化评价计划
③根据可用资源安排评价动作的进度
【1】编制评价方法文档和起草计划
把规定的测量或验证与要评价的各种产品部件的形成组合起来，以便把对部件实施的测量或验证的详细方法编程文档
评价者应分析评价规格说明中规定的有关测量或验证的技术约束条件。这些约束条件可能包括：
①软件部件所用的形式
②软件部件说明的电子或书面形式
③预定义评价方法
④支持评价技术的工具的可用性
⑤软件部件的规模
【2】测量的优化
每个基本评价方法都计划应用在供评价的各个软件部件上。也会出现将不同的基本评价方法用于同一个软件部件的情况。应对评价计划草案进行评审，以避免评价者的重复劳动，减少错误风险和降低计划的评价者的工作量。
【3】安排评价动作的进度
评价者应安排计划动作的进度，评价者应考虑人员、软件工具、计算机等资源的可用性。
【4】评价计划的内容
评价计划应由两部分组成：评价方法文档和评价者采取评价动作的时间表。
（3）认可和报告
评价计划应作为请求者和评价者之间联合评审的结果而予以认可。
评价计划应包含在评价记录中。评价方法的文档，对方法的引用，以及对要应用该评价方法的产品部件的标识都应在评价报告中提现。
5.评价执行
（1）评价执行目的
评价执行目的是根据评价需求，按照评价规格说明中的规定和评价计划，从对软件产品的测量和验证中获得结果，执行这些动作将完成评价报告和评价记录的草稿。
（2）评价执行者的动作
为了执行计划的评价，评价者应做到以下几点：
①管理请求者提供的产品部件
②管理评价动作所产生的数据（包括报告和记录）
③管理评价执行动作的工具
此外，评价者还可以管理在评价者的承诺之外执行的评价动作；管理使用特定评价技术所隐含的要求，
【1】软件部件的管理
评价请求者应根据评价计划中定义的进度向评价者交付软件部件和与软件相关的文档。
评价者应登记全部软件部件和软件的相关文档。在证实了软件的规模和复杂程度值后，应使用正式的配置管理。
软件样品登记的信息应至少包括：
①部件或文档的唯一标识符
②部件的名称或文档标题
③文档的状态（包括物理状态或变异状态）
④请求者提供样品的版本、配置和日期信息
⑤接收的日期
除非请求者有另外的许可，否则，评价者将保守全部产品部件和相关文档的秘密。
【2】评价数据管理
评价执行动作通常是测量产品和它的部件，以获得并解释中间数据，以便将产生的记过记入测试报告。中间数据的种类多种多样，例如，为测试产生的数字、图形、图标、部件的摘录或形式化模型。
【3】工具使用的管理
评价执行动作需要使用软件工具来手机原始数据，或解释中间数据。
当使用工具来评价执行动作时，应在评价报告中记录对工具的引用。对所用工具的更详细的引用信息应记录在评价记录中，包括工具配置的详细信息和为得到相同的中间结果而重复评价动作所需要的任何相关信息。
【4】现场评价
有时，不能在评价者假定的场所评价执行动作，这时，评价者应控制所有执行的评价动作。特别是，应避免任何使评价结果无效的情况发生。
【5】特定评价技术的需求
当评价计划要求评价产品的可执行程序时，应精确记录评价的配置和评价的环境。
当评价动作要求检查文档时，建议使用检查表。
【6】评审和报告
在评价执行过程中会产生中间评价结果和最终评结果。为达到最大的客观性，每个评价动作应由不同的评价执行动作的评价者来检查。
评审全部的评价结果，其目的取决于所考虑的评价动作的实质。应至少有一个不直接涉及评价动作的人员参加评审。一旦评审通过，应像评价规格说明中规定的那样，把评价结果记入评价报告中。此外，当评价计划也是这样规定时，某些中间结果或解释决定也记入评价报告。
6.评价结论
（1）评价结论的目的
评价结论的目的包括评价报告的评审和评价数据的处理
（2）评价报告的联合评审
评价报告的草稿应交付评价的请求者。应组织评价者和请求者之间的联合评审。请求者应有机会对评价报告提出意见。之后，应把该评价报告交给请求者。
（3）评价数据和文档的处置
将评价报告正式交付给请求者之后，评价者应处理与评价有关的数据。
可以根据数据的类型使用下列方法进行：
①供评价的文档应归还给请求者，或者存档一个规定的期限，或者以安全的方式销毁。
②评价报告和评价记录应存档一个规定的期限。
③所有其他数据应存档一个规定的期限或以安全的方式销毁。
当某些数据的规定存档期限到期时，应将其再次保存一个规定的期限或以安全的方式销毁。
只要请求者明确表示同意，评价者就可以使用中间评价结果，以便研究评价技术和软件的度量。
