OATS:Orthogonal Array Testing Strategy
OATS:即Orthogonal Array Testing Strategy,正交表测试策略。
1 OATS的概念:
次数(Runs)[测试用例的个数]:简单的说,就是次数是多少,就有多少个用例。
因素数(Factors)[变量数]:简单的说,就是有多少个变量。
水平数(Levels)[所有变量中,单个变量最大取值数个数]:比如有三个变量,其中变量取值最多的是四个值,那么水平数就是四。
强度(Strength)[相互影响的变量最大数]:即变量间的相互关系,当强度为二时,只考虑变量两两之间的影响,如果强度为三,同考虑三个变量对结果的影响;当强度增加时,用例的个数会急剧增加。
正交表的表现形式: L runs(levels^factors )
介绍混合水平数正交表的知识,混合水平数的正交表中的因素数的水平数是不同的,比如,有5个变量,一个因素数的水平数为4,另外四个因素数的水平数为2,则用正交表表示如下:
L 8(41×24)
2 OATS的好处:
对有些组合测试,我们可选择的一种测试途径是测试所有变量的迪卡尔积(即统计学中的全面搭配法),无疑,这种方式得到的是所有变量、所有取值的完全组合,是最全面的测试。而在变量多的情况下,这无疑也是最不可能实现的方法,所以我们要选择一种方法,即可以测试大部分的BUG,又能极大的缩短我们的时间,正交表是我们的选择:
其特点为:
① 完成测试要求所需的测试用例少。
② 数据点的分布很均匀。
③ 可用其他统计学的方法等对测试结果进行分析。
OATS用来设计测试用例的方法如下的好处:
1,可以组合所有的变量;
2,得到一个最小的测试集,这个集合,包括最少的测试用例,并且,包括了所有变量的组合,
3,得到的变量的组合是均匀的分布的(这一点可以参照上面的正交表的特点);
4,可以测试用一些复杂的组合;
5,它生成的测试用例是有迹可循,即有规律的,不像手工测试那样会遗漏一些用例的组合。
3 选择OATS的基本原则
一般都是先确定测试的因素、水平和交互作用,后选择适用的正交表。在确定因素的水平数时,主要因素应该多安排几个水平,次要因素可少安排几个水平。
(主要因素应该多安排几个水平
次要因素可少安排几个水平)
(1)先看水平数。若各因素全是2水平,就选用L(2*)表;若各因素全是3水平,就选L(3*)表。若各因素的水平数不相同,就选择适用的混合水平正交表。
因数水平相同,就选用L(因数水平数*)表;
各因素的水平数不同,选择混合水平正交表。
(2)每一个交互作用在正交表中应占一列或二列(取决于所选的正交表是否足够大,能否容纳得下所考虑的因素和交互作用)。要看所选的正交表是否足够大,能否容纳得下所考虑的因素和交互作用。为了对试验结果进行方差分析或回归分析,还必须至少留一个空白列,作为“误差”列,在极差分析中要作为“其他因素”列处理。
(3)要看测试精度的要求。若要求高,则宜取测试次数多的正交表。
(4)若测试费用很昂贵,或测试的经费很有限,或人力和时间都比较紧张,则不宜选实验次数太多的正交表。
(5)按原来考虑的因素、水平和交互作用去选择正交表,若无正好适用的正交表可选,简便且可行的办法是适当修改原定的水平数。
(6)对某因素或某交互作用的影响是否确实存在没有把握的情况下,选择L表不确定选大表还是小表时(时常为该选大表还是选小表而犹豫)。若条件许可,应尽量选用大表,让影响存在的可能性较大的因素和交互作用各占适当的列。
4 OATS的步骤:
1,先要知道你有多少个确定变量数,这个不用说了,很简单的就能确定了。它对应到正交表的概念中的因素数。
2,查看每个变量的测试取值个数(这里我用a代替,以方便后面调用),这个取值不是说这个变量的取值范围中包括多少个值,而是用等价类划分出来的。关于等价类的方法,这里就不说了。
3,选择正交表,我们选择正交表时,要满足两点:因素数(即变量个数)和水平数。在选择正交表的时候,要保证:
A、正交表的列不能小于变量的个数;
B、正交表的水平数不能小于(每个变量的测试取值个数)a。
4,拿着自己的因素数和水平数,去找对应的正交表,按3中说的原则,现在正交表有一部分已经在网上公布了,在很大程度上已经够设计测试用例用了,如果你的情况太特殊,也可以考虑自己去推算。
5,如果你选择的正交表中某个因素数有剩余的水平数,就拿这个因素数的值从上到下循环代进去。以增加发现缺陷的机会。
6,按次数设计用例,每次数对应一个用例。设计完成后,如果觉得有些组合是可能会有问题的,而正交表中又没有包括,那就增加一些用例。
5 OATS的实例:
5.1 实例
下面介绍一个混合正交表的例子:
变量个数:4个 分别为:A、B、C、D。
取值为:
A->3个值(A1、A2、A3)、
B->4个值(B1、B2、B3、B4)、
C->4个值(C1、C2、C3、C4)、
D->4个值(D1、D2、D3、D4)。
把上述数值对应到正交表的概念中去,如下:
因素数:4
水平数:其中3个变量的水平数为4,1个变量的水平数为3。
对应到正交表中写法如下:
L runs(3^1 + 4^3)
1, 只考虑强度为:2的情况。
A、 其对应的正交表如下:
Runs A B C D
1 | 1 1 1 1
2 | 2 2 2 2
3 | 3 3 3 3
4 | - 4 4 4
5 | 1 2 3 4
6 | 2 1 4 3
7 | 3 4 1 2
8 | - 3 2 1
9 | 1 3 4 2
10 | 2 4 3 1
11 | 3 1 2 4
12 | - 2 1 3
13 | 1 4 2 3
14 | 2 3 1 4
15 | 3 2 4 1
16 | - 1 3 2
即应用到次数为16的正交表,我们可以得到16个用例。
B、把各个变量的代入正交表得到如下正交表:
Runs A B C D
1 | A1 B1 C1 D1
2 | A2 B2 C2 D2
3 | A3 B3 C3 D3
4 | - B4 C4 D4
5 | A1 B2 C3 D4
6 | A2 B1 C4 D3
7 | A3 B4 C1 D2
8 | - B3 C2 D1
9 | A1 B3 C4 D2
10 | A2 B4 C3 D1
11 | A3 B1 C2 D4
12 | - B2 C1 D3
13 | A1 B4 C2 D3
14 | A2 B3 C1 D4
15 | A3 B2 C4 D1
16 | - B1 C3 D2
C、看上面的正交表可以知道变量A有剩余的水平数。下面我们用A的值循环代入:
Runs A B C D
1 | A1 B1 C1 D1
2 | A2 B2 C2 D2
3 | A3 B3 C3 D3
4 | A1 B4 C4 D4
5 | A1 B2 C3 D4
6 | A2 B1 C4 D3
7 | A3 B4 C1 D2
8 | A2 B3 C2 D1
9 | A1 B3 C4 D2
10 | A2 B4 C3 D1
11 | A3 B1 C2 D4
12 | A3 B2 C1 D3
13 | A1 B4 C2 D3
14 | A2 B3 C1 D4
15 | A3 B2 C4 D1
16 | A1 B1 C3 D2
上面我用A的值循环填充了A剩余的水平数(蓝色标记的部分)。
D、接着,我们就可以用上面的正交表来设计用例了。不再多言。
2, 考虑强度为3的情况:
得到对应的正交表如下:
Runs A B C D
1 | 1 1 1 1
2 | 1 1 2 2
3 | 1 1 3 3
4 | 1 1 4 4
5 | 1 2 1 2
6 | 1 2 2 1
7 | 1 2 3 4
8 | 1 2 4 3
9 | 1 3 1 3
10 | 1 3 2 4
11 | 1 3 3 1
12 | 1 3 4 2
13 | 1 4 1 4
14 | 1 4 2 3
15 | 1 4 3 2
16 | 1 4 4 1
17 | 2 1 1 2
18 | 2 1 2 1
19 | 2 1 3 4
20 | 2 1 4 3
21 | 2 2 1 1
22 | 2 2 2 2
23 | 2 2 3 3
24 | 2 2 4 4
25 | 2 3 1 4
26 | 2 3 2 3
27 | 2 3 3 2
28 | 2 3 4 1
29 | 2 4 1 3
30 | 2 4 2 4
31 | 2 4 3 1
32 | 2 4 4 2
33 | 3 1 1 3
34 | 3 1 2 4
35 | 3 1 3 1
36 | 3 1 4 2
37 | 3 2 1 4
38 | 3 2 2 3
39 | 3 2 3 2
40 | 3 2 4 1
41 | 3 3 1 1
42 | 3 3 2 2
43 | 3 3 3 3
44 | 3 3 4 4
45 | 3 4 1 2
46 | 3 4 2 1
47 | 3 4 3 4
48 | 3 4 4 3
49 | - 1 4 1
50 | - 2 3 1
51 | - 3 2 1
52 | - 4 1 1
53 | - 1 3 2
54 | - 2 4 2
55 | - 3 1 2
56 | - 4 2 2
57 | - 1 2 3
58 | - 2 1 3
59 | - 3 4 3
60 | - 4 3 3
61 | - 1 1 4
62 | - 2 2 4
63 | - 3 3 4
64 | - 4 4 4
我们得到一个次数为64的正交表,按照1中的步骤B、C、D可以得到64测试用例。
在这个例子中,如果我们选择强度为4的表的话,也就相当于覆盖整个迪卡尔积了。所以在强度为4的时候,在这个例子中正交已经没有意义。
其中概念部分引用了统计学的知识。