九、skip和xfail标记
一些测试用例只能在特定的条件或平台执行,或者是已知的Bug影响。在执行这些用例时提前打上标记,Pytest可以相应的处理并输出更准确的报告。
在这种场景下,常用的标记有:
skip
:只有当某些条件得到满足时,才执行测试用例,否则跳过整个测试用例的执行;例如,在非Windows
平台上跳过只支持Windows
系统的用例;xfail
:因为一个确切的原因,知道这个用例会失败;例如,对某个未实现的功能的测试,或者阻塞于某个已知Bug
的测试;
pytest
默认不显示skip
和xfail
用例的详细信息,可以通过-r
选项来自定义这种行为;
通常,使用一个字母作为一种类型的代表,具体的规则如下:(f)ailed, (E)rror, (s)kipped, (x)failed, (X)passed, (p)assed, (P)assed with output, (a)ll except passed(p/P), or (A)ll
1、跳过测试用用例执行
(1)pytest.mark.skip装饰器
(2)pytest.skip():在测试执行期间(也可以在SetUp/TearDown
期间)强制跳过后续的步骤,可以考虑pytest.skip()
方法,它同样可以设置一个参数msg
,表明跳过的原因;
(3)@pytest.mark.skipif
装饰器:有条件的跳过某些测试用例的执行,可以使用@pytest.mark.skipif
装饰器;注意:不存在pytest.skipif()
的方法;
(4)pytest.importorskip方法:当引入某个模块失败时,同样可以跳过后续部分的执行;
(5)在类上也可以应用@pytest.mark.skip
或@pytest.mark.skipif;
(6)跳过测试模块:在模块中定义pytestmark
变量
或者,在模块中调用pytest.skip
方法,并设置allow_module_level=True
:
(7)跳过指定的文件和目录
通过在conftest.py
中配置collect_ignore_glob
项,可以在用例的收集阶段跳过指定的文件和目录;
(8)总结
pytest.mark.skip | pytest.mark.skipif | pytest.skip | pytest.importorskip | conftest.py | |
---|---|---|---|---|---|
用例 | @pytest.mark.skip() |
@pytest.mark.skipif() |
pytest.skip(msg='') |
/ | / |
类 | @pytest.mark.skip() |
@pytest.mark.skipif() |
/ | / | / |
模块 | pytestmark = pytest.mark.skip() |
pytestmark = pytest.mark.skipif() |
pytest.skip(allow_module_level=True) |
pytestmark = pytest.importorskip() |
/ |
文件或目录 | / | / | / | / | collect_ignore_glob |
2、标记用例为预期失败
使用@pytest.mark.xfail
标记用例,表示期望这个用例执行失败;用例会正常执行,只是失败时不再显示堆栈信息,最终的结果有两个:用例执行失败时(XFAIL
:符合预期的失败)、用例执行成功时(XPASS
:不符合预期的成功)。
也可以通过pytest.xfail
方法在用例执行过程中直接标记用例结果为XFAIL
,并跳过剩余的部分:
总结不同参数组合对测试结果的影响(其中xfail = pytest.mark.xfail
):
去使能
通过命令行选项pytest --runxfail
来去使能xfail
标记,使这些用例变成正常执行的用例,仿佛没有被标记过一样:
同样,pytest.xfail()
方法也将会失效;
3、结合Pytest.param
pytest.param
方法可用于为@pytest.mark.parametrize
或者参数化的fixture
指定一个具体的实参,它有一个关键字参数marks
,可以接收一个或一组标记,用于标记这轮测试的用例;