pytest标记测试用例为预期失败(@pytest.mark.xfail)
前言
①我们平时在写测试用例的过程中,有时会遇到【已知由于某些原因,某些场景是有问题的,或者是功能暂时没有实现】这种情况,那么测试用例执行的时候我们就知道这个测试用例会失败,也就是预期失败,这个时候我们就可以使用 @pytest.mark.xfail 装饰器来标记测试用例为预期失败函数。
②当某个bug,修复优先级比较低,暂时不用修复。此时,在自动化用例运行过程中,此用例的执行结果肯定是失败的,那么我们就可以用 @pytest.mark.xfail 装饰器来标记此用例,用例执行的结果会被标记为 xfailed ,而不是 failed 。
使用 xfail 标记希望的测试用例失败;会运行此测试用例,但是在测试报告中会将其列在【预期失败(XFAIL
)】或【意外成功(XPASS
)】部分。
如下实例:
import pytest @pytest.mark.xfail(reason="这个用例实际返回结果与预期不一致") def test_001(): assert 1 == 2 @pytest.mark.xfail(reason="这个用例实际返回结果与预期一致") def test_002(): assert 8 == 8 def test_003(): assert 6 == 6
运行结果:
当然还可以在测试用例中用 xfail 标记强制标识测试用例预期失败:【具体参考pytest之skip标记】
def test_function(): if not valid_config(): pytest.xfail("failing configuration (but should work)")
pytest.mark.xfail装饰器使用方法
标记测试函数为失败函数 方法: pytest.mark.xfail(condition=None, reason=None, raises=None, run=True, strict=False) 常用参数: 1、condition:预期失败的条件,必传参数,默认为None,表示只有满足条件时才标记用例;
2、reason:失败的原因,必传参数,默认为None,表示可以指定一个reason字符串,说明标记用例的原因;
3、strict关键字参数,默认值为False
当strict=False时,如果用例执行失败,结果标记为XFAIL,表示符合预期的失败;如果用例执行成功,结果标记为XPASS,表示不符合预期的成功;
当strict=True时,如果用例执行成功,结果将标记为FAILED;
4、raises关键字参数,默认值为None
可以指定为一个异常类或者多个异常类的元组,表示我们期望用例上报指定的异常;
如果用例的失败不是因为所期望的异常导致的,pytest将会把测试结果标记为FAILED;
5、run关键字参数,默认值为True:当run=False时,pytest不会再执行测试用例,直接将结果标记为XFAIL;
使用方法: ①函数装饰器用法:@pytest.mark.xfail(condition, reason="xx")
②函数体内用法:pytest.xfail(condition, reason="xx")
执行方法
pytest默认不显示执行结果为 xfail 的测试用例的详细信息,但是我们可以通过pytest命令行参数 -r 选项使其显示出来;
测试用例的执行结果通常一个字母代表一种类型,具体的规则如下:(f)ailed, (E)rror, (s)kipped, (x)failed, (X)passed, (p)assed, (P)assed with output, (a)ll except passed(p/P), or (A)ll
所以,使用pytest -rxX 方式执行,能够显示结果为XFAIL和XPASS用例的详细信息。
实例
#test_xfail.py import pytest class TestMyCode: @pytest.mark.xfail(reason="bug待修复【OPRAUPL-7166】") def test_xfail_001(self): assert 1 == 2
运行结果①:
当此bug被修复后,用例执行通过,但是因为我们打了 @pytest.mark.xfail 标记,所以执行的结果被统计为 xpassed 。
此时测试代码如下:
import pytest class TestMyCode: @pytest.mark.xfail(reason="bug已修复【OPRAUPL-7166】") def test_xfail_002(self): assert 1 == 1
运行结果②:
这样将显式地提醒我们:当业务逻辑有变化,或者有bug被修复时,我们的测试用例可能同样需要调整,需要引起注意。