Pytest使用基础
1 Pytest的运行
1.1 测试搜索
运行pytest时可以指定目录和文件。如果不指定,pytest会搜索当前目录及其子目录中以test_开头或以_test结尾的测试函数。【pytest搜索测试文件和测试用例的过程称为测试搜索】
只要你遵守pytest的命名规则,pytest就能自动搜索所有待执行的测试用例。
- 测试文件应当命名为 test_<something>.py 或者 <something>_test.py
- 测试函数、测试类方法应当命名为 test_<something>
- 测试类应当命名为 Test<Something>
测试文件和测试函数最好以test_开头,但如果先前编写的测试用例遵循的是其他命名规则,也可以修改默认的测试搜索规则。【配置章节介绍】
1.2 测试函数返回结果类型
- PASSED(.):测试通过
- FAILED(F):测试失败(也有可能是XPASS状态与strict选项冲突造成的失败)
- SKIPPD(s):测试未被执行。指定测试跳过执行,可以将测试标记为@pytest.mark.skip(),或者使用 @pytest.mark.skipif() 指定跳过测试的条件
- xfail(x):预期测试失败,并且确实失败,使用@pytest.mark.xfail()指定你认为会失败的测试用例
- XPASS(X):预期测试失败,但实际上运行通过,不符合预期
- ERROR(R):测试用例之外的代码触发了异常,可能由fixture引起,也可能由hook函数引起
1.3 使用命令行选项
- --collect-only 选项
可以展示在给定的配置下哪些测试用例会被运行,让你非常方便地在测试运行之前,检查选中的测试用例是否符合预期。
- -k 选项
允许你使用表达式希望运行的测试用例,如果某测试名是唯一的,或者多个测试名的前缀或后缀相同,那么可以使用表达式来快速定位。
假设希望选中 test_asdict() 和 test_defaults(),那么可以使用 --collect-only 验证筛选情况:
pytest -k "asdict or defaults" --collect-only
- -m 选项
标记(marker)用于标记测试并分组,以便快速选中并运行。以 test_replace() 和 test_member_access() 为例,它们甚至都不在同一个文件里,如果你希望同时选中它们,那么可以预先做好标记。
import pytest ...... @pytest.mark.run_these_please def test_member_access(): @pytest.mark.run_these_please def test_replace(): ......
这里我们使用 pytest -m run_these_please 命令就可以同时运行 test_replace() 和 test_member_access()
使用 -m 选项可以用表达式指定多个标记名。
(1)-m "mark1 and mark2" 可以同时选中带有这两个标记的所有测试用例
(2)-m "mark1 and not mark2" 则会选中带有 mark1 的测试用例
(3)-m “mark1 or mark2” 则选中带有 mark1 或者 mark2 的所有测试用例
- -x, --exitfirst 选项
正常情况下,pytest会运行每一个搜索到的测试用例,如果某个测试函数被断言失败,或者触发了外部异常,则该测试用例的运行就会到此为止,pytest将其标记为失败后会继续运行下一个测试用例。
通常,这就是我们期望的运行模式。但是在debug时,我们会希望遇到失败即立即停止整个会话,这是 -x 选项就派上用场了。
- --maxfail=num
-x 选项的特点是,一旦遇到测试失败,就会全局停止。假设你允许pytest失败几次后再停止,则可以使用--maxfail选项,明确指定可以失败几次。
- -s 与 --capture=method
-s 选项允许终端在测试运行时输出某些结果,包括任何符合标准的输出流信息。-s 等价于 --capture=no。
编写用例时,习惯添加几个print(),以便观察某时刻测试执行到了哪个阶段。
信息捕获方法还有 --capture==fd 和 --capture=sys,使用 --capture=sys 时,sys.stdout / stderr 将被输出至内存;使用 --capture=fd 时,若文件描述符为1或2,则会被输出至临时文件中
- -l, --showlocals 选项
使用 -l 选项,失败测试用例由于被堆栈追踪,所以局部变量及其值都会显示出来。
使用 -l / --showlocals 选项,在测试失败时会打印出局部变量名和它们的值,这样可以规避一些不必要的print语句
- --lf, --last-failed 选项
当一个或多个测试失败时,我们常常希望能够定位到最后一个失败的测试用例重新运行。只重新运行上次运行失败的用例(或如果没有失败的话会全部跑)
- --ff, --failed-first 选项
运行所有测试,但首先运行上次运行失败的测试(这可能会重新测试,从而导致重复的fixture setup/teardown)
- -v, --verbose 选项
使输出的信息会更详细
- -q, --quiet 选项
简化输出信息
- --tb=style 选项
决定捕捉到失败时输出信息的显示方式。某个测试用例失败后,pytest会列举出失败信息,包括失败出现在哪一行、是什么失败、怎么失败的,此过程我们称之为“信息回溯”。
大多数情况下,信息回溯是必要的,他对找到问题很有帮助,但有时也会对多余的信息感到厌烦。
(1)--tb=short:仅输出 assert 的一行以及系统判定内容(不显示上下文)
(2)--tb=line:模式仅使用一行输出显示所有的错误信息
(3)--tb=no:直接屏蔽全部回溯信息
(4)--tb=long:输出最为详尽的回溯信息
(5)--tb=auto:默认值,如果有多个测试用例失败,仅打印第一个和最后一个用例的回溯信息(格式同long)
(6)--tb=native:只输出Python标准库的回溯信息,不显示额外信息
- --duration=N 选项
加快测试节奏,不关心测试时如何运行的,只统计测试过程中哪几个阶段是最慢的(包括每个测试用例的call、setup、teardown过程)。它会显示最慢的N个阶段,耗时越长越靠前。
- --pyargs 选项
pytest --pyargs pkg.testing
This will import pkg.testing and use its filesystem location to find and run tests from.
导包(需具备__init__.py文件的python包)进来,执行该包下以test开头或结尾的测试文件
- -p 加载插--还不太清楚用途
1.4 配置文件
pytest.ini 文件是可选的,它保存了pytest 在该项目下的特定配置。项目中顶多包含一个配置文件,其中的指令可以调解 pytest 的工作行为,例如配置常用的命令行选项列表。
conftest.py 文件同样也是可选的,它是 pytest 的“本地插件库”,其中可以包含 hook 函数和 fixture。
hook函数可以将自定义逻辑引入 pytest,用于改善 pytest 的执行流程,fixture 则是一些用于测试前后执行配置及销毁逻辑的外壳函数,可以传递测试中用到的资源。
同一个项目内可以包含多个 conftest.py 文件。