Pytest系列（30）- 使用 pytest-xdist 分布式插件，如何保证 scope=session 的 fixture 在多进程运行情况下仍然能只运行一次

如果你还想从头学起Pytest，可以看看这个系列的文章哦！

https://www.cnblogs.com/poloyy/category/1690628.html

 

背景

• 使用 pytest-xdist 分布式插件可以加快运行，充分利用机器多核 CPU 的优势
• 将常用功能放到 fixture，可以提高复用性和维护性
• 做接口自动化测试的时候，通常我们会将登录接口放到 fixture 里面，并且 scope 会设置为 session，让他全局只运行一次
• 但是当使用 pytest-xdist 的时候，scope=session 的 fixture 无法保证只运行一次，官方也通报了这一问题

 

官方描述

• pytest-xdist 的设计使每个工作进程将执行自己的测试集合并执行所有测试子集，这意味着在不同的测试过程中，要求高级范围的 fixture（如：session）将会被多次执行，这超出了预期，在某些情况下可能是不希望的
• 尽管 pytest-xdist 没有内置支持来确保  scope=session 的fixture 仅执行一次，但是可以通过使用锁定文件进行进程间通信来实现

 

前置知识

pytest-xdist 分布式插件使用详细教程

https://www.cnblogs.com/poloyy/p/12694861.html

 

pytest-xdist 分布式插件原理

https://www.cnblogs.com/poloyy/p/12703290.html

 

fixture 的使用详细教程

https://www.cnblogs.com/poloyy/p/12642602.html

官方文档

https://pypi.org/project/pytest-xdist/

 

官方解决办法（直接套用就行）

import json

import pytest
from filelock import FileLock


@pytest.fixture(scope="session")
def session_data(tmp_path_factory, worker_id):
    if worker_id == "master":
        # not executing in with multiple workers, just produce the data and let
        # pytest's fixture caching do its job
        return produce_expensive_data()

    # get the temp directory shared by all workers
    root_tmp_dir = tmp_path_factory.getbasetemp().parent

    fn = root_tmp_dir / "data.json"
    with FileLock(str(fn) + ".lock"):
        if fn.is_file():
            data = json.loads(fn.read_text())
        else:
            data = produce_expensive_data()
            fn.write_text(json.dumps(data))
    return data

• 若某个 scope = session 的 fixture 需要确保只运行一次的话，可以用上面的方法，直接套用，然后改需要改的部分即可（这个后面详细讲解）
• 官方原话：这项技术可能并非在每种情况下都适用，但对于许多情况下，它应该是一个起点，在这种情况下，对于 scope = session 的fixture 只执行一次很重要

 

后续栗子的代码

项目结构

xdist+fixture(文件夹)
│  tmp(存放 allure 数据文件夹)
│  conftest.py
│  test_1.py
│  test_2.py
│  test_3.py
│ __init__.py │ 

 

test_1.py 代码

import os


def test_1(test):
    print("os 环境变量",os.environ['token'])
    print("test1 测试用例", test)

 

test_2.py 代码

import os


def test_2(test):
    print("os 环境变量",os.environ['token'])
    print("test2 测试用例", test)

 

test_3.py 代码

import os


def test_3(test):
    print("os 环境变量",os.environ['token'])
    print("test3 测试用例", test)

 

未解决情况下的栗子

conftest.py 代码

import os
import pytest
from random import random


@pytest.fixture(scope="session")
def test():
    token = str(random())
    print("fixture:请求登录接口，获取token", token)
    os.environ['token'] = token
    return token

 

运行命令

pytest -n 3 --alluredir=tmp

 

运行结果

scope=session 的 fixture 很明显执行了三次，三个进程下的三个测试用例得到的数据不一样，明显不会是我们想要的结果

 

使用官方解决方法的栗子

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
__title__  = 
__Time__   = 2021/4/27 11:28
__Author__ = 小菠萝测试笔记
__Blog__   = https://www.cnblogs.com/poloyy/
"""
import json
import os
import pytest
from random import random
from filelock import FileLock

@pytest.fixture(scope="session")
def test(tmp_path_factory, worker_id):
    # 如果是单机运行 则运行这里的代码块【不可删除、修改】
    if worker_id == "master":
        """
        【自定义代码块】
        这里就写你要本身应该要做的操作，比如：登录请求、新增数据、清空数据库历史数据等等
        """
        token = str(random())
        print("fixture:请求登录接口，获取token", token)
        os.environ['token'] = token

        # 如果测试用例有需要，可以返回对应的数据，比如 token
        return token

    # 如果是分布式运行
    # 获取所有子节点共享的临时目录，无需修改【不可删除、修改】
    root_tmp_dir = tmp_path_factory.getbasetemp().parent
    # 【不可删除、修改】
    fn = root_tmp_dir / "data.json"
    # 【不可删除、修改】
    with FileLock(str(fn) + ".lock"):
        # 【不可删除、修改】
        if fn.is_file():
            # 缓存文件中读取数据，像登录操作的话就是 token 【不可删除、修改】
            token = json.loads(fn.read_text())
            print(f"读取缓存文件，token 是{token} ")
        else:
            """
            【自定义代码块】
            跟上面 if 的代码块一样就行
            """
            token = str(random())
            print("fixture:请求登录接口，获取token", token)
            # 【不可删除、修改】
            fn.write_text(json.dumps(token))
            print(f"首次执行，token 是{token} ")

        # 最好将后续需要保留的数据存在某个地方，比如这里是 os 的环境变量
        os.environ['token'] = token
    return token

 

运行命令

pytest -n 3 --alluredir=tmp

 

运行结果

可以看到 fixture 只执行了一次，不同进程下的测试用例共享一个数据 token

 

重点

• 读取缓存文件并不是每个测试用例都会读，它是按照进程来读取的
• 比如 -n 3 指定三个进程运行，那么有一个进程会执行一次 fixture（随机），另外两个进程会各读一次缓存
• 假设每个进程有很多个用例，那也只是读一次缓存文件，而不会读多次缓存文件
• 所以最好要将从缓存文件读出来的数据保存在特定的地方，比如上面代码的 os.environ 可以将数据保存在环境变量中

 

两个进程跑三个测试用例文件

还是上面栗子的代码

运行命令

pytest -n 2 --alluredir=tmp

 

运行结果

可以看到 test_3 的测试用例就没有读缓存文件了，每个进程只会读一次缓存文件，记住哦！