Python多线程的坑——切换工作目录导致错误

Python多线程的坑——切换工作目录导致错误

复现：

import os
import time
from concurrent.futures import ThreadPoolExecutor


def thread_func(a):
    origin = os.getcwd()
    print(str(a) * 5 + '>>:', origin)
    if a == 1:
        os.chdir('/data/users/fhu/PycharmProjects/Buildflow/tools')
        print('111: %s' % os.getcwd())
    elif a == 2:
        print('222: %s' % os.getcwd())
    print(a)
    os.chdir(origin)


def main():
    pool = ThreadPoolExecutor(20)
    for i in range(0, 2):
        a = i + 1
        pool.submit(thread_func, a)

    pool.shutdown(wait=True)


if __name__ == '__main__':
    main()

• 多次运行，可能出现了不相同的结果，由于两个线程运行的速度是不确定的，所以会出现不同的结果。
• 线程1的结果使用没变，但是，线程2的打印结果是变化的

 

原因：

当前工作环境，在线程之间是共享的，所以，在多线程中，如果其中一个线程通过os.chdir()修改了工作目录，那么会出现一定概率，导致其它线程的工作目录也随之改变。

如果线程A切换到新路径工作时，由于工作时间较长，并没有切回到原始路径。而此时，线程B也在工作，他的路径被线程A切换了，导致在错误的路径中工作

 

验证方法：

该方法验证多线程中使用os.chdir()切换工作目录的方式，会影响其它线程的工作目录

import os
import time
from concurrent.futures import ThreadPoolExecutor


def thread_func(a):
    origin = os.getcwd()
    print(str(a) * 5 + '>>:', origin)
    if a == 1:
        os.chdir('/data/users/fhu/PycharmProjects/Buildflow/tools')
        time.sleep(5)
        print('111: %s' % os.getcwd())
    elif a == 2:
        time.sleep(2)
        print('222: %s' % os.getcwd())
    print(a)
    os.chdir(origin)


def main():
    pool = ThreadPoolExecutor(20)
    for i in range(0, 2):
        a = i + 1
        pool.submit(thread_func, a)

    pool.shutdown(wait=True)


if __name__ == '__main__':
    main()

• 此时，线程2的工作目录永远是因为线程1切换的新目录，不是自己的原始目录。

 

解决：

在多线程中尽量不要使用os.chdir()来进行目录切换，可以用绝对路劲来进行操作。

例如：

• os路径操作时，使用绝对路径操作，而不是先切换目录，再使用相对路径操作
• subprocess执行命令时，使用subprocess的cwd参数，来指定工作路径
• 采用多进程的方式，因为进程间是隔离的，互不影响，但是多进程的资源消耗相对多