python多线程中一种错误的写法

直接先上错误代码:

import multiprocessing

def first_way():
    init = 3
    def process_function(item):
        result = item * init
        return result

    data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    pool = multiprocessing.Pool(processes=4)

    # 创建一个列表来存储每个进程的结果
    results = []

    for i in data:
        result = pool.apply_async(process_function, (i,))
        results.append(result)

    pool.close()
    pool.join()

    # 打印结果
    for result in results:
        print(result.get())  # 使用get()方法获取进程的结果

if __name__ == "__main__":
    first_way()

这个代码的问题是:

multiprocessing.Pool 使用 pickle 来序列化和反序列化函数和参数,以便在多个进程之间传递。在这个错误代码中,process_function 函数被定义在 first_way 函数内部,这可能导致 pickle 出现问题,因为它无法序列化局部函数。

要解决这个问题,可以将 process_function 移出 first_way 函数,使其成为一个全局函数。下面是修复后的代码:

import multiprocessing

# 将 process_function 移出 first_way 函数,定义为一个全局函数
def process_function(item):
    init = 3
    result = item * init
    return result

def first_way():
    data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    pool = multiprocessing.Pool(processes=4)

    # 创建一个列表来存储每个进程的结果
    results = []

    for i in data:
        result = pool.apply_async(process_function, (i,))
        results.append(result)

    pool.close()
    pool.join()

    # 打印结果
    for result in results:
        print(result.get())  # 使用get()方法获取进程的结果

if __name__ == "__main__":
    first_way()

通过将 process_function 定义为全局函数,可以避免 pickle 出现问题

如果返回多个结果:

import multiprocessing

def process_function(item):
    result1 = item * 2
    result2 = item ** 2
    return result1, result2

def main():
    data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
    pool = multiprocessing.Pool(processes=4)

    # 创建一个列表来存储每个进程的结果
    results = []

    for i in data:
        result = pool.apply_async(process_function, (i,))
        results.append(result)

    pool.close()
    pool.join()

    # 打印结果
    for result in results:
        result1, result2 = result.get()
        print(f"Result 1: {result1}, Result 2: {result2}")
#学习中遇到问题没人解答?小编创建了一个Python学习交流群:711312441
if __name__ == "__main__":
    main()
posted @ 2023-11-22 16:31  python学习者0  阅读(95)  评论(0编辑  收藏  举报