进程池

合集 - python高级(31)

1.创建进程2023-07-232.Process类语法详解2023-07-233.进程间通信2023-07-23

4.进程池2023-07-23

5.进程间的锁和信号量2023-07-236.根据进程编号杀死指定进程os.kill2023-07-237.守护进程2023-07-238.线程2023-07-289.实现多线程多任务的步骤2023-07-2810.threading.Thread类详解2023-07-2811.守护线程&&threading.enumerate()2023-07-2812.python线程并行执行与java的线程并行执行的对比2023-07-2913.IO密集型任务与CPU密集型任务2023-07-2914.多线程共享全局变量的问题2023-07-2915.多线程共享资源之竞态条件2023-07-2916.互斥锁2023-07-2917.死锁2023-07-2918.线程池2023-07-2919.进程与线程的对比2023-07-2920.闭包2023-08-2621.闭包之nonlocal关键字的作用2023-08-2622.闭包之作用2023-08-2623.闭包之可能引起的问题2023-08-2624.弱引用2023-08-2625.装饰器2023-08-2726.装饰器示例2023-08-2727.property 属性2023-08-2728.with语句和上下文管理器详解、最佳实践、示例2023-08-2929.生成器2023-08-2930.深浅拷贝2023-08-3031.正则表达式2023-08-30

收起

'''
multiprocessing 还提供了进程池（Pool）的功能，可以方便地管理一组工作进程。
进程池中的多个进程可以被重复使用，以执行多个任务，并在完成任务后自动回收进程。
'''
from multiprocessing import Pool

def worker(x):
    return x * x

if __name__ == '__main__':
    # 创建了一个进程池对象 pool，设置最大进程数为 4。这意味着进程池中最多同时执行 4 个任务
    with Pool(processes=4) as pool:   # 进程的个数，是map方法实参iterable的个数以及cpu核数的最小值
        # 调用 map() 方法来并行地对列表 [1, 2, 3, 4, 5] 中的每个元素应用 worker() 函数。
        # map() 方法会自动将任务分配给进程池中的空闲进程，并返回所有任务的结果。
        results = pool.map(worker, [1, 2, 3, 4, 5])
        print(results)  # [1, 4, 9, 16, 25]

进程池（Pool）是一种管理和复用进程的机制，可以提高多进程编程的效率和性能

进程池的工作原理

进程池中包含一组预先创建的进程，这些进程可以被重复使用来执行任务。进程池的工作原理如下：

1. 创建进程池对象，并指定最大进程数。
2. 提交任务到进程池中，每个任务会分配给一个空闲进程来执行。
3. 当任务执行完毕后，进程会返回进程池，准备接受新的任务。
4. 如果所有进程都处于忙碌状态，新提交的任务将等待，直到有进程可用。

通过进程池，可以避免频繁地创建和销毁进程的开销，提高了进程的复用和执行效率。

进程池的最佳实践

1. 选择适当的进程池大小：进程池的大小应根据系统资源和任务的特点进行调整。如果任务需要较长时间才能完成，或者涉及阻塞操作，可以增加进程池的大小。如果任务量较小或者任务执行时间很短，可以减少进程池的大小。

2. 使用进程池提交任务：通过使用进程池的 apply_async() 方法来提交任务，可以获得一个 AsyncResult 对象，通过它可以获取任务执行的结果或者取消任务。

3. 处理任务的异常：在任务的执行过程中，可能会出现异常。为了保证进程池的稳定性，应该在任务函数内部捕获并处理异常，避免异常传播到进程池中。

4. 控制任务的数量和频率：如果任务量很大，可以考虑分批提交任务，而不是一次性提交所有任务。可以通过控制任务的数量和频率，避免进程池因任务过多而导致系统资源耗尽。

5. 关闭进程池：在任务完成后，应及时关闭进程池以释放资源。可以使用 close() 方法来停止接受新的任务，并使用 join() 方法等待所有任务执行完毕后再关闭进程池。

进程池的坑

1. 全局变量的共享：由于进程池中的进程是独立运行的，它们无法直接访问主进程的全局变量。如果需要共享数据，可以使用共享内存（如 Value 和 Array）或者进程间通信（如管道、队列等）来实现。

2. 代码的可序列化：进程池中的任务函数需要是可序列化的。因为进程池需要将任务函数和参数传递给子进程，所以这些对象必须能够在进程之间进行序列化和反序列化。

3. 异常处理：进程池中的任务如果发生异常，可能会导致进程池无法正常工作。为了保证进程池的稳定性，应该在任务函数内部捕获并处理异常，避免异常传播到进程池中。