线程池

合集 - python高级(31)

1.创建进程2023-07-232.Process类语法详解2023-07-233.进程间通信2023-07-234.进程池2023-07-235.进程间的锁和信号量2023-07-236.根据进程编号杀死指定进程os.kill2023-07-237.守护进程2023-07-238.线程2023-07-289.实现多线程多任务的步骤2023-07-2810.threading.Thread类详解2023-07-2811.守护线程&&threading.enumerate()2023-07-2812.python线程并行执行与java的线程并行执行的对比2023-07-2913.IO密集型任务与CPU密集型任务2023-07-2914.多线程共享全局变量的问题2023-07-2915.多线程共享资源之竞态条件2023-07-2916.互斥锁2023-07-2917.死锁2023-07-29

18.线程池2023-07-29

19.进程与线程的对比2023-07-2920.闭包2023-08-2621.闭包之nonlocal关键字的作用2023-08-2622.闭包之作用2023-08-2623.闭包之可能引起的问题2023-08-2624.弱引用2023-08-2625.装饰器2023-08-2726.装饰器示例2023-08-2727.property 属性2023-08-2728.with语句和上下文管理器详解、最佳实践、示例2023-08-2929.生成器2023-08-2930.深浅拷贝2023-08-3031.正则表达式2023-08-30

收起

在Python中，可以使用concurrent.futures模块提供的线程池来管理和执行多个线程任务。线程池提供了一种方便的方式来处理并发任务，可以有效地利用系统资源，提高程序的性能。

'''
在Python中，可以使用concurrent.futures模块提供的线程池来管理和执行多个线程任务。
线程池提供了一种方便的方式来处理并发任务，可以有效地利用系统资源，提高程序的性能。

线程池使用步骤:
1. 创建线程池：
    from concurrent.futures import ThreadPoolExecutor

    # 创建线程池，默认使用CPU核心数作为线程数
    executor = ThreadPoolExecutor()
    通过ThreadPoolExecutor()函数创建一个线程池对象。默认情况下，线程池会根据系统的CPU核心数来确定线程数

2. 提交任务给线程池：
    future = executor.submit(function, *args, **kwargs)
    调用submit()方法提交一个任务给线程池。function是要执行的函数，*args和**kwargs是函数的参数。

3. 获取任务的结果：
    result = future.result()
    通过result()方法获取任务的执行结果。如果任务还没有完成，则该方法会阻塞直到任务完成并返回结果。

4. 关闭线程池：
    executor.shutdown()

最佳实践：
    1. 使用线程池时，尽量避免长时间阻塞的任务，以充分利用线程池中的线程。
    2. 合理设置线程池的大小，避免线程数过多导致资源浪费或线程数过少导致性能下降。
    3. 及时处理并发任务的异常情况，避免异常传播到线程池外部。

可能遇到的坑：
    1. 线程池中的任务是并发执行的，因此如果任务之间存在共享数据，需要注意线程安全问题，例如使用锁来保护共享资源的访问。
    2. 如果任务中涉及到IO操作（如网络请求、文件读写等），可以考虑使用异步IO来提高性能，而不仅仅依赖于线程池。
    3. 线程池中的任务执行顺序不确定，如果需要按照特定的顺序执行任务，可以使用concurrent.futures.wait()函数来等待指定任务完成。


'''

# 示例: 使用线程池执行了5个任务，并通过as_completed()函数等待任务完成并获取结果。最后，打印出所有任务的结果。
import concurrent.futures


def task(name):
    print(f"Executing task {name}")
    return name


if __name__ == '__main__':
    with concurrent.futures.ThreadPoolExecutor() as executor:
        # 提交5个任务给线程池
        futures = [executor.submit(task, i) for i in range(5)]

        # 获取任务的结果
        results = [future.result() for future in concurrent.futures.as_completed(futures)]

        # 打印结果
        print(results)

输出：

 

?

1 2 3 4 5 6

Executing task 0 Executing task 1 Executing task 2Executing task 3 Executing task 4   [3, 1, 2, 4, 0]