线程池和进程池

线程池和进程池

线程池是装线程的池子，进程池是装进程的池子。他们都是异步执行。

1.可以避免频繁的创建和销毁线程(进程)带来的资源开销

2.可以限制同时存在的线程数量，以保证服务器不会因为资源不足而导致崩溃。

3.可以帮我们管理线程的生命周期

4.管理任务的分配

线程池的使用

import time
from concurrent.futures import ThreadPoolExecutor
from threading import currentThread


def task():
    time.sleep(2)
    print(currentThread().name)  # 打印线程名

pool = ThreadPoolExecutor(5)  #  创建线程池，括号内可以传参数指定可以容纳5个线程，也可以不传，不传默认是当前所在计算机的cpu个数乘5
"""
池子中创建的进程/线程创建一次就不会再创建了
至始至终用的都是最初的那几个
这样的话节省了反复开辟进程/线程的资源
"""
for i in range(10):
    # submit是提交的意思
    pool.submit(task)  # 提交任务到池子中

print('start')
pool.submit(task)  # 线程池中的线程执行完之后会一直存活
# shutdown是关闭的意思
pool.shutdown()  # 直到线程词所有线程执行完，强制关闭线程池
pool.submit(task)  # 关闭后线程池后再次提交任务会报错


start
ThreadPoolExecutor-0_0
ThreadPoolExecutor-0_2
ThreadPoolExecutor-0_3
ThreadPoolExecutor-0_1
ThreadPoolExecutor-0_4

ThreadPoolExecutor-0_0
ThreadPoolExecutor-0_2
ThreadPoolExecutor-0_4
ThreadPoolExecutor-0_3
ThreadPoolExecutor-0_1


ThreadPoolExecutor-0_0

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import time
import os

# pool = ThreadPoolExecutor(5)  # 括号内可以传参数指定线程池内的线程个数
# # 也可以不传  不传默认是当前所在计算机的cpu个数乘5
pool = ProcessPoolExecutor()  # 默认是当前计算机cpu的个数
"""
池子中创建的进程/线程创建一次就不会再创建了
至始至终用的都是最初的那几个
这样的话节省了反复开辟进程/线程的资源
"""

def task(n):
    print(n,os.getpid())  # 查看当前进程号
    time.sleep(2)
    return n**2


def call_back(n):
    print('拿到了异步提交任务的返回结果:',n.result())
"""
提交任务的方式
    同步：提交任务之后 原地等待任务的返回结果 期间不做任何事
    异步：提交任务之后 不等待任务的返回结果(异步的结果怎么拿？？？) 直接执行下一行代码
"""

# pool.submit(task,1)  # 朝线程池中提交任务   异步提交
# print('主')
"""
异步回调机制:当异步提交的任务有返回结果之后，会自动触发回调函数的执行

"""
if __name__ == '__main__':

    t_list = []
    for i in range(20):
        res = pool.submit(task,i).add_done_callback(call_back)  # 提交任务的时候 绑定一个回调函数 一旦该任务有结果 立刻执行对于的回调函数
        # print(res.result())  # 原地等待任务的返回结果
        t_list.append(res)

    # pool.shutdown()  # 关闭池子 等待池子中所有的任务执行完毕之后 才会往下运行代码
    # for p in t_list:
    #     print('>>>:',p.result())

进程池的应用

import os
import time

from concurrent.futures import ProcessPoolExecutor

def task():
    time.sleep(2)
    print("current pid",os.getpid())


if __name__ == '__main__':
    pool = ProcessPoolExecutor(3)  # 创建进程池，指定最大可以容纳3个进程,不传参数，默认为cpu的核数，且只有这3个进程
    for i in range(10):
        pool.submit(task)  # 往进程池中放入10个任务,这10个任务，由这3个进程来完成。


    pool.shutdown()  # 进程执行完毕，关闭进程池。
    # pool.submit(task) 关闭后线程池后再次提交任务会报错

current pid 8544
current pid 4608
current pid 6912
current pid 8544
current pid 4608
current pid 6912
current pid 8544
current pid 4608
current pid 6912
current pid 8544