Python标准模块--concurrent.futures 进程池线程池终极用法

 

concurrent.futures 这个模块是异步调用的机制
concurrent.futures 提交任务都是用submit
for + submit 多个任务的提交
shutdown 是等效于Pool中的close+join，是指不允许再继续向池中增加任务，然后让父进程(线程)等待池中所有进程执行完所有任务。

 

针对计算密集的程序来说
不管是Pool的进程池还是ProcessPoolExecutor()的进程池，执行效率相当
ThreadPoolExecutor 的效率要差很多
所以 当计算密集时，使用多进程。

 

#1 介绍
concurrent.futures模块提供了高度封装的异步调用接口
ThreadPoolExecutor：线程池，提供异步调用
ProcessPoolExecutor: 进程池，提供异步调用
Both implement the same interface, which is defined by the abstract Executor class.

#2 基本方法
#submit(fn, *args, **kwargs)
异步提交任务

#map(func, *iterables, timeout=None, chunksize=1) 
取代for循环submit的操作

#shutdown(wait=True) 
相当于进程池的pool.close()+pool.join()操作
wait=True，等待池内所有任务执行完毕回收完资源后才继续
wait=False，立即返回，并不会等待池内的任务执行完毕
但不管wait参数为何值，整个程序都会等到所有任务执行完毕
submit和map必须在shutdown之前

#result(timeout=None)
取得结果

#add_done_callback(fn)
回调函数
 

 

线程池:

#线程池
from concurrent.futures import ThreadPoolExecutor
import time

def func(num):
    print('这是我的第%s次' % num)
    time.sleep(1)

t = ThreadPoolExecutor(100)
for i in range(1000):
    t.submit(func,i)

t.shutdown()

 

进程池:

# 进程池 需要 __main__
from concurrent.futures import ProcessPoolExecutor
import time

def func(num):
    print('这是我的第%s次' % num)
    time.sleep(1)

if __name__ == '__main__':
    p = ProcessPoolExecutor(5) # 建议进程池中最大进程数量为cpu核心数+1
    for i in range(1,1001):
        p.submit(func,i)
    p.shutdown()

 

回调函数:

方法: map,submit,add_done_callback,result

 

进程池中的回调函数是父进程调用的，和子进程没有关系

线程池中的回调函数是子线程调用的，和父线程没有关系 (current thread())

 

# 进程池回调函数
from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor
import os
import requests

def func(num):
    info = '这是我的第%s' % num
    return info

def call_back_func(res):
    print(res.result())

if __name__ == '__main__':
    p = ProcessPoolExecutor(20)
    for i in range(1000):
        p.submit(func,i).add_done_callback(call_back_func)
    p.shutdown()

# 线程池回调函数
from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor
import os
import requests

def func(num):
    info = '这是我的第%s' % num
    return info

def call_back_func(res):
    print(res.result())

if __name__ == '__main__':
    p = ThreadPoolExecutor(20)
    for i in range(1000):
        p.submit(func,i).add_done_callback(call_back_func)
    p.shutdown()