Python进程池
在python中启动进程是非常耗资源的,有了进程池就可以限制同一时刻运行的进程数,避免程序崩溃。
Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程来它。
进程池使用如下:
from multiprocessing import Process, Pool,freeze_support import time import os def Foo(i): time.sleep(2) print("in process",os.getpid()) return i + 100 def Bar(arg): print('-->exec done:', arg,os.getpid()) if __name__ == '__main__': #freeze_support() pool = Pool(processes=3) #允许进程池同时放入3个进程 print("主进程",os.getpid()) for i in range(10): pool.apply_async(func=Foo, args=(i,), callback=Bar) #callback=回调 进程执行完毕后由父进程调用 #pool.apply(func=Foo, args=(i,)) #串行 #pool.apply_async(func=Foo, args=(i,)) #并行 print('end') pool.close() pool.join() #进程池中进程执行完毕后再关闭,如果注释,那么程序直接关闭。.join()
运行结果:
主进程 12376
end
in process 8664
-->exec done: 100 12376
in process 13008
-->exec done: 101 12376
in process 11812
-->exec done: 102 12376
in process 8664
-->exec done: 103 12376
in process 13008
-->exec done: 104 12376
in process 11812
-->exec done: 105 12376
in process 8664
-->exec done: 106 12376
in process 13008
-->exec done: 107 12376
in process 11812
-->exec done: 108 12376
in process 8664
-->exec done: 109 12376
利用multiprocessing下的Pool可以很方便的同时自动处理几百或者上千个并行操作,脚本的复杂性也大大降低。