python 进程池
一、进程池:用来创建多个进程池
二、当需要创建的子进程数量不多时,可以直接利用multiprocessing中的process动态生成多个进程,但是如果时上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing的模块提供的Pool
三、初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程来执行。
四、multiprocessing.Pool常用函数解析
- apply_async(func[,args[,kwds]]):使用非阻塞方式调用func(并执行,堵塞方式必须等待一个进程退出才能执行下一个进程),args为传递给func的参数列表,kwds为传递给func的关键字参数列表;
-- apply(func[,args[,kwds]]),使用阻塞的方式调用func
--close():关闭Pool,使其不在接受新的任务;
--terminate():不管任务是否完成,立即终止;
--join():主进程阻塞,等待子进程的退出,必须在close或terminate之后使用;